Introduzione ai metodi del kernel
I kernel o i metodi del kernel (chiamati anche funzioni del kernel) sono insiemi di diversi tipi di algoritmi che vengono utilizzati per l'analisi del modello. Sono usati per risolvere un problema non lineare usando un classificatore lineare. I metodi Kernels sono impiegati in SVM (Support Vector Machines) che vengono utilizzati in problemi di classificazione e regressione. SVM utilizza quello che viene chiamato "trucco del kernel" in cui i dati vengono trasformati e viene trovato un limite ottimale per i possibili output.
La necessità del metodo del kernel e il suo funzionamento
Prima di iniziare a lavorare sui metodi del kernel, è più importante comprendere le macchine vettoriali di supporto o gli SVM perché i kernel sono implementati nei modelli SVM. Pertanto, Support Vector Machines sono algoritmi di apprendimento automatico supervisionati che vengono utilizzati nella classificazione e problemi di regressione come la classificazione di un frutto Apple per classificare mentre si classifica un leone per l'animale di classe.
Per dimostrare, di seguito è riportato l'aspetto delle macchine vettoriali di supporto:
Qui possiamo vedere un iperpiano che sta separando i punti verdi da quelli blu. Un iperpiano è una dimensione in meno rispetto al piano ambientale. Ad esempio, nella figura sopra, abbiamo 2 dimensioni che rappresentano lo spazio ambiente, ma il solitario che divide o classifica lo spazio è una dimensione in meno dello spazio ambiente e si chiama iperpiano.
Ma cosa succede se abbiamo input in questo modo:
È molto difficile risolvere questa classificazione utilizzando un classificatore lineare in quanto non esiste una buona linea lineare che dovrebbe essere in grado di classificare i punti rosso e verde man mano che i punti vengono distribuiti casualmente. Ecco che arriva l'uso della funzione kernel che porta i punti a dimensioni maggiori, risolve il problema e restituisce l'output. Pensa a questo in questo modo, possiamo vedere che i punti verdi sono racchiusi in un'area perimetrale mentre quello rosso si trova al di fuori di esso, allo stesso modo, potrebbero esserci altri scenari in cui i punti verdi potrebbero essere distribuiti in un'area a forma di trapezio.
Quindi quello che facciamo è convertire il piano bidimensionale che è stato prima classificato da un iperpiano monodimensionale ("o una linea retta") in un'area tridimensionale e qui il nostro classificatore, cioè l'iperpiano, non sarà una linea retta ma un due piano tridimensionale che taglierà l'area.
Per ottenere una comprensione matematica del kernel, comprendiamo l'equazione del kernel di Lili Jiang che è:
K (x, y) = dove,
K è la funzione del kernel,
X e Y sono gli input dimensionali,
f è la mappa dallo spazio n-dimensionale a quello m-dimensionale e,
è il prodotto punto.
Illustrazione con l'aiuto di un esempio.
Diciamo che abbiamo due punti, x = (2, 3, 4) e y = (3, 4, 5)
Come abbiamo visto, K (x, y) =.
Calcoliamo prima
f (x) = (x1x1, x1x2, x1x3, x2x1, x2x2, x2x3, x3x1, x3x2, x3x3)
f (y) = (y1y1, y1y2, y1y3, y2y1, y2y2, y2y3, y3y1, y3y2, y3y3)
così,
f (2, 3, 4) = (4, 6, 8, 6, 9, 12, 8, 12, 16) e
f (3, 4, 5) = (9, 12, 15, 12, 16, 20, 15, 20, 25)
quindi il prodotto punto,
f (x). f (y) = f (2, 3, 4). f (3, 4, 5) =
(36 + 72 + 120 + 72 +144 + 240 + 120 + 240 + 400) =
1444
E,
K (x, y) = (2 * 3 + 3 * 4 + 4 * 5) 2 = (6 + 12 + 20) 2 = 38 * 38 = 1444.
Questo, come scopriamo, f (x) .f (y) e K (x, y) ci danno lo stesso risultato, ma il primo metodo richiedeva molti calcoli (a causa della proiezione di 3 dimensioni in 9 dimensioni) durante l'utilizzo del kernel, è stato molto più semplice.
Tipi di kernel e metodi in SVM
Vediamo alcune delle funzioni del kernel o i tipi utilizzati in SVM:
1. Liner Kernel - Diciamo che abbiamo due vettori con nome x1 e Y1, quindi il kernel lineare è definito dal prodotto punto di questi due vettori:
K (x1, x2) = x1. x2
2. Kernel polinomiale : un kernel polinomiale è definito dalla seguente equazione:
K (x1, x2) = (x1. X2 + 1) d,
Dove,
d è il grado del polinomio e x1 e x2 sono vettori
3. Kernel gaussiano - Questo kernel è un esempio di un kernel con funzione di base radiale. Di seguito è riportata l'equazione per questo:
Il sigma dato gioca un ruolo molto importante nelle prestazioni del kernel gaussiano e non dovrebbe essere né sopravvalutato né sottovalutato, dovrebbe essere attentamente regolato in base al problema.
4. Kernel esponenziale - Questo è in stretta relazione con il kernel precedente, ovvero il kernel gaussiano con l'unica differenza: il quadrato della norma viene rimosso.
La funzione della funzione esponenziale è:
Questa è anche una funzione del kernel su base radiale.
5. Kernel Laplacian - Questo tipo di kernel è meno soggetto a modifiche ed è totalmente uguale al kernel della funzione esponenziale precedentemente discusso, l'equazione del kernel Laplacian è data come:
6. Hyperbolic o Sigmoid Kernel : questo kernel viene utilizzato nelle aree della rete neurale dell'apprendimento automatico. La funzione di attivazione per il kernel sigmoid è la funzione sigmoid bipolare. L'equazione per la funzione del kernel iperbolico è:
Questo kernel è molto usato e popolare tra i computer di supporto.
7. Kernel Anova con base radiale - Questo kernel è noto per funzionare molto bene nei problemi di regressione multidimensionale proprio come i kernel gaussiani e lapponici. Questo rientra anche nella categoria del kernel a base radiale.
L'equazione per il kernel Anova è:
Esistono molti più tipi di metodo del kernel e abbiamo discusso dei kernel maggiormente utilizzati. Dipende esclusivamente dal tipo di problema che deciderà la funzione del kernel da utilizzare.
Conclusione
In questa sezione, abbiamo visto la definizione del kernel e come funziona. Abbiamo cercato di spiegare con l'aiuto di diagrammi sul funzionamento dei kernel. Abbiamo quindi provato a dare una semplice illustrazione usando la matematica sulla funzione del kernel. Nella parte finale, abbiamo visto diversi tipi di funzioni del kernel che sono ampiamente utilizzate oggi.
Articoli consigliati
Questa è una guida ai metodi del kernel. Qui discutiamo un'introduzione, necessità, funziona e tipi di metodi del kernel con l'equazione appropriata. Puoi anche consultare i nostri altri articoli suggeriti per saperne di più -
- Algoritmi di data mining
- K: significa algoritmo di clustering
- Algoritmo della forza bruta
- Algoritmo dell'albero delle decisioni
- Metodi del kernel in Machine Learning
- Albero decisionale nell'apprendimento automatico