Panoramica delle funzioni di perdita nell'apprendimento automatico
Proprio come gli insegnanti ci guidano, indipendentemente dal fatto che stiamo andando bene o meno nei nostri accademici, le funzioni di perdita fanno lo stesso lavoro. È un metodo per valutare quanto bene il nostro algoritmo modella i dati. Le funzioni di perdita sono la principale fonte di valutazione nell'apprendimento automatico moderno. Quando modifichi l'algoritmo per migliorare il tuo modello, il valore della funzione di perdita ti dirà se stai facendo progressi o meno. Il nostro obiettivo principale dovrebbe essere quello di ridurre la funzione di perdita ottimizzando. In questo articolo discuteremo di come funzionano le funzioni di perdita e i diversi tipi di funzioni di perdita.
Come funzionano le funzioni di perdita?
La parola "Perdita" indica la penalità per il mancato raggiungimento dell'output previsto. Se la deviazione nel valore previsto rispetto al valore atteso dal nostro modello è grande, la funzione di perdita fornisce il numero più alto come output e se la deviazione è piccola e molto più vicina al valore atteso, produce un numero più piccolo.
Ecco un esempio quando stiamo cercando di prevedere il prezzo di vendita delle case nelle città metropolitane.
| previsto
Prezzo di vendita (in lakh) | Effettivo
Prezzo di vendita (in lakh) | Deviazione (perdita) |
| Bangalore: 45 | 0 (Tutte le previsioni sono corrette) | |
| Pune: 35 | ||
| Chennai: 40 | ||
| Bangalore: 40 | Bangalore: 45 | 5 lakh per Bangalore, 2 lakh per Chennai |
| Pune: 35 | Pune: 35 | |
| Chennai: 38 | Chennai: 40 | |
| Bangalore: 43 | 2 lakh per Bangalore, 5 lakh per, Pune2 lakh per Chennai, | |
| Pune: 30 | ||
| Chennai: 45 |
È importante notare che, la quantità di deviazione non importa, la cosa che conta qui, è se il valore previsto dal nostro modello è giusto o sbagliato. Le funzioni di perdita sono diverse in base alla dichiarazione del problema a cui viene applicato l'apprendimento automatico. La funzione di costo è un altro termine, che viene utilizzato in modo intercambiabile per la funzione di perdita, ma ha un significato leggermente diverso. Una funzione di perdita è per un singolo esempio di addestramento mentre la funzione di costo è la perdita media sull'insieme di dati del treno completo.
Tipi di funzioni di perdita nell'apprendimento automatico
Di seguito sono riportati i diversi tipi di funzione di perdita nell'apprendimento automatico che sono i seguenti:
1) Funzioni di perdita della regressione:
La regressione lineare è un concetto fondamentale di questa funzione. Le funzioni di perdita della regressione stabiliscono una relazione lineare tra una variabile dipendente (Y) e una variabile indipendente (X), quindi cerchiamo di adattare la migliore linea nello spazio su queste variabili.
Y = X0 + X1 + X2 + X3 + X4…. + Xn
X = variabili indipendenti
Y = Variabile dipendente
- Perdita di errore quadratica media:
MSE (errore L2) misura la differenza quadratica media tra i valori effettivi e previsti per il modello. L'output è un singolo numero associato a un set di valori. Il nostro obiettivo è ridurre l'MSE per migliorare l'accuratezza del modello.
Considera l'equazione lineare, y = mx + c, possiamo derivare MSE come:
MSE = 1 / N ∑i = 1 a n (y (i) - (mx (i) + b)) 2
Qui, N è il numero totale di punti dati, 1 / N ∑i = 1 a n è il valore medio e y (i) è il valore effettivo e mx (i) + b il valore previsto.
- Perdita di errore logaritmico al quadrato medio (MSLE):
MSLE misura il rapporto tra valore effettivo e previsto. Introduce un'asimmetria nella curva dell'errore. MSLE si preoccupa solo della differenza percentuale dei valori effettivi e previsti. Può essere una buona scelta come funzione di perdita, quando vogliamo prevedere i prezzi di vendita delle case, i prezzi di vendita dei prodotti da forno e i dati sono continui.
Qui, la perdita può essere calcolata come media dei dati osservati delle differenze al quadrato tra i valori effettivi e previsti trasformati nel log, che possono essere dati come:
L = 1nnΣi = 1 (log (y (i) +1) -log (y (i) +1)) 2
- Errore assoluto medio (MAE):
MAE calcola la somma delle differenze assolute tra variabili effettive e previste. Ciò significa che misura l'entità media degli errori in un insieme di valori previsti. L'uso dell'errore quadrato medio è più facile da risolvere, ma l'uso dell'errore assoluto è più robusto per gli outlier. I valori anomali sono quei valori, che si discostano notevolmente dagli altri punti dati osservati.
MAE può essere calcolato come:
L = 1nnΣi = 1||y (i) - y (i) ||
2) Funzioni di perdita della classificazione binaria:
Queste funzioni di perdita sono realizzate per misurare le prestazioni del modello di classificazione. In questo, ai punti dati viene assegnata una delle etichette, ovvero 0 o 1. Inoltre, possono essere classificati come:
- Entropia incrociata binaria
È una funzione di perdita predefinita per problemi di classificazione binaria. La perdita di entropia incrociata calcola le prestazioni di un modello di classificazione che fornisce un output di un valore di probabilità compreso tra 0 e 1. La perdita di entropia incrociata aumenta quando il valore di probabilità previsto si discosta dall'etichetta effettiva.
- Perdita della cerniera
La perdita della cerniera può essere utilizzata come alternativa all'entropia crociata, inizialmente sviluppata per essere utilizzata con un algoritmo di supporto vettoriale. La perdita della cerniera funziona meglio con il problema di classificazione perché i valori target sono nell'insieme di (-1, 1). Permette di assegnare più errori quando c'è una differenza nel segno tra i valori effettivi e quelli previsti. Di conseguenza, si ottengono prestazioni migliori rispetto all'entropia incrociata.
- Perdita della cerniera quadrata
Un'estensione della perdita della cerniera, che calcola semplicemente il quadrato del punteggio di perdita della cerniera. Riduce la funzione di errore e facilita numericamente il lavoro. Trova il limite di classificazione che specifica il margine massimo tra i punti dati di varie classi. La perdita quadrata della cerniera si adatta perfettamente a SÌ O NESSUN tipo di problemi di decisione, in cui la deviazione della probabilità non è la preoccupazione.
3) Funzioni multi-class per la perdita di classificazione:
La classificazione multi-classe è i modelli predittivi in cui i punti dati sono assegnati a più di due classi. A ogni classe viene assegnato un valore univoco compreso tra 0 e (Number_of_classes - 1). È altamente raccomandato per problemi di classificazione di immagini o testi, in cui un singolo documento può avere più argomenti.
- Entropia incrociata multi-classe
In questo caso, i valori target sono compresi tra 0 e n, ovvero (0, 1, 2, 3… n). Calcola un punteggio che prende una differenza media tra i valori di probabilità effettivi e previsti e il punteggio viene ridotto a icona per raggiungere la massima precisione possibile. L'entropia incrociata multi-classe è la funzione di perdita predefinita per problemi di classificazione del testo.
- Sparse entropia multi-classe
Un processo di codifica a caldo rende difficile l'entropia incrociata multi-classe per gestire un gran numero di punti dati. L'entropia sparsa incrociata risolve questo problema eseguendo il calcolo dell'errore senza utilizzare la codifica a caldo.
- Kullback Leibler Divergence Loss
La perdita di divergenza di KL calcola la divergenza tra distribuzione di probabilità e distribuzione di base e scopre quante informazioni vengono perse in termini di bit. L'output è un valore non negativo che specifica quanto sono vicine due distribuzioni di probabilità. Per descrivere la divergenza di KL in termini di visione probabilistica, viene utilizzato il rapporto di verosimiglianza.
In questo articolo, inizialmente, abbiamo capito come funzionano le funzioni di perdita e poi abbiamo esplorato un elenco completo di funzioni di perdita con esempi di casi usati. Tuttavia, capirlo praticamente è più vantaggioso, quindi prova a leggere di più e implementarlo. Chiarirà a fondo i tuoi dubbi.
Articoli consigliati
Questa è una guida alle funzioni di perdita nell'apprendimento automatico. Qui discutiamo come funzionano le funzioni di perdita e i tipi di funzioni di perdita nell'apprendimento automatico. Puoi anche dare un'occhiata ai seguenti articoli per saperne di più -
- Metodi di apprendimento automatico
- Introduzione all'apprendimento automatico
- Tecnologie per i Big Data
- Software di analisi dei Big Data
- Scopri le Catogorie di Iperparametro
- Ciclo di vita dell'apprendimento automatico | Le 8 fasi principali