Introduzione ai metodi di ensemble in Machine Learning
In questo articolo, vedremo uno schema sui metodi di ensemble in Machine Learning. L'apprendimento d'insieme è una combinazione di diverse tecniche di apprendimento automatico in un modello predittivo per migliorare la previsione. Viene acquisito l'apprendimento degli ensemble per ridurre la varianza nei dati predittivi. Questo tipo di apprendimento ha lo scopo di ridurre al minimo la propensione al modello. L'apprendimento di ensemble è un sistema multi-modello in cui diverse classificatori o tecniche sono strategicamente combinate per classificare o prevedere le statistiche dal problema complesso con una maggiore precisione. L'obiettivo di tale apprendimento è ridurre al minimo la probabilità di una scarsa selezione dal modello. Nomina la fiducia nella decisione presa dal modello. L'idea di selezionare caratteristiche ottimali si è realizzata nell'apprendimento d'insieme.
Tipi di metodi di ensemble in Machine Learning
I metodi di ensemble aiutano a creare più modelli e quindi a combinarli per produrre risultati migliori, alcuni metodi di ensemble sono classificati nei seguenti gruppi:
1. Metodi sequenziali
In questo tipo di metodo Ensemble, ci sono discenti di base generati in sequenza in cui risiede la dipendenza dei dati. Ogni altro dato nello studente di base ha una certa dipendenza dai dati precedenti. Pertanto, i precedenti dati con etichetta errata vengono regolati in base al suo peso per migliorare le prestazioni dell'intero sistema.
Esempio : potenziamento
2. Metodo parallelo
In questo tipo di metodo Ensemble, lo studente di base viene generato in ordine parallelo in cui la dipendenza dei dati non è presente. Ogni dato nello studente di base viene generato in modo indipendente.
Esempio : impilamento
3. Ensemble omogeneo
Un tale metodo di ensemble è una combinazione degli stessi tipi di classificatori. Ma il set di dati è diverso per ogni classificatore. Ciò renderà il modello combinato più preciso dopo l'aggregazione dei risultati di ciascun modello. Questo tipo di metodo ensemble funziona con un gran numero di set di dati. Nel metodo omogeneo, il metodo di selezione delle caratteristiche è lo stesso per diversi dati di allenamento. È computazionalmente costoso.
Esempio: metodi popolari come l'insacco e il potenziamento entrano nell'insieme omogeneo.
4. Ensemble eterogeneo
Tale metodo di ensemble è la combinazione di diversi tipi di classificatori o modelli di apprendimento automatico in cui ciascun classificatore si basa sugli stessi dati. Tale metodo funziona per piccoli set di dati. In modo eterogeneo, il metodo di selezione delle caratteristiche è diverso per gli stessi dati di allenamento. Il risultato complessivo di questo metodo di ensemble viene eseguito facendo la media di tutti i risultati di ciascun modello combinato.
Esempio : impilamento
Classificazione tecnica dei metodi di ensemble
Di seguito è riportata la classificazione tecnica dei metodi Ensemble:
1. Insaccamento
Questo metodo di ensemble combina due modelli di machine learning, ovvero Bootstrapping e Aggregation in un unico modello di ensemble. L'obiettivo del metodo di insaccamento è ridurre l'alta varianza del modello. Gli alberi decisionali hanno varianza e scarsa propensione. Il set di dati di grandi dimensioni è (ad esempio 1000 campioni) sottocampionato (ad esempio 10 sottocampioni ciascuno porta 100 campioni di dati). Gli alberi delle decisioni multiple sono basati su ciascun dato di addestramento del sottocampione. Mentre si esegue il banging dei dati subcampionati sui diversi alberi decisionali, si riduce la preoccupazione di un adattamento eccessivo dei dati di allenamento su ciascun albero decisionale. Per l'efficienza del modello, ciascuno dei singoli alberi decisionali viene approfondito con dati di addestramento sottocampionati. I risultati di ciascun albero decisionale sono aggregati per comprendere la previsione finale. La varianza dei dati aggregati viene a ridurre. L'accuratezza della previsione del modello nel metodo di insaccamento dipende dal numero di albero decisionale utilizzato. I vari sottocampioni di un campione vengono scelti casualmente con la sostituzione. L'output di ciascun albero ha un'alta correlazione.
2. Potenziamento
L'ensemble di potenziamento combina anche lo stesso tipo di classificatore. Il potenziamento è uno dei metodi sequenziali di ensemble in cui ciascun modello o classificatore viene eseguito in base alle funzionalità che verranno utilizzate dal modello successivo. In questo modo, il metodo di potenziamento fa emergere un modello di discente più forte dai modelli di discenti deboli calcolando la media dei loro pesi. In altre parole, un modello allenato più forte dipende dai molteplici modelli allenati deboli. Uno studente debole o un modello addestrato all'usura è molto meno correlato alla vera classificazione. Ma il prossimo studente debole è leggermente più correlato alla vera classificazione. La combinazione di così diversi discenti deboli dà uno studente forte che è ben correlato con la vera classificazione.
3. Accatastamento
Questo metodo combina anche classificazioni multiple o tecniche di regressione usando un meta-classificatore o meta-modello. I modelli di livello inferiore vengono addestrati con il set di dati di addestramento completo, quindi il modello combinato viene addestrato con i risultati dei modelli di livello inferiore. A differenza del potenziamento, ogni modello di livello inferiore è sottoposto a un allenamento parallelo. La previsione dai modelli di livello inferiore viene utilizzata come input per il modello successivo come set di dati di training e forma una pila in cui il livello superiore del modello è più addestrato rispetto al livello inferiore del modello. Il modello di livello superiore ha una buona precisione di previsione e sono basati su modelli di livello inferiore. Lo stack continua ad aumentare fino a quando la previsione migliore viene eseguita con un errore minimo. La previsione del modello combinato o meta-modello si basa sulla previsione dei diversi modelli deboli o modelli di livello inferiore. Si concentra per produrre un modello meno incline.
4. Foresta casuale
La foresta casuale è leggermente diversa dall'insacco in quanto utilizza alberi profondi montati su campioni bootstrap. L'output di ogni treccia viene combinato per ridurre la varianza. Durante la crescita di ogni albero, anziché generare un campione bootstrap basato sull'osservazione nel set di dati, campioniamo anche il set di dati in base alle caratteristiche e utilizziamo solo un sottoinsieme casuale di un tale campione per costruire l'albero. In altre parole, il campionamento del set di dati viene eseguito in base a funzionalità che riducono la correlazione di diversi output. La foresta casuale è buona per decidere se mancano dati. Foresta casuale significa selezione casuale di un sottoinsieme di un campione che riduce le possibilità di ottenere valori di previsione correlati. Ogni albero ha una struttura diversa. La foresta casuale comporta un leggero aumento della distorsione della foresta, ma a causa della media di tutte le previsioni meno correlate di alberi diversi, la varianza risultante diminuisce e offre prestazioni complessivamente migliori.
Conclusione
L'approccio multi-modello di ensemble è realizzato da modelli di deep learning in cui i dati complessi hanno studiato ed elaborato attraverso tali diverse combinazioni del classificatore per ottenere una migliore previsione o classificazione. La previsione di ciascun modello nell'apprendimento d'insieme deve essere più non correlata. Ciò manterrà il pregiudizio e la varianza del modello il più basso possibile. Il modello sarà più efficiente e prevede l'output con un errore minimo. L'ensemble è un algoritmo di apprendimento supervisionato in quanto il modello è stato precedentemente addestrato con l'insieme di dati per effettuare la previsione. Nell'apprendimento d'insieme, il numero di classificatori di componenti dovrebbe essere lo stesso delle etichette di classe per ottenere un'elevata precisione.
Articoli consigliati
Questa è una guida ai metodi di ensemble in Machine Learning. Qui discutiamo i tipi importanti di metodi di ensemble nell'apprendimento automatico insieme alla classificazione tecnica. Puoi anche consultare i nostri altri articoli suggeriti per saperne di più -
- Introduzione alle tecniche di ensemble
- Ciclo di vita dell'apprendimento automatico con vantaggi
- Algoritmi di apprendimento automatico
- Le 24 principali domande di intervista sull'apprendimento automatico