Introduzione all'algoritmo di potenziamento del gradiente
La tecnica di transitare gli studenti della settimana in uno studente forte è chiamata Boosting. Il processo dell'algoritmo di aumento gradiente funziona su questa teoria dell'esecuzione. L'algoritmo di potenziamento di Ada può essere rappresentato per spiegare e comprendere facilmente il processo attraverso il quale viene iniettato il potenziamento nei set di dati.
Albero decisionale
Un albero decisionale è uno strumento di supporto verdetto che determina le decisioni implicando una struttura ad albero e le loro probabili conseguenze, insieme a risultati di eventi possibili, costi di risorse, ecc. Questa tecnica consente loro di visualizzare dichiarazioni di controllo che operano su risultati condizionali.
Le operazioni di ricerca utilizzano ampiamente questi alberi decisionali specificamente nell'analisi delle decisioni, inoltre consente loro di raggiungere un obiettivo ed è anche uno strumento ammirato nell'apprendimento automatico.
Ala algoritmo di AdaBoost
L'algoritmo AdaBoost inizia preparando un albero decisionale in cui a ogni osservazione viene assegnato un peso equivalente. Dopo aver valutato l'albero primario, aumentiamo i pesi di quella interpretazione che sono complicati da classificare e subordinare i pesi per quelli che sono facili da classificare. Di conseguenza, il secondo albero è sviluppato su questi dati pregiudicati. Qui, il progetto è quello di migliorare la profezia dell'albero primario.
Quindi calcola l'errore di categorizzazione da questo innovativo modello di raccolta a 2 alberi e coltiva il terzo albero per prevedere i residui modificati. La procedura sopra è ripetuta in un paio di casi. Le osservazioni che non sono ben definite negli alberi precedenti sono determinate usando alberi successivi. Le previsioni del modello di assemblaggio conclusivo sono di conseguenza la figura pregiudicata delle previsioni terminate dai precedenti modelli di alberi.
Modello di formazione GBM
Per istruire un modello gbm in linguaggio R, è necessario installare la libreria GBM e creare un'istanza per questa libreria GBM installata dal programma chiamante. Inoltre, è necessario specificare gli argomenti necessari, gli argomenti chiave sono elencati di seguito,
1. La formula
2. Distribuzione delle variabili di risposta
3. Variabile predittore
4. Variabile di risposta
Le solite distribuzioni utilizzate nei modelli GBM sono Bernoulli, Poisson, ecc.
Alla fine, ci si aspetta che vengano specificati i dati e gli argomenti n.trees. Per impostazione predefinita, il modello gbm darà per scontati 100 alberi, che può offrire un'approssimazione di buona qualità del nostro concerto di gbm.
Codice di esempio n. 1
install.packages ("gbm")
library(gbm)
GBM <- gbm( formula = response,
distribution = " bernoulli ",
data = train
n.trees = 3000)
Ecco un passo successivo: il set di dati effettivo è diviso in treno e suddivisione del set di dati di test e questo si ottiene utilizzando la funzione createDataPartition (). Questo tipo di suddivisione sarà di grande aiuto nella parte successiva per l'addestramento del set di test utilizzando il set di treni addestrato e soprattutto le quali vengono determinate le previsioni effettive per i dati originali.
Codice di esempio n. 2
TRAIN <- read.csv("Train_dd.csv")
set.seed(77820)
intrain <- createDataPartition( y = Train$survived,
list = false )
Train <- Train(inTrain) Train <- Train(-inTrain)
Il passo successivo è allenare un modello gbm tramite il nostro proffer di formazione. Mentre tutti gli argomenti aggiuntivi sono accuratamente ciò che è stato notificato nelle sezioni precedenti. vengono menzionati altri due argomenti aggiuntivi: interazione, profondità e restringimento.
1. Profondità di interazione precisare la massima profondità di ciascun albero
2. La misurazione del tasso di intelletto si ottiene utilizzando il Restringimento. qui tutti i valori supplementari negli alberi del discente di base vengono ridotti usando questo restringimento.
Inoltre, questa tecnica consente di visualizzare dichiarazioni di controllo che operano su risultati condizionali. Le operazioni di ricerca utilizzano ampiamente questi alberi decisionali in particolare nell'analisi delle decisioni, inoltre ci consente di raggiungere un obiettivo e sono anche uno strumento ammirato nell'apprendimento automatico.
Uscita modello GBM
L'output del modello GBM contiene dettagli sul numero totale di alberi implicati per l'esecuzione. Ciò contribuirà a prevedere l'influenza della variabile predittore nel modello, inoltre la tabella di importanza della variabile e il diagramma del modello possono essere derivati dalla funzione di riepilogo dell'output GBM.
Metodo Predict () utilizzando il modello GBM
Quindi, per fare le previsioni in cima ai dati codificati nel presente modello GBM come come altri modelli, è implicito il metodo predict. Inoltre, il conteggio sul numero totale di alberi decisionali utilizzati deve essere menzionato manualmente nella sezione degli argomenti del metodo.
Codice d'esempio
predictions <- predict( object = simpleGBMmodel,
newdata = test,
n.trees = 1)
Miglioramenti al modello GBM
Vincoli sugli alberi
- È significativo che gli studenti deboli comprendano abilità ma rimangano deboli.
Aggiornamenti ponderati
- L'aggiunta sequenziale viene applicata dalle previsioni di ciascun albero
- La donazione di ogni albero a tale importo deve essere di massa per rallentare l'apprendimento dell'algoritmo. questo processo è il restringimento delle chiamate.
Algoritmo di incremento gradiente stocastico
Questo profitto equivalente può essere utilizzato per ridurre l'associazione affiancata dagli alberi.
Algoritmo Penalized Gradient Boosting
Gli alberi con parametri possono essere riempiti con ulteriori vincoli, l'albero classico delle decisioni non può essere usato come discenti deboli. Invece, viene utilizzato uno personalizzato chiamato albero di regressione con valori numerici nei nodi foglia.
Articoli consigliati
Questa è stata una guida all'algoritmo di incremento gradiente. Qui discutiamo un'introduzione, Albero decisionale, Algoritmo AdaBoost, Modello di formazione GBM, Miglioramenti del modello GBM insieme ad alcuni esempi di codice. Puoi anche consultare i nostri altri articoli suggeriti per saperne di più -- Algoritmo dell'albero delle decisioni
- Algoritmi di apprendimento automatico
- XGBoost Algorithm
- Algoritmi di scienza dei dati
- Algoritmo C ++ | Esempi di algoritmo C ++
- Implementazione della regressione di Poisson in R