In statistica e apprendimento automatico, con apprendimento d'insieme () si intendono una serie di metodi che usano molteplici modelli o algoritmi per ottenere una migliore prestazione predittiva rispetto a quella ottenuta dagli stessi modelli applicati singolarmente. A differenza dell'insieme della meccanica statistica, che si ritiene infinito, tale insieme di modelli alternativi è concreto e finito.
Tipologie L'apprendimento d'insieme prevede alcune tecniche classiche: Bagging: Questa tecnica mira a creare un insieme di modelli aventi la stessa importanza. All'atto della predizione, ciascun modello voterà circa l'esito finale e l'output complessivo sarà il valore medio o la moda (in base al tipo di problema). varianti: Random Forest, Pasting, Random Subspace, Random Patch. Boosting: A differenza del bagging, ciascun modello influisce sulla votazione finale con un certo peso. Tale peso sarà calcolato in base all'accuratezza di ciascun modello misurata in fase di addestramento. Stacking: Mentre nel bagging l'output era il risultato di una votazione, nello stacking viene introdotto un ulteriore classificatore (detto meta-classificatore) che utilizza le predizioni di altri sotto-modelli per apprendere l'ulteriore meta-modello (su dati separati). Altre tecniche sono le seguenti: Voting : combina modelli di apprendimento concettualmente diversi e utilizza il voto a maggioranza o la media delle probabilità delle predizioni dei singoli modelli (moda) per predire l'output. Arcing (da adaptively resample and combine): variante del bagging con votazione degli esempi pesata in base a errori commessi su di essi. Cascading: modelli di complessità crescente collegati in cascata. Classificatori ECOC (error correcting output codes): modelli binari di classificazione specializzati in regioni diverse per la predizione di codici binari, messi in corrispondenza con le diverse classi. Ogni classe è rappresentata tramite un codice binario (possibilmente univoco). la matrice che memorizza la posizione/il codice per ciascuna classe costituisce un cifrario progettato per ottimizzare l'accuratezza della classificazione. In fase di addestramento si impara un classificatore per ogni bit del codice. In fase di predizione, i classificatori proiettano i nuovi esempi nello spazio delle classi e si sceglie, infine, quella più vicina (distanza di Hamming). Modelli di inferenza bayesiana: Bayesian model averaging (BMA), Bayesian model Combination (BMC) basati sulle probabilità a posteriori ottenuta considerando tutti i modelli possibili, al variare dei parametri.
Note
Categoria:Apprendimento automatico