L'aprenentatge de nuclis múltiples es refereix a un conjunt de mètodes d'aprenentatge automàtic que utilitzen un conjunt predefinit de nuclis i aprenen una combinació lineal o no lineal òptima de nuclis com a part de l'algoritme. Les raons per utilitzar l'aprenentatge de nuclis múltiples inclouen a) la capacitat de seleccionar un nucli i paràmetres òptims d'un conjunt més gran de nuclis, reduint el biaix degut a la selecció del nucli alhora que permet mètodes d'aprenentatge automàtic més automatitzats, i b) combinar dades de diferents fonts (per exemple, so i imatges d'un vídeo) que tenen diferents nocions de similitud i, per tant, requereixen nuclis diferents. En lloc de crear un nucli nou, es poden utilitzar diversos algoritmes de nucli per combinar nuclis ja establerts per a cada font de dades individual.

S'han utilitzat múltiples enfocaments d'aprenentatge del nucli en moltes aplicacions, com ara el reconeixement d'esdeveniments en vídeo, el reconeixement d'objectes en imatges, i la fusió de dades biomèdiques.

Algorismes S'han desenvolupat múltiples algorismes d'aprenentatge del nucli per a l'aprenentatge supervisat, semisupervisat i no supervisat. La major part del treball s'ha fet en el cas de l'aprenentatge supervisat amb combinacions lineals de nuclis, però s'han desenvolupat molts algoritmes. La idea bàsica darrere dels algoritmes d'aprenentatge de nuclis múltiples és afegir un paràmetre addicional al problema de minimització de l'algoritme d'aprenentatge. Com a exemple, considerem el cas de l'aprenentatge supervisat d'una combinació lineal d'un conjunt de grans . Introduïm un nou nucli , on és un vector de coeficients per a cada nucli. Com que els nuclis són additius (a causa de les propietats de la reproducció dels espais de Hilbert del nucli), aquesta nova funció continua sent un nucli. Per a un conjunt de dades amb etiquetes , el problema de minimització es pot escriure com

on és una funció d'error i és un terme de regularització. és típicament la funció de pèrdua quadrada (regularització de Tikhonov) o la funció de pèrdua de xarnera (per a algoritmes SVM), i sol ser un norma o alguna combinació de les normes (és a dir, regularització de la xarxa elàstica). Aquest problema d'optimització es pot resoldre mitjançant mètodes d'optimització estàndard. També s'han desenvolupat adaptacions de tècniques existents, com ara l'optimització mínima seqüencial, per a diversos mètodes basats en SVM del nucli.

Aprenentatge supervisat Per a l'aprenentatge supervisat, hi ha molts altres algoritmes que utilitzen mètodes diferents per aprendre la forma del nucli. La següent categorització ha estat proposada per Gonen i Alpaydın (2011)

Enfocaments amb regles fixes Els enfocaments de regles fixes, com ara l'algoritme de combinació lineal descrit anteriorment, utilitzen regles per establir la combinació dels nuclis. Aquests no requereixen parametrització i utilitzen regles com la suma i la multiplicació per combinar els nuclis. La ponderació s'aprèn a l'algoritme. Altres exemples de regles fixes inclouen els nuclis per parells, que són de la forma

Aquests enfocaments per parells s'han utilitzat per predir interaccions proteïna-proteïna.

Enfocaments heurístics Aquests algoritmes utilitzen una funció de combinació parametritzada. Els paràmetres generalment es defineixen per a cada nucli individual basant-se en el rendiment d'un sol nucli o en algun càlcul de la matriu del nucli. Exemples d'aquests inclouen el nucli de Tenabe et al. (2008). Lloguer sigui la precisió obtinguda utilitzant només , i deixant sigui un llindar inferior al mínim de les precisions d'un sol nucli, podem definir

Altres enfocaments utilitzen una definició de similitud del nucli, com ara

Utilitzant aquesta mesura, Qui i Lane (2009) van utilitzar la següent heurística per definir

Enfocaments d'optimització Aquests enfocaments resolen un problema d'optimització per determinar els paràmetres de la funció de combinació del nucli. Això s'ha fet amb mesures de similitud i enfocaments de minimització de riscos estructurals. Per a mesures de similitud com la definida anteriorment, el problema es pot formular de la següent manera:

on és el nucli del conjunt d'entrenament.

Els enfocaments de minimització de riscos estructurals que s'han utilitzat inclouen enfocaments lineals, com el que utilitzen Lanckriet et al. (2002). Podem definir la implausibilitat d'un nucli com el valor de la funció objectiu després de resoldre un problema canònic de SVM. Aleshores podem resoldre el següent problema de minimització:

on és una constant positiva. Existeixen moltes altres variacions de la mateixa idea, amb diferents mètodes per refinar i resoldre el problema, per exemple, amb pesos no negatius per a nuclis individuals i utilitzant combinacions no lineals de nuclis.

Enfocaments bayesians Els enfocaments bayesians posen valors a priori als paràmetres del nucli i aprenen els valors dels paràmetres a partir dels valors a priori i de l'algoritme base. Per exemple, la funció de decisió es pot escriure com

es pot modelar amb una equació a priori de Dirichlet i es pot modelar amb una gaussiana de mitjana zero i una variança gamma inversa a priori. Aquest model s'optimitza mitjançant un enfocament probit multinomial personalitzat amb un mostrejador de Gibbs.

Aquests mètodes s'han utilitzat amb èxit en aplicacions com el reconeixement de plegaments de proteïnes i problemes d'homologia de proteïnes

Enfocaments de boost Els enfocaments de boost afegeixen nous nuclis iterativament fins que s'assoleix un criteri d'aturada que és funció del rendiment. Un exemple d'això és el model MARK desenvolupat per Bennett et al. (2002)

Els paràmetres i s'aprenen per descens de gradient sobre una base de coordenades. D'aquesta manera, cada iteració de l'algoritme de descens identifica la millor columna del nucli per triar a cada iteració en particular i l'afegeix al nucli combinat. El model es torna a executar per generar els pesos òptims i .

Aprenentatge semisupervisat Els enfocaments d'aprenentatge semisupervisat per a l'aprenentatge de nuclis múltiples són similars a altres extensions dels enfocaments d'aprenentatge supervisat. S'ha desenvolupat un procediment inductiu que utilitza una pèrdua empírica de log-verosimilitud i una regularització LASSO de grup amb consens d'expectativa condicional sobre dades sense etiquetar per a la categorització d'imatges. Podem definir el problema de la següent manera. Deixa siguin les dades etiquetades, i sigui sigui el conjunt de dades sense etiquetar. Aleshores, podem escriure la funció de decisió de la següent manera.

El problema es pot escriure com

on és la funció de pèrdua (logaritme de probabilitat negativa ponderada en aquest cas), és el paràmetre de regularització (Group LASSO en aquest cas), i és la penalització per consens d'expectativa condicional (CEC) sobre dades no etiquetades. La penalització del CEC es defineix de la següent manera. Sigui la densitat marginal del nucli per a totes les dades

on (la distància del nucli entre les dades etiquetades i totes les dades etiquetades i sense etiquetar) i és un vector aleatori no negatiu amb una norma 2 d'1. El valor de és el nombre de vegades que es projecta cada nucli. A continuació, es realitza una regularització de l'expectativa sobre el MKD, donant com a resultat una expectativa de referència. i l'expectativa del model . Aleshores, definim

on és la divergència de Kullback-Leibler. El problema de minimització combinat s'optimitza mitjançant un algorisme de descens de gradient de bloc modificat. Per a més informació, vegeu Wang et al.

Aprenentatge no supervisat Zhuang et al. també han proposat algoritmes d'aprenentatge de nuclis múltiples no supervisats. El problema es defineix de la següent manera. Deixa ser un conjunt de dades sense etiquetar. La definició del nucli és el nucli combinat lineal . En aquest problema, les dades s'han d'"agrupar" en grups basats en les distàncies del nucli. Deixa ser un grup o clúster dels quals és membre. Definim la funció de pèrdues com . A més, minimitzem la distorsió minimitzant . Finalment, afegim un terme de regularització per evitar el sobreajustament. Combinant aquests termes, podem escriure el problema de minimització de la següent manera.

Una formulació d'això es defineix de la següent manera: sigui una matriu tal que vol dir que i són veïns. Aleshores, . Tingueu en compte que aquests grups també s'han d'aprendre. Zhuang et al. resolen aquest problema mitjançant un mètode de minimització alternant per a i els grups . Per a més informació, vegeu Zhuang et al.

Referències

Categoria:Aprenentatge automàtic