En els mètodes bayesians variacionals, el límit inferior d'evidència (sovint abreujat ELBO, també anomenat de vegades límit inferior variacional o energia lliure variacional negativa) és un límit inferior útil sobre la probabilitat logarítmica d'algunes dades observades.
L'ELBO és útil perquè proporciona una garantia en el pitjor dels casos per a la probabilitat logarítmica d'alguna distribució (p. ex. ) que modela un conjunt de dades. La probabilitat logarítmica real pot ser més alta (que indica un ajust encara millor a la distribució) perquè l'ELBO inclou un terme de divergència de Kullback-Leibler (divergència KL) que disminueix l'ELBO perquè una part interna del model és inexacta tot i un bon ajust del model en general. Així, millorar la puntuació ELBO indica o bé millorar la probabilitat del model o l'ajust d'un component intern al model, o tots dos, i la puntuació ELBO fa una bona funció de pèrdua, per exemple, per entrenar una xarxa neuronal profunda per millorar tant el model global com el component intern. (El component intern és , definit amb detall més endavant en aquest article.)
Definició Deixa i ser variables aleatòries, distribuïdes conjuntament amb la distribució . Per exemple, és la distribució marginal de , i és la distribució condicional de donat . Després, per a una mostra , i qualsevol distribució , l'ELBO es defineix com L'ELBO es pot escriure de manera equivalent com
A la primera línia,
és l'entropia de , que relaciona l'ELBO amb l'energia lliure de Helmholtz. A la segona línia, s'anomena levidència , i és la divergència entre Kullback-Leibler i . Com que la divergència de Kullback-Leibler no és negativa, forma un límit inferior de l'evidència (desigualtat ELBO)
Motivació Inferència Bayesiana variacional Suposem que tenim una variable aleatòria observable , i volem trobar la seva veritable distribució . Això ens permetria generar dades mitjançant mostreig i estimar probabilitats d'esdeveniments futurs. En general, és impossible de trobar exactament, ens obliga a buscar una bona aproximació.
És a dir, definim una família paramètrica prou gran de distribucions, després resol-ho per a alguna funció de pèrdua . Una possible manera de resoldre això és considerant una petita variació de a , i resol . Aquest és un problema en el càlcul de variacions, per això s'anomena mètode variacional.
Com que no hi ha moltes famílies de distribucions parametritzades explícitament (totes les famílies de distribucions clàssiques, com ara la distribució normal, la distribució de Gumbel, etc., són massa simplistes per modelar la distribució real), considerem distribucions de probabilitat parametritzades implícitament :
Primer, definiu una distribució senzilla sobre una variable aleatòria latent . Normalment n'hi ha prou amb una distribució normal o una distribució uniforme. A continuació, definiu una família de funcions complicades (com ara una xarxa neuronal profunda) parametritzat per . Finalment, definiu una manera de convertir qualsevol en una distribució (en general també senzilla, però no relacionada amb ) sobre la variable aleatòria observable . Per exemple, deixeu tenir dues sortides, llavors podem definir la distribució corresponent que sigui la distribució normal .
Això defineix una família de distribucions conjuntes acabat . És molt fàcil de provar : simplement mostra , després calcula , i finalment mostra utilitzant .
En altres paraules, tenim un model generatiu tant per a allò observable com per a allò latent. Ara, considerem una distribució bé, si és una aproximació propera a : ja que la distribució del costat dret s'ha acabat només, la distribució del costat esquerre ha de marginar la variable latent lluny.
En general, és impossible realitzar la integral , que ens obliga a fer una altra aproximació.
Des que (Regla de Bayes), n'hi ha prou amb trobar una bona aproximació de . Així que definiu una altra família de distribució i utilitzar-lo per aproximar-lo . Aquest és un model discriminatiu per als latents.
Tota la situació es resumeix a la taula següent: : observable : latent aproximable, fàcil, fàcil aproximable, fàcil En llengua bayesiana, és l'evidència observada, i és el latent/no observat. La distribució acabat és la distribució prèvia , és la funció de probabilitat, i és la distribució posterior .
Donada una observació , podem inferir'' què probablement va donar lloc a mitjançant la informàtica . El mètode bayesià habitual és estimar la integral , després calculeu per la regla de Bayes . Això és car de realitzar en general, però si simplement podem trobar una bona aproximació per a la majoria , llavors podem inferir des de barat. Per tant, la recerca d'un bé també s'anomena inferència amortitzada.
Amb tot, hem trobat un problema d' inferència bayesiana variacional'''.
Derivació de l'ELBO Un resultat bàsic de la inferència variacional és que minimitzar la divergència de Kullback-Leibler (divergència KL) és equivalent a maximitzar la probabilitat logarítmica: on és l'entropia de la distribució real. Així que si podem maximitzar , podem minimitzar , i en conseqüència trobar una aproximació precisa .
Per maximitzar , simplement mostrem molts , és a dir, utilitzar mostreig d'importància on és el nombre de mostres extretes de la distribució real. Aquesta aproximació es pot veure com un sobreajust. [ nota 1 ]
Per tal de maximitzar , cal trobar : Normalment no té una forma tancada i s'ha d'estimar. La forma habitual d'estimar integrals és la integració de Monte Carlo amb mostreig d'importància : on és una distribució mostral sobre que fem servir per realitzar la integració de Montecarlo.
Maximització de l'ELBO Per fix , l'optimització simultàniament intenta maximitzar i minimitzar . Si la parametrització per i són prou flexibles, n'obtindrem alguns , tal que tenim simultàniament
Des que tenim i així És a dir, maximitzar l'ELBO simultàniament ens permetria obtenir un model generatiu precís i un model discriminatiu precís .
Formes principals L'ELBO té moltes expressions possibles, cadascuna amb un èmfasi diferent.
Aquesta forma mostra que si mostrem
, doncs és un estimador no esbiaixat de l'ELBO.
Aquest formulari mostra que l'ELBO és un límit inferior de l'evidència
, i que maximitza l'ELBO respecte a equival a minimitzar la divergència KL de a .
Aquest formulari mostra que la maximització de l'ELBO intenta mantenir simultàniament prop de i concentrar-se sobre aquells que maximitza . És a dir, la posterior aproximada equilibris entre mantenir-se a prop de l'anterior i avançant cap a la màxima probabilitat .
Referències
Categoria:Probabilitat