miniatura|418x418px|Esquerra: una xarxa neuronal bayesiana amb dues capes amagades, transformant una entrada tridimensional (inferior) en una sortida bidimensional (y1,y2) (superior). Dreta: funció de densitat de probabilitat de sortida p(y1,y2) induït pels pesos aleatoris de la xarxa. Vídeo: a mesura que augmenta l'amplada de la xarxa, la distribució de sortida es simplifica, i finalment convergeix a una normal multivariant en el límit d'amplada infinita. Les xarxes bayesianes són una eina de modelització per assignar probabilitats als esdeveniments i, per tant, caracteritzar la incertesa en les prediccions d'un model. L'aprenentatge profund i les xarxes neuronals artificials són enfocaments utilitzats en l'aprenentatge automàtic per construir models computacionals que aprenen a partir d'exemples d'entrenament. Les xarxes neuronals bayesianes fusionen aquests camps. Són un tipus de xarxa neuronal artificial els paràmetres i prediccions de la qual són probabilistes. Mentre que les xarxes neuronals artificials estàndard solen assignar una alta confiança fins i tot a prediccions incorrectes, les xarxes neuronals bayesianes poden avaluar amb més precisió la probabilitat que les seves prediccions siguin correctes.
Els processos gaussians de xarxes neuronals (NNGP) són equivalents a les xarxes neuronals bayesianes en un límit particular, i proporcionen una forma tancada manera d'avaluar les xarxes neuronals bayesianes. Són una distribució de probabilitat de procés gaussià que descriu la distribució sobre les prediccions fetes per la xarxa neuronal bayesiana corresponent. La computació en xarxes neuronals artificials s'organitza normalment en capes seqüencials de neurones artificials. El nombre de neurones d'una capa s'anomena amplada de la capa. L'equivalència entre els NNGP i les xarxes neuronals bayesianes es produeix quan les capes d'una xarxa neuronal bayesiana es fan infinitament amples (vegeu la figura). Aquest límit d'amplada gran és d'interès pràctic, ja que les xarxes neuronals d'amplada finita solen tenir un rendiment estrictament millor a mesura que augmenta l'amplada de la capa.
El NNGP també apareix en diversos altres contextos: descriu la distribució sobre prediccions fetes per amplies xarxes neuronals artificials no bayesianes després de la inicialització aleatòria dels seus paràmetres, però abans de l'entrenament; apareix com un terme en les equacions de predicció del nucli tangent neural; s'utilitza en la propagació d'informació profunda per caracteritzar si els hiperparàmetres i les arquitectures seran entrenables. Està relacionat amb altres límits d'amplada gran de les xarxes neuronals.
Biblioteques de programari Neural Tangents és una biblioteca de Python gratuïta i de codi obert que s'utilitza per calcular i fer inferència amb el NNGP i el nucli de tangents neuronals corresponents a diverses arquitectures ANN comunes.
Referències
Categoria:Aprenentatge automàtic