En estadística bayesiana, un hiperprior és una distribució a priori sobre un hiperparàmetre, és a dir, sobre un paràmetre d'una distribució a priori.

Igual que amb el terme hiperparàmetre, l'ús d' hiper és per distingir-lo d'una distribució prèvia d'un paràmetre del model per al sistema subjacent. Sorgeixen particularment en l'ús de models jeràrquics.

Per exemple, si s'utilitza una distribució beta per modelar la distribució del paràmetre p d'una distribució de Bernoulli, aleshores:

La distribució de Bernoulli (amb paràmetre p) és el model del sistema subjacent; p és un paràmetre del sistema subjacent (distribució de Bernoulli); La distribució beta (amb paràmetres α i β) és la distribució a priori de p; α i β són paràmetres de la distribució prèvia (distribució beta), per tant, hiperparàmetres; Una distribució a priori de α i β és, per tant, una hiperprior.

En principi, es pot iterar l'anterior: si l'hiperprior en si té hiperparàmetres, aquests es poden anomenar hiperhiperparàmetres, i així successivament.

Anàlogament, es pot anomenar la distribució posterior de l'hiperparàmetre hiperposterior i, si aquestes són de la mateixa família, anomenar-les hiperdistribucions conjugades o hiperprior conjugada. Tanmateix, això esdevé ràpidament molt abstracte i s'allunya del problema original.

Propòsit Els hiperpriors, com els priors conjugats, són una comoditat computacional: no canvien el procés d'inferència bayesiana, sinó que simplement permeten descriure i calcular més fàcilment amb el prior.

Incertesa En primer lloc, l'ús d'un hiperparàmetre permet expressar la incertesa en un hiperparàmetre: prendre un a priori fix és una suposició, variar un hiperparàmetre de l'a priori permet fer una anàlisi de sensibilitat sobre aquesta suposició, i prendre una distribució sobre aquest hiperparàmetre permet expressar la incertesa en aquesta suposició: "suposem que l'a priori és d'aquesta forma (aquesta família paramètrica), però que no estem segurs de quins haurien de ser exactament els valors dels paràmetres".

Distribució de la mescla De manera més abstracta, si s'utilitza un hiperprior, la distribució a priori (sobre el paràmetre del model subjacent) en si mateixa és una densitat de mescla: és la mitjana ponderada de les diverses distribucions a priori (sobre diferents hiperparàmetres), amb l'hiperprior com a ponderació. Això afegeix possibles distribucions addicionals (més enllà de la família paramètrica que s'està utilitzant), perquè les famílies paramètriques de distribucions generalment no són conjunts convexos; com que una densitat de mescla és una combinació convexa de distribucions, en general es trobarà fora de la família. Per exemple, la mescla de dues distribucions normals no és una distribució normal: si es prenen mitjanes diferents (prou distants) i es barreja el 50% de cadascuna, s'obté una distribució bimodal, que per tant no és normal. De fet, l'envolupant convex de les distribucions normals és dens en totes les distribucions, de manera que en alguns casos, es pot aproximar arbitràriament una distribució a priori determinada utilitzant una família amb un hiperprior adequat.

El que fa que aquest mètode sigui particularment útil és si s'utilitzen funcions a priori conjugades: les funcions a priori conjugades individuals tenen funcions a priori calculades fàcilment, i per tant una barreja d'accions a priori conjugades és la mateixa barreja de funcions a priori: només cal saber com canvia cada funció a priori conjugada. Utilitzar una sola funció a priori conjugada pot ser massa restrictiu, però utilitzar una barreja d'accions a priori conjugades pot donar la distribució desitjada en una forma fàcil de calcular. Això és similar a descompondre una funció en termes de funcions pròpies; vegeu Funcions a priori conjugades: analogia amb funcions pròpies.

Sistema dinàmic Una hipera priori és una distribució a l'espai de possibles hiperparàmetres. Si s'utilitzen distribucions a priori conjugades, aquest espai es conserva movent-se a distribucions a posteriors; per tant, a mesura que arriben les dades, la distribució canvia, però roman en aquest espai: a mesura que arriben les dades, la distribució evoluciona com un sistema dinàmic (cada punt de l'espai d'hiperparàmetres evolucionant cap als hiperparàmetres actualitzats), convergint amb el temps, igual que la distribució a priori convergeix.

Referències

Categoria:Estadística Categoria:Probabilitat