La màxima versemblança (en anglès: Maximum Likelihood Estimation MLE) és un mètode estadístic molt emprat per inferir els paràmetres de la distribució de la probabilitat d'una mostra donada.
Aquest mètode va ser desenvolupat pel genetista i estadístic Ronald Fisher entre 1912 i 1922.
Principi Sigui una família parametrada de distribucions de probabilitat Dθ on els elements són associats ja sia a una densitat de probabilitat coneguda (distribució contínua), ja sia a una funció de massa de probabilitat coneguda (distribució discreta), designada com fθ. Amb una mostra de n valors x1, x2, ..., xn de la distribució, i on es calcula la densitat de probabilitat associada a les dades observades
L'estimador de màxim de versemblança pot existir i ésser únic, no ser pas l'únic o no existir.
Modelem un conjunt d'observacions com una mostra aleatòria d'una distribució de probabilitat conjunta desconeguda que s'expressa en termes d'un conjunt de paràmetres. L'objectiu de l'estimació de màxima versemblança és determinar els paràmetres per als quals les dades observades tenen la probabilitat conjunta més alta. Escrivim els paràmetres que governen la distribució conjunta com un vector. de manera que aquesta distribució caigui dins d'una família paramètrica on s'anomena espai de paràmetres, un subconjunt de dimensió finita de l'espai euclidià. Avaluació de la densitat de juntes a la mostra de dades observada dóna una funció amb valors reals, que s'anomena funció de probabilitat. Per a variables aleatòries independents, serà el producte de les funcions de densitat univariants:
L'objectiu de l'estimació de màxima versemblança és trobar els valors dels paràmetres del model que maximitzen la funció de versemblança sobre l'espai de paràmetres, és a dir:
Intuïtivament, això selecciona els valors dels paràmetres que fan que les dades observades siguin més probables. El valor específic que maximitza la funció de probabilitat s'anomena estimació de màxima probabilitat. A més, si la funció Si aquesta funció definida és mesurable, aleshores s'anomena estimador de màxima versemblança. Generalment és una funció definida sobre l'espai mostral, és a dir, prenent una mostra donada com a argument. Una condició suficient però no necessària per a la seva existència és que la funció de versemblança sigui contínua sobre un espai de paràmetres. que és compacte. Per a un obert la funció de probabilitat pot augmentar sense arribar mai a un valor suprem.
A la pràctica, sovint és convenient treballar amb el logaritme natural de la funció de probabilitat, anomenat log-verosimilitud: Com que el logaritme és una funció monòtona, el màxim de es produeix al mateix valor de com ho fa el màxim de Si és diferenciable en Les condicions necessàries perquè es produeixi un màxim (o un mínim) són conegudes com a equacions de probabilitat. Per a alguns models, aquestes equacions es poden resoldre explícitament per a però en general no es coneix ni està disponible cap solució tancada al problema de maximització, i un MLE només es pot trobar mitjançant l'optimització numèrica. Un altre problema és que en mostres finites, poden existir múltiples arrels per a les equacions de probabilitat. Si l'arrel identificada de les equacions de probabilitat és, de fet, un màxim (local) depèn de si la matriu de derivades parcials i parcials creuades de segon ordre, l'anomenada matriu hessiana
és semidefinit negatiu a , ja que això indica concavitat local. Convenientment, la majoria de distribucions de probabilitat comunes, en particular la família exponencial, són logarítmicament còncaves.
Espai de paràmetres restringit Tot i que el domini de la funció de probabilitat —l'espai de paràmetres— és generalment un subconjunt de dimensió finita de l'espai euclidià, de vegades cal incorporar restriccions addicionals al procés d'estimació. L'espai de paràmetres es pot expressar com
on és una aplicació de funcions amb valors vectorials en Estimació del paràmetre real pertanyent a aleshores, com a qüestió pràctica, significa trobar el màxim de la funció de versemblança subjecta a la restricció
Teòricament, l'enfocament més natural per a aquest problema d'optimització amb restriccions és el mètode de substitució, és a dir, omplir les restriccions. a un conjunt de tal manera que és una funció biunívoca de a si mateix i reparametritzar la funció de probabilitat establint A causa de l'equivariància de l'estimador de màxima probabilitat, les propietats de l'MLE també s'apliquen a les estimacions restringides. Per exemple, en una distribució normal multivariant, la matriu de covariància ha de ser definit positivament; aquesta restricció es pot imposar substituint on és una matriu triangular superior real i és la seva transposició.
A la pràctica, les restriccions se solen imposar mitjançant el mètode de Lagrange que, donades les restriccions definides anteriorment, condueix a les equacions de probabilitat restringida i
on és un vector columna de multiplicadors de Lagrange i és la matriu jacobiana de derivades parcials. Naturalment, si les restriccions no són vinculants al màxim, els multiplicadors de Lagrange haurien de ser zero. Això, al seu torn, permet una prova estadística de la validesa de la restricció, coneguda com a prova del multiplicador de Lagrange.
Estimació de màxima probabilitat no paramètrica L'estimació de màxima versemblança no paramètrica es pot realitzar utilitzant la versemblança empírica.
Propietats Un estimador de màxima versemblança és un estimador extrem que s'obté maximitzant, com a funció de θ, la funció objectiu Si les dades són independents i distribuïdes de manera idèntica, aleshores tenim sent aquest l'anàleg de mostra de la log-verosimilitud esperada , on aquesta esperança es pren respecte a la densitat real.
Els estimadors de màxima probabilitat no tenen propietats òptimes per a mostres finites, en el sentit que (quan s'avaluen en mostres finites) altres estimadors poden tenir una concentració més gran al voltant del valor real del paràmetre. Tanmateix, com altres mètodes d'estimació, l'estimació de màxima probabilitat posseeix diverses propietats limitants atractives: a mesura que la mida de la mostra augmenta fins a l'infinit, les seqüències d'estimadors de màxima probabilitat tenen aquestes propietats:
Consistència: la seqüència d'elements de major vàlvula (MLE) convergeix en probabilitat al valor que s'estima. Equivariància: Si és l'estimador de màxima probabilitat per a , i si és una transformació bijectiva de , aleshores l'estimador de màxima versemblança per a és La propietat d'equivariància es pot generalitzar a transformades no bijectives, tot i que en aquest cas s'aplica al màxim d'una funció de probabilitat induïda que no és la veritable probabilitat en general. Eficiència, és a dir, aconsegueix el límit inferior de Cramér-Rao quan la mida de la mostra tendeix a infinit. Això significa que cap estimador consistent té un error quadràtic mitjà asimptòtic inferior al MLE (o altres estimadors que aconsegueixen aquest límit), cosa que també significa que el MLE té normalitat asimptòtica. Eficiència de segon ordre després de la correcció del biaix.
Consistència Sota les condicions descrites a continuació, l'estimador de màxima versemblança és consistent. La consistència significa que si les dades fossin generades per i tenim un nombre prou gran d'observacions n, aleshores és possible trobar el valor de θ0 amb precisió arbitrària. En termes matemàtics , això significa que a mesura que n tendeix a infinit, l'estimador convergeix en probabilitat al seu valor real:
Sota condicions lleugerament més fortes, l'estimador convergeix gairebé amb seguretat (o fortament):
En aplicacions pràctiques, les dades mai no es generen per Més aviat, és un model, sovint en forma idealitzada, del procés generat per les dades. És un aforisme comú en estadística que tots els models són erronis. Per tant, la veritable consistència no es produeix en aplicacions pràctiques. No obstant això, la consistència sovint es considera una propietat desitjable que ha de tenir un estimador.
Per establir la coherència, les condicions següents són suficients.
La condició de dominància es pot emprar en el cas d'observacions iid. En el cas no iid, la convergència uniforme en probabilitat es pot comprovar demostrant que la seqüència és estocàsticament equicontínua.
Si es vol demostrar que l'estimador ML convergeix a θ 0 gairebé amb seguretat, aleshores gairebé amb seguretat s'ha d'imposar una condició més forta de convergència uniforme:
A més, si (com s'ha suposat anteriorment) les dades fossin generades per , aleshores, sota certes condicions, també es pot demostrar que l'estimador de màxima versemblança convergeix en distribució a una distribució normal. Concretament, on és la matriu d'informació de Fisher.
Invariància funcional L'estimador de màxima versemblança selecciona el valor del paràmetre que dóna a les dades observades la probabilitat més gran possible (o densitat de probabilitat, en el cas continu). Si el paràmetre consta de diversos components, definim els seus estimadors de màxima versemblança separats com el component corresponent de l'estimador de màxima versemblança del paràmetre complet. D'acord amb això, si és el MLE per a , i si és qualsevol transformació de , aleshores el MLE per a és per definició
Maximitza la probabilitat del perfil:
L'MLE també és equivariant respecte a certes transformacions de les dades. Si on és un a un i no depèn dels paràmetres a estimar, aleshores les funcions de densitat satisfan
i per tant, les funcions de probabilitat per a i només difereixen en un factor que no depèn dels paràmetres del model.
Per exemple, els paràmetres MLE de la distribució log-normal són els mateixos que els de la distribució normal ajustada al logaritme de les dades. De fet, en el cas log-normal si , aleshores segueix una distribució log-normal. La densitat de Y segueix amb estàndard Normal i , per .
Eficiència Com s'ha suposat anteriorment, si les dades fossin generades per aleshores, sota certes condicions, també es pot demostrar que l'estimador de màxima versemblança convergeix en distribució a una distribució normal. És -consistent i asimptòticament eficient, és a dir, que assoleix el límit de Cramér-Rao. Concretament,
on és la Informació de Fisher:
En particular, significa que el biaix de l'estimador de màxima versemblança és igual a zero fins a l'ordre .
Eficiència de segon ordre després de la correcció del biaix Tanmateix, quan considerem els termes d'ordre superior en l’expansió de la distribució d'aquest estimador, resulta que un biaix d'ordre . Aquest biaix és igual a (per components)
on (amb superíndexs) denota el component (j,k)-èsim de la matriu d'informació inversa de Fisher , i
Utilitzant aquestes fórmules és possible estimar el biaix de segon ordre de l'estimador de màxima versemblança i corregir aquest biaix restant-lo: Aquest estimador és imparcial fins als termes d'ordre, i s'anomena estimador de màxima versemblança corregit pel biaix.
Aquest estimador amb correcció de biaix és second-order efficient (almenys dins de la família exponencial corba), és a dir, que té un error quadràtic mitjà mínim entre tots els estimadors amb correcció de biaix de segon ordre, fins als termes de l'ordre És possible continuar aquest procés, és a dir, derivar el terme de correcció del biaix de tercer ordre, i així successivament. Tanmateix, l'estimador de màxima versemblança no és eficient de tercer ordre.
Relació amb la inferència bayesiana Un estimador de màxima versemblança coincideix amb l'estimador bayesià més probable donada una distribució uniforme a priori dels paràmetres. De fet, l'estimació màxima a posteriori és el paràmetre que maximitza la probabilitat de donades les dades, donada pel teorema de Bayes: