En estadística i processament de senyals, el principi d'ortogonalitat és una condició necessària i suficient per a l'optimalitat d'un estimador bayesià. En termes generals, el principi d'ortogonalitat diu que el vector d'error de l'estimador òptim (en el sentit de l'error quadràtic mitjà) és ortogonal a qualsevol estimador possible. El principi d'ortogonalitat s'enuncia més habitualment per a estimadors lineals, però són possibles formulacions més generals. Com que el principi és una condició necessària i suficient per a l'optimalitat, es pot utilitzar per trobar l'estimador de l'error quadràtic mitjà mínim.

Principi d'ortogonalitat per a estimadors lineals El principi d'ortogonalitat s'utilitza més habitualment en el context de l'estimació lineal. En aquest context, sigui x un vector aleatori desconegut que s'ha d'estimar a partir del vector d'observació y. Es vol construir un estimador lineal. per a alguna matriu H i vector c. Aleshores, el principi d'ortogonalitat estableix que un estimador aconsegueix un error quadràtic mitjà mínim si i només si

i

Si x i y tenen mitjana zero, aleshores n'hi ha prou amb exigir la primera condició.

Exemple Suposem que x és una variable aleatòria gaussiana amb mitjana m i variància Suposem també que observem un valor on w és el soroll gaussià que és independent de x i té mitjana 0 i variància Volem trobar un estimador lineal minimitzant l'MSE. Substituint l'expressió en els dos requisits del principi d'ortogonalitat, obtenim

i

Resolent aquestes dues equacions lineals per a h i c resulta en

de manera que l'estimador lineal de l'error quadràtic mitjà mínim ve donat per

Aquest estimador es pot interpretar com una mitjana ponderada entre les mesures sorolloses y i el valor esperat previ m. Si la variància del soroll és baixa en comparació amb la variància de l'anterior (corresponent a una SNR alta), aleshores la major part del pes es dona a les mesures y, que es consideren més fiables que la informació prèvia. Per contra, si la variància del soroll és relativament més alta, l'estimació serà propera a m, ja que les mesures no són prou fiables per superar la informació prèvia.

Finalment, cal tenir en compte que, com que les variables x i y són conjuntament gaussianes, l'estimador mínim de l'EQM és lineal.See the article minimum mean square error. Per tant, en aquest cas, l'estimador anterior minimitza l'EQM entre tots els estimadors, no només els estimadors lineals.

Formulació general Deixa sigui un espai de Hilbert de variables aleatòries amb un producte intern definit per . Suposem és un subespai tancat de , que representa l'espai de tots els estimadors possibles. Es vol trobar un vector que aproximarà un vector . Més precisament, es vol minimitzar l'error quadràtic mitjà (MSE) entre i .

En el cas especial dels estimadors lineals descrits anteriorment, l'espai és el conjunt de totes les funcions de i , mentre és el conjunt d'estimadors lineals, és a dir, funcions lineals de només. Altres configuracions que es poden formular d'aquesta manera inclouen el subespai dels filtres lineals causals i el subespai de tots els estimadors (possiblement no lineals).

Geomètricament, podem veure aquest problema amb el següent cas simple on és un subespai unidimensional: center|350x350px Volem trobar l'aproximació més propera al vector per un vector a l'espai . A partir de la interpretació geomètrica, és intuïtiu que la millor aproximació, o l'error més petit, es produeix quan el vector d'error, , és ortogonal als vectors de l'espai .

Més precisament, el principi general d'ortogonalitat estableix el següent: Donat un subespai tancat d'estimadors dins d'un espai de Hilbert i un element en , un element aconsegueix un MSE mínim entre tots els elements de si i només si per a tots

Dit d'aquesta manera, aquest principi és simplement una afirmació del teorema de projecció de Hilbert. No obstant això, l'ús extensiu d'aquest resultat en el processament de senyals ha donat lloc al nom de "principi d'ortogonalitat".

Una solució als problemes de minimització d'errors La següent és una manera de trobar l'estimador de l'error quadràtic mitjà mínim utilitzant el principi d'ortogonalitat.

Volem poder aproximar un vector per

on

és l'aproximació de com a combinació lineal de vectors en el subespai cobert per Per tant, volem poder resoldre els coeficients, , de manera que puguem escriure la nostra aproximació en termes coneguts.

Pel teorema d'ortogonalitat, la norma quadrada del vector d'error, , es minimitza quan, per a tot j ,

Desenvolupant aquesta equació, obtenim

Si hi ha un nombre finit de vectors , es pot escriure aquesta equació en forma matricial com a

Suposant que són linealment independents, la matriu de Gramian es pot invertir per obtenir

proporcionant així una expressió per als coeficients de l'estimador de l'error quadràtic mitjà mínim.

Referències

Categoria:Estadística multivariant Categoria:Processament de senyals