Estymator

Estymator – statystyka (funkcja, której wartości zależą od zebranych danych) służąca do szacowania wartości parametru charakteryzującego faktycznie istniejący rozkład prawdopodobieństwa cechy w populacji; przy tym zakłada się, że rozkład opisujący doświadczenie losowe należy do rodziny rozkładów dla pewnego zbioru

Przykładowo, rozważmy badanie wzrostu mieszkańców Polski. Zakładamy, że zmienna losowa , opisująca wzrost w populacji, ma rozkład normalny o nieznanej wartości oczekiwanej . Wartość jest parametrem rozkładu, który chcemy oszacować. W tym celu pobiera się próbę losową o liczebności . Następnie wyznacza się odpowiednią statystykę z próby, która posłuży do oszacowania parametru . Taką statystyką może być średnia arytmetyczna z próby. Mówimy wówczas, że średnia z próby jest estymatorem wartości oczekiwanej rozkładu normalnego. Natomiast wartość średniej obliczona na podstawie konkretnej próby jest estymatą parametru .

Definicje

Estymacja punktowa Niech

będzie rodziną rozkładów prawdopodobieństwa określonych na przestrzeni próby indeksowaną parametrem (w szczególności może to być wektor parametrów rzeczywistych). opisuje wielowymiarowy łączny rozkład wszystkich obserwacji w próbie

Zagadnienie estymacji punktowej polega na takim skonstruowaniu pewnej statystyki zwanej estymatorem, aby wartości były bliskie (w jakimś ustalonym sensie) wartości W szczególności, jeśli estymowany jest tylko jeden z parametrów rozkładu (czyli jedna ze współrzędnych wektora ), to odległość między i liczona jest tylko dla tej współrzędnej.

Ponieważ każda ze zmiennych losowych ma rozkład identyczny z rozkładem cechy w populacji generalnej, a rozkład ten zależy od parametru estymatory są zmiennymi losowymi, mającymi rozkład również zależny od parametru

Estymacja przedziałowa Estymacja przedziałowa w przypadku jednowymiarowym, tj. gdy polega na skonstruowaniu dwóch statystyk i tak by

gdzie jest ustalonym prawdopodobieństwem (tzw. poziom ufności).

Przedział nazywa się przedziałem ufności na poziomie

O estymacji z zadaną precyzją mówi się jeśli nałożone jest górne ograniczenie na różnicę

Oceną parametru lub estymatą nazywa się każdą realizację estymatora (zmiennej losowej ).

Ocena parametru będzie prawie zawsze różnić się od oryginalnej wartości parametru Wprowadza się zatem miarę błędu estymacji, tj. różnicę

Właściwości estymatorów Definicja estymatora pozostawia dużą dowolność w wybraniu danej statystyki do szacowania parametru, nie pozwalając jednocześnie na ocenę, która ze statystyk jest „dobrym” estymatorem. Aby sprawdzić, czy dana statystyka jest dobrym kandydatem na estymator parametru, sprawdza się czy spełnia ona zestaw własności charakteryzujących estymator.

Nieobciążoność thumb|right|upright|Porównanie estymatorów: estymator nieobciążony jest wycentrowany względem parametru , natomiast estymator obciążony wykazuje systematyczne przesunięcie względem . Estymator jest nieobciążony gdy wartość oczekiwana rozkładu estymatora jest równa wartości szacowanego parametru:

Jeśli różnica pomiędzy wartością oczekiwaną rozkładu estymatora a wartością szacowanego parametru jest zależna funkcyjnie od estymatora:

to estymator nazywany jest obciążonym, zaś sama różnica nazywana jest obciążeniem estymatora.

Asymptotyczna nieobciążoność Estymator nazywany jest asymptotycznie nieobciążonym, gdy obciążenie estymatora dąży do zera przy rosnącej liczebności próby:

Każdy estymator nieobciążony jest estymatorem asymptotycznie nieobciążonym.

Zgodność Estymator nazywany zgodnym, jeśli jest stochastycznie zbieżny do szacowanego parametru, tj. dla każdego zachodzi

Zbieżność taka oznacza, że jeśli rośnie liczebność próby, to rośnie też prawdopodobieństwo, że oszacowanie przy pomocy estymatora będzie przyjmować wartości coraz bliższe wartości szacowanego parametru. Innymi słowy, zwiększając liczebność próby, zmniejszamy ryzyko popełnienia błędu większego niż pewna ustalona wielkość.

Efektywność Spośród zbioru wszystkich nieobciążonych estymatorów najefektywniejszym nazywamy estymator o najmniejszej wariancji.

Definicja ta jest bardzo niewygodna, ponieważ do wyznaczenia najefektywniejszego estymatora potrzebna jest znajomość wariancji wszystkich estymatorów nieobciążonych danego parametru rozkładu. W praktyce o wiele łatwiej jest skorzystać z nierówności Rao-Craméra.

Asymptotyczna efektywność Estymator jest asymptotycznie najefektywniejszy, jeśli przy wzrastającej liczebności próby wariancja estymatora dąży do wariancji estymatora najefektywniejszego

gdzie oznacza wariancję estymatora.

Dostateczność Estymator jest dostateczny, jeśli można ze względu na niego dokonać faktoryzacji (rozłożenia na iloczyn) łącznej funkcji gęstości wektora wyników próby

gdzie jest funkcją niezależną od parametru

Metody wyznaczania estymatorów Jeśli nie jest oczywiste, jaką statystykę należy wybrać jako kandydata na estymator, z pomocą przychodzą różnorodne metody ich wyznaczania.

Metoda momentów Etap 1.

Przedstawiamy momenty (zwykłe lub centralne) jako funkcje parametrów rozkładu:

Momenty wybieramy w taki sposób, aby powstały w ten sposób układ równań miał jednoznaczne rozwiązanie.

Etap 2.

Rozwiązujemy układ równań względem parametrów i w miejsce momentów z populacji wstawiamy momenty z próby

Metoda największej wiarygodności (W literaturze stosowana jest zarówno pisownia „wiarygodności”, jak i „wiarogodności”).

Etap 1.

Wyznaczamy funkcję wiarygodności próby zgodnie ze wzorami: dla rozkładów ciągłych, dla rozkładów skokowych,

gdzie oznacza funkcję gęstości rozkładu, zaś funkcję prawdopodobieństwa.

Etap 2.

Wyznaczamy (funkcje i osiągają maksimum dla tej samej wartości, a często zamiast wygodniej jest używać logarytmu funkcji wiarygodności).

Etap 3.

Wyznaczamy pochodne cząstkowe dla Gdy jest dyskretna nie możemy różniczkować, wyliczamy Wiarygodność wtedy jest maksymalizowana przez najmniejsze n przy którym ten stosunek jest 1.

Etap 4.

Rozwiązujemy układ równań względem

Rozwiązanie układu stanowią estymatory szukanych parametrów.

Uwaga: W ogólności wynikiem są ekstrema funkcji wiarygodności, a więc należy sprawdzić, czy funkcja dla wyliczonych przyjmuje maksimum (a nie minimum). Można to zrobić, sprawdzając, czy druga pochodna w punktach jest ujemna lub poprzez analizę zmienności znaku funkcji uzyskanej z obliczenia pierwszej pochodnej wokół miejsc zerowych.

Przykład: Metoda największej wiarygodności Poszukujemy estymatorów rozkładu normalnego. Funkcja gęstości prawdopodobieństwa ma postać:

Wyznaczamy logarytm w celu uproszczenia obliczeń:

Funkcja wiarygodności ma postać:

Maksymalizując ze względu na , zerujemy pochodną cząstkowa względem

co daje standardowy estymator średniej jako estymator parametru

Podobnie maksymalizuje się ze względu na

co daje standardowy estymator wariancji jako estymator parametru

Wady metody estymatorów. Statystyka subiektywna Alternatywne podejście do statystyki, tzn. statystyka subiektywna, bayesowska, gradacyjna i metody rangowe ogranicza stosowanie estymatorów. Wskazuje się, że estymatory tak naprawdę dobierane są ad-hoc, a wszystkie ważne kryteria takie jak nieobciążoność i minimalna wariancja zależą od wyboru układu odniesienia, a kryteria doboru estymatora przy danym rozkładzie zależą od „kosztów” błędnego oszacowania. Jeżeli np. przeszacowanie o 1 kosztuje tyle co niedoszacowanie o 5, to nieobciążony estymator będzie złym wyborem. Zagadnienie to jest sformalizowane jako kompromis między obciążeniem a wariancją estymatorów.

Przykład W tabeli poniżej zestawiono wyniki pomiarów idealnie kulistych baniek mydlanych. Numer pomiaruŚrednica [cm]Pole przekroju [cm²]Objętość [cm³]12243648

Istnieje kilka możliwości wykorzystania tych wyników w obliczeniach: można przyjąć za wielkość podstawową średnicę bańki i wybrać estymator dla średnicy, a pole przekroju bańki i jej objętość obliczyć na podstawie średnicy, można postąpić analogicznie, wybierając za wielkość podstawową pole przekroju bańki lub leż jej objętość, można estymować osobno średnicę bańki, jej pole przekroju i jej objętość.

Uzyska się wtedy następujące wyniki: MetodaŚrednicaPole przekrojuObjętośćŚrednica56,25 π20,83 πPole przekroju5,487,5 π27,29 πObjętość5,848,55 π33,33 πNiezależnie57,5 π33,33 π

Wnioski: Estymator nieobciążony dla każdej z przyjętych wielkości podstawowej daje „obciążone” wyniki dla pozostałych wielkości, a estymowanie każdej z tech wielkości osobno prowadzi do niezachowania znanej z geometrii zależności między tymi wielkościami.

Założenia statystyki subiektywnej Metoda stosowana w statystyce subiektywistycznej wymusza: Przyjęcie explicite założeń co do rozkładu, czyli rozkładu a priori (co w przeciwnym wypadku musi się zrobić niejawnie, np. w powyższym przykładzie wyróżniając średnicę bańki itp.). Na tej podstawie z reguły Bayesa wyprowadza się wzór na rozkład a posteriori parametrów modelu (w statystyce klasycznej żaden z tych dwóch rozkładów nie jest dopuszczalny, choć są czasem stosowane niejawnie). Przyjęcie explicite funkcji kosztu. Na podstawie funkcji kosztu oraz rozkładu a posteriori wyliczany jest jedyny możliwy w tym przypadku estymator.

Ucięty rozkład normalny Istnieją też relatywnie proste rozkłady, w których lepiej jest przyjąć rozkład obciążony od nieobciążonego. Przyjmijmy, że zmienna ma rozkład normalny o znanej wariancji i nieznanej (ale należącej do znanego przedziału) wartości oczekiwanej, ale odczyty z naszych urządzeń pomiarowych wszystkie wartości ujemne przedstawiają jako 0. Przyjmijmy, że dla danych zawierających tylko liczby dodatnie estymator zwraca dodatnie oszacowanie parametru. Jest to bardzo pożądana cecha. Estymator musiałby jednak zwracać coś również dla odczytów zawierających wyłącznie zera – przyjmijmy, że dla odczytów będących samymi zerami zwraca

Załóżmy, że wartość oczekiwana wynosi Chcemy jednak, aby estymator był nieobciążony. W tym celu, jeśli niedoszacowania w wyniku wylosowania samych zer mogą być równoważone przez przeszacowania w wyniku wylosowania jakiegoś niezerowego wyniku. Jeżeli jednak , to nie istnieje żaden estymator nieobciążony, gdyż niezależnie od wyniku pomiarów estymator zwróci oszacowanie wyższe od Aby więc estymator był nieobciążony, to dla każdego oszacowanie musi być nie większe od najmniejszej możliwej wartości parametru. Ponieważ w rozkładzie normalnym szansa na odczyt innej wartości niż zero jest niezerowa (choć może być bardzo mała), to aby równoważyć estymację musi być ostro mniejsze od najmniejszej możliwej wartości parametru. Szacowanie odczytu serii kolejnych zer na wartość mniejszą od najmniejszej dopuszczalnej zdecydowanie nie jest pożądaną własnością estymatora.

Lepiej jest więc przyjąć jakiś estymator obciążony, np. estymator Bayesowski powstały przez przyjęcie wszystkich wartości parametru za równie prawdopodobne oraz funkcji kosztu równej kwadratowi różnicy między parametrem a jego estymacją. Taki estymator będzie bardzo bliski średniej arytmetycznej dla wyników dodatnich (nie będzie ściśle równy średniej ze względu na istnienie górnej granicy możliwych wartości parametru), a dla serii zer przyjmie rozsądniejsze wartości, zaczynając powyżej połowy ujemnego przedziału (być może w przedziale dodatnim) dla niskich i obniżając się powoli asymptotycznie do najmniejszej dopuszczalnej wartości dla przedziału ujemnego.

Wpływ obserwacji odstających na estymatory i metody obejścia problemu

Estymatory z zasady wyznaczają jeden z parametrów rozkładu, a zatem zakładają pewien określony rozkład lub klasę rozkładów, do których ma należeć rozkład danej zmiennej losowej. Na ogół jest to rozkład normalny, lub (w przypadku wielowymiarowych zmiennych losowych) wielowymiarowy rozkład normalny.