Odchylenie standardowe – klasyczna miara zmienności („dyspersji”, zróżnicowania), obok średniej arytmetycznej najczęściej stosowane pojęcie statystyczne.
Intuicyjnie rzecz ujmując, odchylenie standardowe mówi, jak szeroko wartości jakiejś wielkości (na przykład wieku, inflacji, kursu walutowego) są rozrzucone wokół jej średniej. Im mniejsza wartość odchylenia tym obserwacje są bardziej skupione wokół średniej.
Odchylenie standardowe jest pierwiastkiem kwadratowym z wariancji. Pojęcie odchylenia zostało wprowadzone przez pioniera statystyki, Karla Pearsona, w 1894 roku. Wyróżnia się: odchylenie standardowe zmiennej losowej, będące właściwością badanego zjawiska. Daje się ono obliczyć na podstawie ścisłych informacji o rozkładzie zmiennej losowej. Rozkład ten w praktycznych badaniach nie jest zwykle znany. odchylenie standardowe w populacji, które jest liczbą dającą się obliczyć dokładnie, jeśli znane są wartości zmiennej dla wszystkich obiektów populacji; odpowiada odchyleniu zmiennej losowej, której rozkład jest identyczny z rozkładem w populacji. odchylenie standardowe z próby, które jest oszacowaniem odchylenia standardowego w populacji na podstawie znajomości wyłącznie części jej obiektów, czyli właśnie próby losowej. Stosowane do tego celu wzory nazywane są estymatorami odchylenia standardowego.
Odchylenie standardowe zmiennej losowej Odchylenie standardowe zmiennej losowej oznacza się tradycyjnie przez σ (małe greckie sigma) i definiuje jako pierwiastek kwadratowy z wariancji.
Jest ono dane wzorem:
gdzie jest wartością oczekiwaną (dowód w przypisie).
Zmienna losowa dyskretna Dla dyskretnej zmiennej losowej, przyjmującej różnych wartości z prawdopodobieństwami odpowiednio odchylenie standardowe można obliczyć ze wzoru:
gdzie:
Zmienna losowa ciągła Dla zmiennych ciągłych:
gdzie:
a jest funkcją gęstości prawdopodobieństwa.
Odchylenie standardowe można zdefiniować dla niemal każdego rozkładu prawdopodobieństwa. Istnieją jednak rozkłady (np. rozkład Cauchy’ego), dla których jest ono nieskończone lub nie istnieje.
W przypadku rozkładu normalnego, odchylenie posiada oczywistą interpretację, gdyż jest jednym z parametrów rozkładu, występuje jako we wzorze na gęstość prawdopodobieństwa w tym rozkładzie:
W przypadku innych rozkładów, choć zwykle można podać ścisły wzór wiążący parametry rozkładu z odchyleniem, interpretacja jego wartości jest już znacznie mniej naturalna, o ile w ogóle możliwa.
Dla zmiennych o rozkładach mieszanych dyskretno-ciągłych można zastosować wzór .
Odchylenie standardowe w populacji Dla skończonych populacji odchylenie standardowe jest średnią kwadratową z różnic między wartościami zmiennej a ich średnią arytmetyczną. Odchylenie standardowe można obliczyć ze wzoru:
gdzie to kolejne wartości cechy w populacji, to wartość oczekiwana, to liczba obserwacji w populacji (dowód drugiej równości w przypisie).
Uwaga: druga równość zachodzi tylko dla skończonej populacji, nie jest prawdziwa w przypadku odchylenia standardowego z próby, gdzie zamiast trzeba wziąć
Dla populacji z mamy więc
Odchylenie standardowe z próby Odchylenie standardowe w populacji można estymować (przybliżać) odchyleniem standardowym z próby, oznaczanym przez Ponieważ próba niesie informację tylko o części obserwacji z populacji, wynik ten nigdy nie jest dokładny. Wszystkie podane niżej wzory są przybliżeniami, pozwalającymi oszacować odchylenie standardowe zmiennej losowej w populacji (w przypadku rozkładu normalnego jest to również parametr rozkładu σ) na podstawie wartości z próby. Różnice we wzorach biorą się z innych założeń co do pożądanych ich właściwości.
Pierwiastek estymatora nieobciążonego wariancji Najczęściej używany estymator odchylenia standardowego (błędnie nazywany estymatorem nieobciążonym, o czym mowa dalej) ma postać
gdzie: – kolejne wartości danej zmiennej losowej w próbie, – średnia arytmetyczna z próby, – średnia arytmetyczna kwadratów wartości z próby, – liczba elementów w próbie.
Zaletą tego estymatora jest prostota wzoru, bezpośredni związek z estymatorem nieobciążonym wariancji i relatywnie niewielkie błędy estymacji. Dokładniejszy jest estymator nieobciążony odchylenia (podany dalej), jest jednak trudniejszy w obliczaniu i w związku z tym bardzo rzadko stosowany.
W mianowniku wzoru występuje (jest to tak zwana poprawka Bessela). Wydaje się zupełnie nieintuicyjne, że w przypadku populacji powinno się używać wzoru z w mianowniku, a dla próby wzoru z
Te dwa przypadki różnią się jednak bardzo istotną rzeczą: w przypadku całej populacji znamy dokładną wartość średniej używanej we wzorze . W przypadku próby trzeba ją dodatkowo przybliżać średnią z próby Załóżmy, że próba wylosowała się akurat w ten sposób, że w którymś miejscu byłoby drobne zagęszczenie obserwacji w próbce w stosunku do gęstości w całej populacji. Spowoduje to przesunięcie średniej z próby w stronę tego zagęszczenia. Można udowodnić, że suma postaci (czyli taka jak licznik wzorów na odchylenie standardowe) jest najmniejsza gdy więc na skutek tego przesunięcia się średniej w próbce od do odchylenie zmniejsza się. To zmniejszenie licznika jest kompensowane przez mniejszą wartość mianownika ( zamiast ). Szczegółowe wyprowadzenie znajduje się w przypisie.
Estymator nieobciążony Estymator nieobciążony odchylenia standardowego ma tę własność, że gdyby wielokrotnie losować próbę z tej samej populacji i za każdym razem wyliczać odchylenie w próbie i uśredniać otrzymane wartości odchyleń, to wynik dążyłby do prawdziwej wartości odchylenia w populacji.
Statystyka jest często nazywana estymatorem nieobciążonym odchylenia standardowego, jednak nie jest to prawda. To jest estymatorem nieobciążonym wariancji, przy założeniu niezależnego losowania ze zwracaniem elementów próby oraz istnienia skończonej wariancji
Estymator daje w większości przypadków zaniżone wyniki w porównaniu z estymowaną wielkością. Różnica ta jednak dąży do zera wraz ze wzrostem liczebności próby, można więc powiedzieć, że jest asymptotycznie nieobciążony.
Estymator nieobciążony odchylenia standardowego, przy założeniu rozkładu normalnego populacji, dostanie się, dzieląc wartość obliczoną według wzoru przez wielkość:
gdzie to funkcja gamma. Wartości szybko zbiegają do 1 wraz ze wzrostem (patrz tabela w Wikiźródłach), korekta jest więc konieczna tylko w przypadku niewielkich prób i potrzeby bardzo dokładnych wyliczeń. Ze względu na trudności obliczeniowe rzadko dokonuje się tej korekty, stosowana jest niemalże jedynie w statystycznej kontroli jakości i w teorii statystyki. W przypadku gdy rozkład nie jest normalny, powyższy estymator może być (i zwykle jest) obciążony. Estymator nieobciążony w niektórych przypadkach nie istnieje.
Współczynnik występuje jeszcze w jednym wzorze – na odchylenie standardowe estymatora odchylenia standardowego podanego powyżej, również przy założeniu rozkładu normalnego populacji:
Estymator największej wiarygodności Estymator największej wiarygodności jest oparty na innym rozumowaniu: Spośród wszystkich rozkładów normalnych postaci czyli posiadających tę samą średnią, co dana próba, ale różne odchylenia, estymator największej wiarygodności podaje taką wartość odchylenia dla której najbardziej prawdopodobne byłoby wylosowanie właśnie takich wyników do próby jakie faktycznie w niej wystąpiły. „Największa wiarygodność” dotyczy zatem nie tyle jego wyników, co raczej próby, która przy takim właśnie odchyleniu w populacji byłaby najbardziej prawdopodobna jako jej losowa reprezentacja. Estymator ten jest jednak obciążony.
Estymator największej wiarygodności stosuje się w zasadzie z kilku powodów: ze względu na łatwe przedstawienie w postaci średniej i średniej kwadratów wzór na estymator największej wiarygodności pokrywa się ze wzorem na odchylenie standardowe w populacji, co pozwala nie przejmować się rozróżnieniem między próbą a populacją, najczęstszy, choć niechlubny powód: estymator ten daje najmniejsze wartości odchylenia z wymienionych, przydaje się więc, gdy niewielkie wartości są wskazane dla udowodnienia tezy, którą dane obliczenia mają wspierać.
Istnieje jeszcze jedna popularna metoda wyprowadzania estymatorów – tak zwana metoda momentów. Daje ona w przypadku odchylenia standardowego ten sam wzór . Estymator największej wiarygodności jest także asymptotycznie nieobciążony, podobnie jak pierwiastek estymatora nieobciążonego wariancji .
Przykład Przykład pokazuje oszacowanie odchylenia standardowego w populacji za pomocą nieobciążonego estymatora. Próbą będzie wiek czworga dzieci, wyrażony w latach: {5, 6, 8, 9}.
Krok 1. Obliczenie średniej arytmetycznej,
ponieważ są cztery obserwacje:
Podstawienie 4 zamiast
Krok 2. Obliczenie przybliżenia odchylenia standardowego według wzoru :
Podstawienie 4 pod Podstawienie 7 pod
Większość użytkowników odchylenia standardowego kończy w tym miejscu, nie przejmując się obciążeniem estymatora.
Krok 3. Ponieważ próba jest bardzo mała, należy odczytać z tabeli w Wikiźródłach wartość współczynnika dla Wynosi ona 0,9213. Następnie można obliczyć estymator nieobciążony odchylenia standardowego w populacji:
Gdyby nie zastosować korekty w kroku trzecim, wynikiem byłoby 1,8257. Gdyby zastosować estymator największej wiarygodności , wynikiem byłoby 1,5811. Dla tak małej próby wskazany jest jednak estymator nieobciążony. Dla dużych prób wszystkie podane estymatory dają wyniki zbliżone do odchylenia w populacji, można więc stosować dowolny z nich. Takie estymatory zwane są asymptotycznie nieobciążonymi.
Podane oszacowanie nie jest tym samym, co odchylenie standardowe w populacji złożonej z takich czterech obiektów. W tym przypadku ze wzoru :
Odchylenie standardowe z próby podzielonej na grupy Wartość estymatora największej wiarygodności można wyliczyć także w przypadku, gdy próba została podzielona na grup i znamy tylko liczności średnie oraz odchylenia standardowe dla wszystkich grup:
gdzie: – liczba grup, – liczebność -tej grupy, – średnia -tej grupy, – odchylenie standardowe -tej grupy ze wzoru , – średnia obserwacji w całej próbie. Można ją wyliczyć za pomocą wzoru na średnią ważoną:
Dla równych liczności grup wzór ten sprowadza się do:
gdzie: to średnia z wariancji w poszczególnych grupach, to wariancja ze średnich w poszczególnych grupach.
Podobne wzory (nieco bardziej skomplikowane) istnieją także dla estymatora .
Szeregi czasowe Wszystkie powyższe estymatory były wyprowadzane przy założeniu niezależnego losowania ze zwracaniem elementów próby z populacji statystycznej. Warunek ten nie jest spełniony w przypadku, gdy próbą są kolejne wartości jakiegoś czynnika w różnych chwilach czasowych (tzw. szeregi czasowe), np. kursy walut czy akcji. Wówczas bowiem wartości dla zbliżonych chwil czasowych są zwykle skorelowane ze sobą. W takim przypadku wszystkie powyższe wzory są obciążone i nie podają prawdziwej wartości odchylenia w populacji. Nie przeszkadza to graczom giełdowym stosować odchylenia standardowego dla kursów cen akcji w kolejnych dniach (ang. volatility) i opierać na tym wielu metod analizy technicznej, takich jak wstęga Bollingera.
thumb|400px|Porównanie gęstości rozkładu normalnego dla różnych wartości parametrów. Większe wartości na wykresie odpowiadają większemu prawdopodobieństwu znalezienia w tym miejscu obserwacji. Czerwona, zielona i niebieska krzywa odpowiadają tej samej wartości oczekiwanej (średniej), lecz różnym odchyleniom standardowym w populacji. Czerwona odpowiada najmniejszemu, a niebieska największemu odchyleniu standardowemu. Im wyższe odchylenie standardowe, tym mniej obserwacji skupia się wokół średniej a tym więcej jest ich daleko od niej.
Interpretacja Im większa wartość odchylenia standardowego tym bardziej obserwowane wielkości oddalone są od średniej. Im mniejsza wartość, tym bardziej są skupione wokół średniej.