Chcemy znaleźć dobry estymator wektora Na potrzeby zdefiniowania dobroci estymatora wybierzmy funkcję strat która wyraża różnicę pomiędzy oszacowaniem a prawdziwą wartością średnich. Posłużymy się klasyczną funkcją błędu średniokwadratowego:
w której operator oznacza euklidesową normę („długość”) wektora. Inne funkcje straty są oczywiście również możliwe, jak funkcja oparta na sumie błędów bezwzględnych. Funkcja strat w przedstawionej postaci jest zmienną losową. Kryterium dobroci estymatora jest jej wartość oczekiwana, czyli funkcja ryzyka:
Jeśli porównujemy dwa estymatory i ten z nich, który cechuje się niższą wartością funkcji ryzyka, nazwiemy w tym sensie lepszym.
Wartość funkcji ryzyka dla średniej arytmetycznej Dla jednej lub dwóch zmiennych najlepszym estymatorem, który oznaczymy jest średnia arytmetyczna:
Porównajmy ją przy z estymatorem Jamesa–Steina w postaci:
Zauważmy, że w przypadku rozkładu normalnego zatem wartość wybranej tu funkcji ryzyka dla średniej arytmetycznej to
dla wszystkich