Automatyczna ocena Miara ewaluacji danych wyjściowych tłumaczenia maszynowego jest miarą jakości tych danych. Jakość tłumaczenia jest z natury subiektywna, nie ma obiektywnego czy wymiernego „dobra”. Dlatego też zadaniem każdej miary jest przypisanie punktów jakości w taki sposób, aby korelowały z ludzkim osądem jakości. Miara powinna wysoko punktować te tłumaczenia, które i ludzie oceniliby wysoko, a nisko te, którym ludzie daliby mało punktów. Ludzki osąd jest wykorzystywany jako punkt odniesienia do oceniania automatycznych miar, jako że ludzie są odbiorcami danych wyjściowych tłumaczenia.
Korelacja między miarą a ludzkim osądem jest ogólnie przeprowadzana na dwóch poziomach. Na poziomie zdania punkty są obliczane przez miarę dla zbioru przetłumaczonych zdań, a następnie korelowane z ludzkim osądem dla tych samych zdań. Na poziomie korpusu punkty za zdania są sumowane za zarówno ludzki osąd, jak i za miarę, a następnie te sumy są korelowane. Banerjee et al. (2005) przedstawili liczby, które pokazują, że korelacja na poziomie zdań jest znacznie gorsza niż ta na poziomie korpusu (przynajmniej na ich miarach).