Metryka ta bazuje na obliczeniu ilości słów, które różnią się, jeśli porówna się tekst otrzymany w wyniku tłumaczenia maszynowego i wzorcowego tłumaczenia referencyjnego wykonanego przez człowieka.

Nieco zmodyfikowaną metryką jest metryka PER. Określa ona współczynnik błędu rozpoznawania słów niezależny od pozycji (ang. PER: position-independent word error rate).

METEOR

Metryka METEOR została stworzona, aby uzupełnić niektóre braki metryki BLEU. Metryka ta bazuje na ważonej średniej harmonicznej precyzji i odwołań.