Stwierdzono, że mimo znacznych zalet , nie ma gwarancji, że wzrost punktu jest wskaźnikiem polepszenia jakości tłumaczeniaC. Callison-Burch, M. Osborne, P. Koehn (2006).. Niemniej jednak zostały podkreślone dwa przypadki, gdzie BLEU sobie poważnie nie poradził. Były to: ewaluacje z 2005 rokuA. Lee, M. Przybocki (2005). gdzie było testowanych kilka różnych systemów tłumaczeń automatycznych – odnotowano, że wyniki wygenerowane przez zawiodły w porównaniu z oceną ludzką. Systemy, które zostały najlepiej ocenione przez ludzi, były na szóstym miejscu według BLEU. analiza silnika SYSTRAN przeciw dwóm silnikom korzystającym ze statystycznego tłumaczenia automatycznego. – wynik dla SYSTRANu był znacząco gorszy niż wynik przyznany przez ludzi. Wywnioskowano, że powinien być wykorzystywany w celu porównania dwóch podobnych systemów.

Zobacz też METEOR perpleksja

Przypisy