Sędziowie dzielili się na dwie grupy: „Jednojęzyczni” – osoby, których językiem ojczystym był angielski i które nie posiadały żadnej wiedzy o języku oryginalnym tłumaczonych tekstów – w tym wypadku rosyjskim. „Dwujęzyczni” – osoby, których językiem ojczystym był angielski i które posiadały bardzo dobrą znajomość rosyjskiego (również terminów naukowych). Zrozumiałość oceniana była w skali 1-9, bez odniesienia do oryginalnego zdania w języku rosyjskim. Wierność tłumaczenia natomiast oceniania była z pośrednim odniesieniem do oryginału: sędziowie otrzymywali zdanie przetłumaczone przez system oraz jego wzorcowe tłumaczenie wykonane przez człowieka. Musieli postarać się wynieść jak najwięcej informacji ze zdania przetłumaczonego przez system tłumaczenia maszynowego, a następnie ocenić, ile nowych informacji wniosło zdanie wzorcowe względem badanego tłumaczenia. Im wyższą ocenę postawili, tym gorsza była wierność tłumaczenia maszynowego. Wniesienie nowych informacji przez tłumaczenie wzorcowe oceniane było w skali 0-9. Przygotowana przez autorów eksperymentu skala zawierała dla każdej oceny opis słowny, aby ocena wydana przez sędziów była jak najbliższa rzeczywistej wartości tłumaczenia. Przykładowe opisy skali oceniania zrozumiałości: „9 – Idealnie jasne i zrozumiałe.