Weźmy przykład tłumaczenia zdania I love you na język francuski. W pierwszym kroku dekodera 94% uwagi przypada na angielskie słowo I, więc sieć generuje je. W drugim kroku 88% wagi przypisane jest trzeciemu słowu you, co skutkuje wyborem t’. W ostatnim kroku 95% uwagi koncentruje się na słowie love, dlatego sieć proponuje aime. Dzięki temu uzyskujemy tłumaczenie zdania "je t' aime" z angielskiego na francuski.
Poniższa tabela pokazuje połączone wektory dopasowania:
Iloveyouje0.940.020.04t'0.110.010.88aime0.030.950.02
Reprezentacja matematyczna
Standardowy mechanizm uwagi (skalowany iloczyn skalarny) Skalowany iloczyn skalarny trzech macierzy jest zdefiniowany jako:
Gdzie oznacza transpozycję, zaś funkcja softmax jest zastosowana niezależnie dla każdego wiersza argumentu. Macierz (od ang. queries) zawiera zapytań (takich jak słowa), a macierze łącznie zawierają nieuporządkowany zbiór par key-value (pol. klucz-wartość).
Uwaga wieloczłonowa mały|Przykład użycia dekodera z mechanizmem uwagi wieloczłonowej Uwaga wieloczłonowa (ang. Multi-head attention) jest definiowana jak poniżej:
Każdy człon jest definiowany jak poniżej:
, gdzie są matrycami parametrów.