Zaproponowali oni również strategię bez pomocniczej funkcji celu. Zamiast tego każdy ekspert ma dodatkową wagę . Jeśli ekspert jest pomijany, jego waga wzrasta i odwrotnie, jeżeli jest używany, jego waga maleje. Podczas przydzielania zadań, każde zadanie wybiera kilku najlepszych ekspertów, ale z uwzględnieniem wagi: Należy pamiętać, że wagi ekspertów mają znaczenie przy wyborze ekspertów, ale nie przy sumowaniu ich odpowiedzi.
Użycie w transformerach Warstwy MoE są używane w największych modelach opartych na transformerach, szczególnie w warstwie jednokierunkowej sieci neuronowej aby zmniejszyć koszt inferencji. Dla przykładu, 90% parametrów modelu PALM-540B jest używanych do warstw sieci jednokierunkowej.
W grudniu 2023 Mistral AI wypuścił model MoE Mixtral 8x7B. Jest to model z 46.7 mld parametrami i 8 ekspertami.
W marcu 2024 Databricks wypuścił model DBRX z 132 mld parametrami i 16 ekspertami.
W maju 2024 DeepSeek opublikował wersję modelu MoE V2 z 236 mld parametrów.
W kwietniu 2025 został wydany model Llama 4 Maverick z 128 ekspertami, każdy z nich mający 17 mld aktywnych parametrów, dających łącznie 400 mld parametrów.
Przypisy
Linki zewnętrzne Wykład CS336 Language Modeling from Scratch, Mixture of experts, Uniwersytet Stanforda
Kategoria:Uczenie maszynowe