Mieszanka ekspertów (, MoE) – technika uczenia maszynowego, w której używa się wielu sieci ekspertów do podziału przestrzeni problemu na jednorodne regiony. MoE reprezentuje formę uczenia się zespołowego.
Podstawowa teoria Bazowa wersja MoE składa się z następujących komponentów:
Eksperci , z takimi samymi danymi wejściowymi i produkcją wyników . Funkcja wagi , który przyjmuje dane wejściowe i generuje wektor wyników lub wektor prawdopodobieństw zbiór parametrów . Parametr jest dla funkcji ważenia, a parametry są dla ekspertów. Dla danych wejściowych mieszanka ekspertów tworzy pojedynczy wynik poprzez połączenie według ciężarów przez funkcję łączenia jak .
Uczenie głębokie MoE znalazło zastosowanie w uruchamianiu największych modeli dzięki możliwości wykonywania obliczeń warunkowych dzięki czemu aktywowane są tylko te części modelu, które są najbardziej odpowiednie dla danych wejściowych.
Równoważenie obciążenia W przypadku MoE zwykle występują problemy z równoważeniem obciążeń. Niektórzy eksperci są używani często, inni zaś rzadko lub wcale.