Mixture of Experts (MoE)

Mixture of Experts (MoE) ist ein Aufbau, bei dem ein Modell aus vielen spezialisierten Teilnetzen, den Experten, besteht. Für jede Anfrage wird nur eine kleine Auswahl davon aktiviert, statt das gesamte Modell zu nutzen. Dadurch kann ein Modell sehr viele Parameter besitzen und trotzdem vergleichsweise sparsam rechnen. Welche Experten zuständig sind, entscheidet ein vorgeschalteter Verteiler.