Mixture of Experts (MoE) einfach erklärt: Wie moderne KI-Modelle Rechenkosten sparen

KI - kurz und informativ, Klartext "to Go" in unter 5 Minuten · Sep 3, 2026 · 6m

Mixture of Experts (MoE) steckt inzwischen hinter fast jedem grossen Sprachmodell, weil diese Architektur Rechenkosten spart. Es erklärt ausserdem, warum bei modernen Modellen plötzlich zwei Parameterzahlen angegeben werden.

DeepSeek-V3 zum Beispiel hat 671 Milliarden Parameter, nutzt pro Token aber nur 37 Milliarden davon.

Wie diese Architektur funktioniert, was ein Router in einem Sprachmodell macht und wie die sogenannten Experten im Training entstehen, erkläre ich in dieser Folge.

Wir schauen uns auch, wie immer, Probleme dieser Architektur an, z.B. warum Modelle dadurch schneller, aber…