Gemma

MoE-Modelle richtig lesen: Gesamtgröße, aktive Parameter und Kontext

Bei Mixture-of-Experts-Modellen sind Gesamtparameter, aktive Parameter und Speicherbedarf verschiedene Größen. Eine Anleitung, Modellankündigungen nüchtern zu lesen.