189 - Qwen 3.8 Flash

Hundertachtzig Milliarden Parameter auf einem Kasten, der unter den Schreibtisch passt, und trotzdem gut vierzig Token pro Sekunde. Möglich macht das ein Bauteil aus der Frühzeit der Sprachmodelle: Qwen3.8-Flash-Next, laut Qwen die Vorschau auf die Architektur von Qwen 4, trägt neben seinen Experten eine N-Gramm-Tabelle mit 51 Milliarden Parametern. Das Modell schlägt dort nach, statt zu rechnen. Wir erklären, wie das funktioniert, warum die Tabelle deshalb aus dem schnellen Speicher heraus kann und was das für einen DGX Spark bedeutet.

• Die Eckdaten: 125 Milliarden Parameter im Hauptteil, 6 Milliarden aktiv pro Token, dazu 51 Milliarden in der Tabelle, fast ein Drittel des Modells
• N-Gramme früher und heute: Statt Häufigkeiten stehen in der Tabelle gelernte Einträge, die letzten zwei, drei Wortstücke sind nur noch die Adresse. Die Idee stammt aus DeepSeeks Engram-Papier vom Januar
• Die Küche mit dem Vorratskeller: Warum eine Tabelle auf der SSD funktioniert, wenn man vorher weiß, was man holen muss, und warum es dabei auf kurze Wege ankommt, nicht auf Gigabyte pro Sekunde
• Der DGX Spark: 128 GB, die sich Grafikchip und Prozessor teilen, und warum die Tabelle deshalb gleich auf die SSD wandert
• Was hinter den gut vierzig Token pro Sekunde steckt, und was die Zahl nicht sagt

Zum Nachlesen: Modellkarte: https://huggingface.co/Qwen/Qwen3.8-Flash-Next Flash Next auf einem DGX Spark, Tabelle auf der SSD (Community-Projekt): https://github.com/tonyd2wild/Qwen3.8-Flash-Next-NVFP4-DGX-Spark DeepSeek, Engram-Papier: https://arxiv.org/abs/2601.07372

Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.