183 - FreeToken

Ein Mixture-of-Experts-Modell mit 284 Milliarden Parametern rechnet je Token nur mit 13 Milliarden davon. Klingt sparsam — nur muss das ganze Modell trotzdem irgendwo liegen, und auf die Grafikkarte passt es nicht. Also wandern die Experten für jedes neue Wort über die PCI-Express-Leitung, und die Recheneinheiten warten die meiste Zeit auf Daten.

FreeToken dreht das um: Statt das Modell einmal fest auf Grafikkarte und Hauptprozessor zu verteilen, benutzt es die Grafikkarte als Cache für die gerade heißen Experten. In dieser Folge schauen wir uns an, wie das unter der Haube funktioniert — und was die Messwerte dazu sagen.

• Die Bibliothek, aus der du immer nur drei Seiten brauchst — und warum eine feste Aufteilung des Modells zu über 50 Prozent am Bedarf vorbeigeht
• Double Buffering beim Prefill: die Großküche, in der der Assistent die Zutaten für den nächsten Bon schon bereitlegt, während der Koch noch brät
• Die Q-Star-Strategie beim Cache-Miss: Grafikkarte und Hauptprozessor teilen sich die fehlende Rechnung so, dass beide zur selben Millisekunde fertig sind
• Ein eigenes Gewichtsformat, das das Umpacken beim Laden spart, und ein Cache, der im laufenden Betrieb wächst und schrumpft
• Die Zahlen: von 58 auf 132 Token pro Sekunde, knapp 40 Token pro Sekunde auf einem Laptop mit 8 GB Grafikspeicher — und für wen sich das Ganze überhaupt lohnt

Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.