201 - Strata

Eine Inferenz-Engine, die genau ein Modell ausführen kann: Strata bringt Qwen 3.8 Flash Next mit 125 Milliarden Parametern auf einen normalen Spiele-PC mit einer Grafikkarte ab 12 Gigabyte. Wir spielen das an einem Entwickler durch, der seinen Coding-Agenten auf einer RTX 4090 lokal laufen lassen will, statt seinen Code in die Cloud zu schicken. Und wir fragen, ob der Trend weg vom Allzweck-Server wie Ollama hin zur maßgeschneiderten Engine trägt.

• Wie Strata das Modell auf drei Ebenen verteilt: die meistgenutzten Experten im Grafikspeicher, alle im Arbeitsspeicher, die Nachschlagetabelle auf der SSD
• Was anders ist als bei llama.cpp und was unabhängige Messungen zeigen: 63 statt 23 Token pro Sekunde auf 12 Gigabyte, gleiche Ergebnisse bei Rechen- und Code-Aufgaben
• Wie weit man die Engine anpasst: Paketgröße, Kontext, parallele Plätze, das Überspringen seltener Experten, Sampling und Forks bis hin zu zwei PCs im Heimnetz
• Wo es bricht: unbelegte Qualität bei langen Agentenaufgaben, Antworten, die bei Temperatur null nicht gleich bleiben, und eine Engine, die an einem Vorschau-Modell hängt
• Für wen es sich lohnt und für wen nicht: Team-Server, viele Modelle, DGX Spark und Mac

Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.