207 - Qwen-Fine-Tunes gegen Overthinking — Prompt und Antwort

In der Podli-App hören 🎧

Folge deinen Lieblingspodcasts, höre offline und im Auto mit CarPlay und Android Auto und mach immer dort weiter, wo du warst. Kostenlos ausprobieren.

Wait, but, alternatively: Reasoning-Modelle zweifeln beim Nachdenken gern noch eine Runde länger, als nötig wäre. Qwen 3.8 mit 27 Milliarden Parametern steht ab Werk auf der höchsten Denkstufe, und auf der eigenen Hardware ist jedes zusätzliche Token Wartezeit. Wir haben uns drei Fine-Tunes angesehen, die genau daran sparen wollen: ThinkingCap, Swift 1.5 und QwenPi, das sogar auf einen einzigen Agenten-Harness zugeschnitten ist. Grundlage sind Herstellerangaben und unabhängige Tests, selbst getestet haben wir noch nicht.

Warum Modelle überhaupt zu lange denken: Belohnung für richtige statt kurze Antworten, „Wait“ als antrainierter Zweifel, und warum Quantisierung es schlimmer macht
Warum der Effort-Regler kein Ersatz ist: Medium spart die Hälfte und kostet gut neun Prozentpunkte
Drei Wege, ein Ziel: konservativ mit geheimem Rezept, bestrafte Zweifelwörter, geordnete Denkstufen für den Pi-Harness
Was von den Schlagzeilen bleibt, wenn man genauer hinsieht, und warum bei Agenten nur Tokens und Zeit pro gelöster Aufgabe zählen
Der zweite Hebel, die Inferenz-Engine, und die Lizenzfrage für den Mittelstand

Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.