182 - KV-Cache mit Heartbeats — Prompt und Antwort

In der Podli-App hören 🎧

Folge deinen Lieblingspodcasts, höre offline und im Auto mit CarPlay und Android Auto und mach immer dort weiter, wo du warst. Kostenlos ausprobieren.

Wer einen Agenten wie Hermes, Pi oder OpenClaw betreibt, gibt ihm bei jeder einzelnen Anfrage denselben System-Prompt mit — Anweisungen, Handbücher, Werkzeugbeschreibungen, schnell über 25.000 Token. Und die Inferenzmaschine rechnet diesen Block jedes Mal wieder durch, als hätte sie ihn noch nie gesehen. Eigentlich gibt es dafür den Key-Value-Cache. In der Praxis, lokal und mit mehreren Nutzern, löst er sich bei Platzmangel aber einfach in Luft auf.

Also einfrieren? Geht nicht. In dieser Folge geht es darum, warum das so ist — und wie man den Cache trotzdem dauerhaft warm hält.

Warum der Cache nach einem Rotationsprinzip arbeitet und wer dabei zuerst rausfliegt: der Türsteher im vollen Club
Wie viel Speicher 25.000 Token wirklich belegen — deutlich weniger, als die meisten schätzen
Der pragmatische Weg auf dem DGX Spark: Speicherpool überdimensionieren und den Cache mit einem Heartbeat aus einem einzigen Token am Leben halten
Der heimliche Cache-Killer: ein Proxy, der ein Leerzeichen normalisiert und damit die Hashkette bricht
Warum das Auslagern auf den Hauptprozessor bei geteiltem Arbeitsspeicher exakt nichts bringt

Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.