KV-Cache auf Diät: Was gelernte „Türsteher“ bei langen Texten vergessen

Wer lange Dokumente auf der eigenen Grafikkarte verarbeiten will, stößt selten am Modell an die Grenze, meistens am KV-Cache, dem Kurzzeitgedächtnis des Modells. Wir erklären die drei Wege, ihn zu verkleinern, und haben in den Papern nachgesehen, was neue gelernte Lösch-Gates wirklich verlieren. Außerdem zeigen wir, was davon schon heute mit einem Schalter in llama.cpp, Ollama und vLLM funktioniert.

Ganzer Artikel mit Quellen: https://tokenstrom.de/posts/kv-cache-auf-diat-was-gelernte-tursteher-bei-langen-texten-vergessen/

Gesprochen von einer KI-Stimme.