137 - Time to first Token

In Folge 137 des KI Gilde Podcasts dreht sich alles um die "Time to First Token" – die entscheidende Wartezeit, bevor ein lokales KI-Sprachmodell die erste Silbe generiert. Wir beleuchten, was in der rechenintensiven Prefill-Phase passiert und warum der Aufbau des sogenannten Key-Value-Caches als Gedächtnis des Modells bei großen Kontexten schnell über 80 GB Arbeitsspeicher verschlingt.

Zudem vergleichen wir Hardware-Architekturen: Erfahre, warum Nvidias isolierter Grafikspeicher bei riesigen Datenmengen durch den PCI-Express-Bus zum Flaschenhals wird, während Apples Unified Memory Architecture durch das Zero-Copy-Prinzip punktet und Latenzen minimiert. Abschließend diskutieren wir, ob der Key-Value-Cache bei zukünftigen Kontextfenstern von 10 Millionen Wörtern eine technologische Sackgasse darstellt.