211 - Modelle selbst quantisieren

Kolibri, das Modell von Aleph Alpha, braucht in voller Genauigkeit 156 Gigabyte. Quantisieren rechnet es kleiner, indem die Gewichte auf ein gröberes Raster gerundet werden. Wir haben das noch nicht selbst gemacht, wollen es aber auf unserem DGX Spark und unserer Workstation mit RTX 4090 ausprobieren. In dieser Folge geht es darum, was dabei technisch passiert, was man vorher entscheiden muss und woran man hinterher misst, ob das Modell noch dasselbe kann.

• Was beim Runden passiert: Blöcke, Skalierungsfaktor, Rundungsfehler und warum Ausreißer das Kernproblem sind
• Die drei Entscheidungen: wie viele Bits, wie große Blöcke, mit oder ohne Kalibrierdaten (imatrix, GPTQ)
• Was man vom Basismodell braucht: das Original in voller Genauigkeit, ein Werkzeug, das die Architektur kennt, und welche Teile nicht gerundet werden dürfen
• GGUF oder NVFP4: das Format folgt aus der Maschine, auf der das Modell später läuft
• Messen in drei Ebenen: KL-Divergenz, Benchmarks und die eigene Aufgabe, mit Flips und getrennt geprüften Werkzeugaufrufen

Die Zahlen zu fertigen Kolibri-Fassungen stammen aus der Community, vor allem aus der Modellkarte von mittwald. Die Dauer auf dem Spark ist unsere Schätzung.

Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.