152 - KI-Modellbezeichnungen

In dieser Folge des KI-Gilde Podcasts entschlüsseln wir die kryptischen Dateinamen lokaler KI-Modelle, die auf den ersten Blick wie zufällige Zeichenketten wirken.Am Beispiel eines komplexen Namens wie "Qwen3.6-35B-A3B-UD-IQ4_NL_XL.gguf" erklären wir die genaue Bauanleitung hinter den Modellen:

• Parameter und Mixture of Experts: Was der Unterschied zwischen den gesamten 35 Milliarden und den aktiv genutzten 3 Milliarden Parametern ist.
• Intelligente Komprimierung: Wie nichtlineare Quantisierung funktioniert, um den gigantischen Speicherbedarf (VRAM) massiv zu senken, ohne dass das Modell seine logischen Fähigkeiten verliert.
• Das GGUF-Format: Warum dieses universelle Dateiformat Hardwaregrenzen austrickst und Abstürze verhindert, indem es bei VRAM-Mangel nahtlos den Hauptprozessor (CPU) und normalen Arbeitsspeicher zur Hilfe nimmt.