176 - Praxis mit dem DGX Spark — Prompt und Antwort

In der Podli-App hören 🎧

Folge deinen Lieblingspodcasts, höre offline und im Auto mit CarPlay und Android Auto und mach immer dort weiter, wo du warst. Kostenlos ausprobieren.

Praxis mit dem DGX Spark: Komplette KI-Infrastruktur im StresstestIn dieser Folge des KI Gilde Podcasts teilen wir unsere harten Praxiswerte beim parallelen, lokalen Betrieb einer vollständigen KI-Infrastruktur auf dem DGX Spark.Die wichtigsten Erkenntnisse der Folge:

vLLM statt llama.cpp: Warum vLLM bei der parallelen Verarbeitung deutlich mehr Token herausholt, der vorab allokierte KV-Cache aber schnell zur Speicherfalle wird.

Crash-Gefahr durch RAM-Limits: Wie große Kontextfenster den Server unvermittelt zum Absturz bringen können und warum wir einen "Wächter" für den Arbeitsspeicher einrichten mussten.

Modell-Management mit LiteLLM: Der erfolgreiche Parallelbetrieb von großen Sprachmodellen, Rerankern sowie Text-zu-Sprache (TTS) und Sprache-zu-Text (STT).

Die Reasoning-Falle: Warum es schädlich ist, wenn Modelle ihre "inneren Gedanken" an das Audiomodell weitergeben und wie wir das Problem gelöst haben.

Unser Benchmark-Sieger: Warum das Modell "Qvent 3.6" durch seine starke Kombination aus Kontextverarbeitung und Token-Generierung unser absoluter Allrounder geworden ist.