145 - Odysee beim Agenten-Setup — Prompt und Antwort

In der Podli-App hören 🎧

Folge deinen Lieblingspodcasts, höre offline und im Auto mit CarPlay und Android Auto und mach immer dort weiter, wo du warst. Kostenlos ausprobieren.

KI-Gilde Podcast Folge 145: Agent Learnings – Die Tücken lokaler KI-Agenten

In dieser Episode nehmen wir euch mit auf unsere Odyssee: Die lokale Einrichtung des Hermes-Agenten als Projektmanagement-Assistent mit Googles neuem Gemma 4 Modell. Wir sprechen ungeschönt über die realen Hürden abseits des Hypes:

Infrastruktur & Backend: Von Architektur-Problemen auf dem Mac Mini bis hin zur absurden Notwendigkeit von "Fake"-API-Schlüsseln für lokale Server.
Werkzeugüberflutung: Warum 54 gleichzeitig aktive Werkzeuge jedes KI-Modell zum Halluzinieren bringen und wie eine Reduzierung hilft.
Der wahre Flaschenhals (Kontextfenster): Unser größtes Learning – oft sind nicht die KI-Modelle unfähig, sondern künstlich beschränkte Standardeinstellungen (4096 Tokens) der lokalen Server blockieren das Gedächtnis der Modelle.
Authentifizierungs-Albtraum: Wie wir das Problem mit stündlich ablaufenden Tokens bei der Software-Anbindung lösen mussten.

Am Ende klären wir, warum das 8-Milliarden-Parameter-Modell von Hermes das Rennen gegen Gemma 4 gewonnen hat und warum wir aufhören müssen, KI-Modelle aufgrund falscher Grundeinstellungen als unfähig abzustempeln.