200 - Warum Tool Calling kippt

89 Prozent, wenn ein Modell ein einzelnes Werkzeug aufrufen soll. 45 Prozent, wenn dasselbe über mehrere Runden geht. In der letzten Folge ging es darum, wie Tool Calling funktioniert, diesmal darum, warum es im Alltag so oft nicht glatt läuft. Unser Beispiel ist ein Support-Agent, der Tickets liest, in der Kundendatenbank nachsieht und in einfachen Fällen eine Erstattung auslöst.

• MCP-Server gegen Kommandozeile: bekannte Shell-Befehle gegen ein fremdes JSON-Schema, und wer bestimmt, wie viel im Verlauf landet
• Was alles ein Werkzeug ist, vom Menschen, den man fragt, bis zum Subagenten, und warum Sicherheit eine Entscheidung im Harness ist und keine Eigenschaft des Modells
• Tool-Scheu: „Ich schaue mir die Bestellung mal an“, und dann kommt nichts. Warum das nach dem vierzigsten Ticket häufiger passiert als nach dem ersten
• Messen mit dem Berkeley Function Calling Leaderboard und Tau-Bench, und warum man solchen Zahlen nur mit Vorsicht trauen sollte
• Ausblick: FunctionGemma, ein Modell mit 270 Millionen Parametern, das nur für Werkzeugaufrufe gebaut ist

Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.