210 - Prüfstand für Agenten

Wie setzt man ein Experiment mit einem Coding-Agenten auf, und woran sieht man hinterher, was er wirklich getan hat? Wir haben uns RecreationWorld auf den Mac gestellt, das Repo vom Team hinter den Qwen-Modellen mit dem Prüfstand RecreationBench, und OpenCode mit unserem eigenen Qwen darauf laufen lassen. Die Folge erklärt das Repo, unseren Aufbau mit seinen Stolpersteinen und die Auswertung eines Laufs. Die Note gilt für eine einzige Aufgabe mit unserem eigenen Judge und ist nicht mit der offiziellen Rangliste vergleichbar.

• Was RecreationBench ist: 250 Nachbau-Aufgaben, versteckte Funktionstests und ein Sprachmodell als Schiedsrichter
• Einen fremden Prüfstand nutzen: den Vertrag nachbilden statt umbauen, Abschottung und vier Stolpersteine
• Was zu einem Experiment gehört, vom eingefrorenen Auftrag bis zum Kontrollfall vor dem ersten Lauf
• Den Agenten beobachten: Modell-Log, Werkzeugaufrufe, Kopien des Arbeitsordners und Notizen des Modells, ähnlich wie in unserer Agentenwerkstatt
• Auswerten mit Fragen statt mit der Note, und was ein Stop-Hook gegen die gefundenen Fehler tun könnte

Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.