192 - Jev: Entscheiden statt schreiben

Mitte September hat das Start-up TypeSafe ein Modell namens Jev vorgestellt, das keinen einzigen Satz schreiben kann. Es kann nur entscheiden: eine von mehreren Möglichkeiten auswählen, auf einer Skala einstufen oder zu einer Ja-Nein-Frage eine Wahrscheinlichkeit liefern. Wir spielen das an zwei Fällen durch, am Support-Postfach eines Mittelständlers und an einem Agenten, der fremde Texte liest. Ausprobiert haben wir es selbst noch nicht, und das sagen wir auch: Was in der Folge steckt, stammt aus der Dokumentation des Herstellers, aus einer unabhängigen Auswertung und aus einem offenen Nachbau.

• Wie so ein Entscheidungsmodell arbeitet: drei Fragetypen, mehrere Fragen in einem Aufruf, ein einziger Rechendurchlauf statt Wort für Wort
• Wie du ihm deine Regeln beibringst, obwohl es kein Training für Kunden gibt: als Beschreibung an jeder Antwortmöglichkeit, mit engen Teilfragen statt einer breiten
• Wann automatisch gehandelt wird und wann ein Mensch draufschaut: Schwellen auf der Sicherheit, gesetzt nach dem Preis eines Fehlers
• Prüfschritte im Agenten: vor dem großen Modell, bei der Werkzeugwahl und hinter der Antwort
• Wo es bricht: Es liest wörtlich, ein Datum ist für es nur Text, und trainiert ist es vor allem auf Englisch
• Echtes Anlernen mit eigenen Daten geht nur auf dem offenen Weg, und was dabei mit den Wahrscheinlichkeiten passiert

Zum Nachlesen: TypeSafe, Ankündigung von Jev: https://typesafe.ai/blog/introducing-system-one-models-and-jev Dokumentation: https://docs.typesafe.ai/ Unabhängige Auswertung von Arize: https://arize.com/blog/typesafe-jev-llm-judge/ Offener Nachbau Simple Jev: https://github.com/featherless-ai/simple-jev Ein zweites offenes Modell, Laya: https://huggingface.co/convaiinnovations/laya Desert Ant Labs, das Thema von Folge 190: https://desertant.com/de/

Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.