190 - Die Wüstenameise

Eine Video-App aus Amsterdam hatte eine Cloud-Rechnung, die sich alle sechzig bis neunzig Tage verdoppelte. Also hat das Team einen Dienst nach dem anderen durch eigene kleine Modelle ersetzt, die direkt auf dem Gerät laufen. Daraus ist letzte Woche Desert Ant Labs geworden, mit achtzehn Modellen auf einmal: je eines pro Aufgabe, gratis bis 100.000 Geräte, ohne Token-Kosten. Wir schauen uns an, welche davon Spaß machen, was man damit baut und was im Kleingedruckten steht.

• Warum eine Wüstenameise mit einem Gehirn kleiner als ein Stecknadelkopf besser zu diesen Modellen passt als das Kleinhirn aus dem Werbeslogan, und was Stelzen damit zu tun haben
• Die Lieblinge: Voz (zehn Minuten Audio in zwei Sekunden auf dem iPhone), Uhm (findet jedes Äh direkt im Ton) und ein Sprach-Erkenner, dem drei Wörter reichen
• Redact als Schwärzung, die sich zurückdrehen lässt: Kundendaten raus, Antwort aus der Cloud, echte Werte wieder rein, und warum das pseudonym und nicht anonym ist
• Schemer, das ein Formular lieber leer lässt, als etwas zu erfinden, und die Clip-Kette, die aus einer Folge die kurzen Ausschnitte schneidet
• Wie viele Aufrufe in Agentensystemen eigentlich ein großes Modell brauchen

Zum Nachlesen: Desert Ant Labs: https://desertant.com/de/ Wie Detail seine Schnittfunktion aufs Gerät geholt hat: https://desertant.com/blog/detail-auto-edit-on-device/ NVIDIA, Small Language Models are the Future of Agentic AI: https://arxiv.org/abs/2506.02153 Die Ameise auf Stelzen (Wittlinger, Wehner, Wolf 2006): https://www.science.org/doi/10.1126/science.1126912

Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.