204 - EmbeddingGemma 2

Ein Embedding-Modell macht aus einem Foto 768 Zahlen und kann diese Zahlen nicht wieder in Worte zurückübersetzen. Wir wollten trotzdem wissen, was in so einem Bild-Vektor steckt. Mit EmbeddingGemma 2 von Google, einem Foto aus einem öffentlichen Datensatz und einer Methode, die nur misst und nie zurückrechnet, haben wir versucht, die Bedeutung des Bildes wieder herauszulesen. Das klappt erstaunlich gut, aber nicht überall.

• Warum ein Embedding-Modell keinen Rückweg kennt und wie man mit Raten und Prüfen trotzdem Wörter aus einem Vektor gewinnt
• Beam-Suche über 30.000 Wörter und ein kleines Sprachmodell, das das Bild nie sieht, aber für die Grammatik sorgt
• Die Modalitätslücke: Warum fast jeder Text einem Bild schon „nah“ ist und weshalb wir jeden Wert gegen eine Grundlinie lesen
• Ein Vektor als Mischung: Zutaten zerlegen und einzelne Dinge herausrechnen
• Wie aus Kacheln und Tokens am Ende ein einziger Vektor wird, und was beim Mitteln verloren geht

Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.