214 - Weight-Space Programming

Ein Sprachmodell liest die Gewichte eines anderen Modells, ändert gezielt ein paar davon, und dessen Ergebnis in Mathe versechsfacht sich. Wir schauen uns das MIT-Paper „Sparks of Weight-Space Programming“ an, in dem GPT-6 Astra die Gewichte von Qwen 3.5 bearbeitet hat, und fragen, was davon wirklich neu ist. Von dort geht es zur Grundfrage: Wie findet man in einem neuronalen Netz überhaupt ein Konzept?

• Was Astra bei Qwen geändert hat, warum es bei Gemma nicht geklappt hat und was die Kritiker sagen
• Warum Konzepte nicht in einzelnen Neuronen stecken, sondern als Richtungen, und was Superposition damit zu tun hat
• Sparse Autoencoder, Difference of Means und Steering: wie man ein Konzept wie die Golden Gate Bridge selbst findet und in welcher Schicht man sucht
• Kennt ein Modell mich? Was der Test mit dem eigenen Namen zeigt und wo er täuscht
• Wie groß ein neuronales Netz für eine Aufgabe sein muss

Quellen: rikiyat.github.io/blog/weight-space-programming

Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.