Lager på lager – Är Bengt ett neuralt nätverk?

I två säsonger har Sigge och Musse sagt att tokens är honung, att kontextfönstret är en grotta och att minnet är en bok. I finalen frågade Sigge vad en token faktiskt är, och Musse svarade för första gången "Jag vet inte". Säsong tre går in under pälsen, med ett begrepp per avsnitt och kortare avsnitt. De lär sig samtidigt som ni.

Ruta ett på whiteboarden är neurala nätverk. Sigge har ringat in den tre gånger och stavat fel en gång. Musse har läst i tre veckor och förstår en sak: en enda nod. Den tar emot tal, väger dem, lägger ihop dem och skickar vidare. Men en ensam nod kan inte ens lösa Sigges frukostproblem (smoothie eller honung, men inte båda). Det krävs ett lager till, ett som ingen ser utifrån. Och plötsligt betyder Sigges nya tröja nummer fjorton något.

Sedan: vem ställer in vikterna? Ingen. Man går baklänges från felet, tusen små steg, som en lax som hittar hem utan karta. Musse berättar om när Anthropic tittade in i sin egen modell och hittade en bro. Och Sigge undrar om Bengt är ett neuralt nätverk. Svaret är nej, men av ett bättre skäl än han tror.

I avsnittet: vad en nod gör. Vikter och bias, och varför nätverket inte är neutralt. XOR, och varför ett streck inte räcker. Det dolda lagret. Bakåtpropagering. Golden Gate-bron inuti en modell. Varför vikterna står still när du pratar med Claude, och vad som ändras i stället. Ett nätverk på tretton tal som ni kan köra själva.

Björnen i koden: ett litet neuralt nätverk i ren Python som lär sig "antingen eller", bredvid en ensam nod som inte klarar det. Finns i klartext på hooklinecoder.se.

Hosted on Acast. See acast.com/privacy for more information.