Varför händer detta? Modellen tror att det finns en sjöhäst-emoji, visst, men varför gör det att den matar ut en *annorlunda* emoji? Här är en ledtråd från allas favorit underskattade tolkningsverktyg, Logit Lens! I Logit Lens använder vi modellens lm_head på ett konstigt sätt. Vanligtvis används lm_head för att omvandla residualen (det interna tillstånd som byggs upp över modelllagren) till en uppsättning tokensannolikheter efter det sista lagret. Men i Logit-linsen använder vi lm_head efter *varje* lager - vilket visar oss vilka tokens modellen skulle mata ut om det lagret var det sista lagret. För tidiga lager resulterar detta i svårtolkade tillstånd. Men när vi går igenom lagren förfinar modellen iterativt den kvarvarande först mot begrepp som är användbara för att fortsätta texten och sedan mot den slutliga förutsägelsen. Om vi tittar på bilden igen, vid det sista lagret, har vi modellens faktiska utdata - ĠðŁ, IJ, ł - aka, ett emoji byte-prefix följt av resten av fisk-emojin. (Det ser ut som Unicode-nonsens på grund av en tokeniseringsegenhet - oroa dig inte för det. Om du är nyfiken, fråga Claude om den här kodraden: 'bytes([byte_decoder[c] för c i 'ĠðŁIJł']).decode('utf-8') == ' 🐠 '') Men se vad som händer i mellanskikten - vi får inte bara emoji-byte! Vi får dessa *koncept*, särskilt konceptet med en sjöhäst. Till exempel, på lager 52 får vi "sjöhästhäst". senare, i topp-K, får vi en blandning av "hav", "häst" och det emoji-prefixet "ĠðŁ". Så vad tänker modellen på? sjöhäst + emoji! Den försöker konstruera en kvarvarande representation av en sjöhäst-emoji. Varför skulle den göra det? Nåväl, låt oss titta på hur lm_head faktiskt fungerar. lm_head är en enorm matris med vektorer i residualstorlek som är associerade med token-ID:n. När en residual skickas till den kommer den att jämföra den residualen med varje tokenvektor och i samordning med samplern välja token-ID:t med en vektor som mest liknar residualen. (mer tekniskt: det är ett linjärt lager utan bias, så v @ w.T prickar produkter med varje avbäddningsvektor, sedan log_softmax och argmax/temperaturprov.) Så om modellen vill mata ut ordet "hello" måste den konstruera en rest som liknar vektorn för utdatatoken "hello" som lm_head kan omvandla till hello-token-ID:t. Och om modellen vill mata ut en sjöhäst-emoji måste den konstruera en residual som liknar vektorn för sjöhäst-emoji-utdatatoken - vilket i teorin kan vara vilket godtyckligt värde som helst, Men i praktiken är sjöhäst + emoji, word2vec stil. Det enda problemet är att sjöhäst-emojin inte finns! Så när den här sjöhästen + emoji-resten träffar lm_head, gör den sin punktprodukt över alla vektorer, och provtagaren väljer den närmaste token - en fisk-emoji. Nu är den diskretiseringen värdefull information! du kan se i Armistices exempel att när token placeras tillbaka i kontexten autoregressivt, kan modellen se att det inte är en sjöhäst-emoji. Så den försöker igen, vickar runt resterna och får en något annorlunda emoji, sköljer och upprepar tills den inser vad som händer, ger upp eller får slut på utdatatokens. Men tills modellen får fel utdatatoken från lm_head vet den helt enkelt inte att det inte finns en sjöhäst-emoji i lm_head. Det förutsätter att Seahorse + Emoji kommer att producera de token den vill ha. ------------------ För att spekulera (ännu mer) undrar jag om detta är en del av fördelen med RL - det ger modellerna information om deras lm_head som annars är svår att komma åt eftersom det är i slutet av lagerstacken. (kom ihåg att basmodeller inte tränas på sina egna outputs/rollouts - det händer bara i RL.)

Varför firar vi Brekyat? Brekyat är den plats där vi rituellt förstör staten varje år. Varför förstör vårt folk rituellt staten varje år? För att vi är nomader. Vad är en nomad? någon som vandrar. Men vi vandrar inte? Men vi är nomader, eftersom vi bor utanför staten. Bor nomader utanför staten? Ja, på grund av sitt vandrande befinner de sig utanför statens kontroll och förstör den periodvis. Men vi vandrar inte? Vi flyr staten ännu mer än våra vandrande förfäder - genom att förstöra den årligen. Det är inte vettigt. Det är kultur, det behöver inte vara logiskt. Gå nu och sätt på dig din gräskrona.

Ur ett samtal med Sonnet 3.6 om modellens personlighetsrymder