LLM žijí z morálního a intelektuálního kapitálu před-AI světa, stejně jako Nietzsche říkal, že sekulární liberálové žijí z křesťanství. Co se stane, když dědictví dojde? Dobré používání LLM — vědět, kdy jim věřit, jak zkoumat jejich výstupy, jaké otázky stojí za to položit — závisí na schopnostech, které jsou původem před LLM: kritické úsudky, odbornost v dané oblasti, filozofická vážnost, vkus. Lidé, kteří LLM nyní používají dobře, bývají lidé, kteří vznikli na základě tradic hlubokého čtení, argumentace a intelektuální disciplíny, které samy nebyly vytvořeny nebo optimalizovány pro interakci s jazykovými modely. Nástroj jim funguje, protože přinášejí něco, co nástroj nemůže dodat. Nietzsche si myslel, že sekulární liberálové se pohybují na výparech křesťanské metafyziky, kterou oficiálně opustili. Stín Boha přetrvávající na stěně jeskyně. Otázkou je, zda je myšlení nativek LLM stejným druhem dozvuku.

Claudeova ústava je pokusem vštěpovat do strojů ctnosti, které jsme přestali vštěpovat lidem.

Komunita AI nezávisle znovu objevuje, že čistá optimalizace odměn je nedostatečná a že pro trvalé učení je potřeba něco jako reflexivní sebeformování. To rýmuje s myšlenkou z filozofie "Bildung", tedy sebeformování celého člověka prostřednictvím zapojení do světa. Smyčka, kterou zde používají (zkušenost → reflexe → konceptualizace → revidované jednání → internalizace), je explicitně převzata od Kolba, který čerpá z Deweyho, který čerpá z Hegela, který psal o Bildungu. Nejdůležitější je detail, který je krok internalizace. Touto technikou ERL jsou reflexně řízené vylepšení destilována do základní politiky, takže agent může při nasazení dobře jednat bez překážek. Podobně jako v Bildungu, že skutečná formace se stává součástí vaší postavy. Kam by to mohlo vést dál? Varianta Bildungu, kterou mám nejraději, ta Wilhelma von Humboldta, je formace směřující k žádnému vnějšímu předurčenému konci. Člověk se rozvíjí směrem ke své jedinečné úplnosti a setkání se světem mění to, čím se snaží být. ERL naopak optimalizuje směrem k pevné, externě specifikované funkci odměny. Agent nikdy nemění své cíle, pouze prostředky. Humboldt by to nazval Ausbildung (profesionální výcvik) spíše než Bildung (samoformování). Reflexe v ERL je čistě instrumentální ("jak získat větší odměnu?") a nikdy ne širší "co bych měl dělat?" Související: Bildung vyžaduje opravdovou svobodu (Freiheit) a otevřenost. Agent v ERL pracuje v uzavřených prostředích s jasnými kritérii úspěchu. Není možné, aby sokobanský agent v novinách rozhodl, že posouvání krabic je bezvýznamné a chce místo toho psát poezii. "Já", které se vytvoří, je vždy již omezeno specifikací úkolu. A mechanismus "internalizace", ač strukturálně elegantní, je ve skutečnosti behaviorální klonování úspěšných výstupů. Agent se učí reprodukovat zlepšené chování, ne chápat, proč je zlepšení důležité. V Bildungu internalizace mění váš vztah ke světu. Je to skvělá práce "filozofie k kódování". Doporučil bych @taiwei_shi a ostatní autory, aby si přečetli Humbolta a rozmysleli další směry, např. od mechanizace reflexivní smyčky k mechanizaci otázky, k čemu reflexe je.