Ik begin een gewoonte te ontwikkelen om alles (blogs, artikelen, hoofdstukken van boeken,…) te lezen met LLM's. Gewoonlijk is de eerste ronde handmatig, dan ronde 2 "verklaar/samenvatten", ronde 3 Q&A. Ik eindig meestal met een beter/dieper begrip dan als ik verder was gegaan. Het groeit naar een van de belangrijkste gebruikstoepassingen. Aan de andere kant, als je een schrijver bent die iets probeert uit te leggen/communiceren, zullen we misschien steeds minder de mindset zien van "ik schrijf dit voor een andere mens" en meer "ik schrijf dit voor een LLM". Want zodra een LLM het "begrijpt", kan het vervolgens de idee richten, personaliseren en aan zijn gebruiker aanbieden.

Een interessante recente conversatie delen over de impact van AI op de economie. AI is vergeleken met verschillende historische precedenten: elektriciteit, industriële revolutie, enzovoort. Ik denk dat de sterkste analogie die van AI als een nieuw computerparadigma (Software 2.0) is, omdat beide fundamenteel gaan over de automatisering van digitale informatieverwerking. Als je de impact van computing op de arbeidsmarkt in de jaren '80 zou moeten voorspellen, zou de meest voorspellende eigenschap van een taak/baan waar je naar zou kijken, in hoeverre het algoritme ervan vastligt zijn, d.w.z. ben je gewoon mechanisch informatie aan het transformeren volgens vaste, gemakkelijk te specificeren regels (bijv. typen, boekhouden, menselijke rekenmachines, enz.)? Toen was dit de klasse van programma's die de computercapaciteit van die tijd ons toestond om te schrijven (met de hand, handmatig). Met AI kunnen we nu nieuwe programma's schrijven die we voorheen nooit met de hand hadden kunnen schrijven. We doen dit door doelstellingen te specificeren (bijv. classificatie-nauwkeurigheid, beloningsfuncties), en we doorzoeken de programmaruimte via gradient descent om neurale netwerken te vinden die goed presteren tegen dat doel. Dit is mijn Software 2.0 blogpost van een tijdje geleden. In dit nieuwe programmeerparadigma is de nieuwe meest voorspellende eigenschap om naar te kijken verifieerbaarheid. Als een taak/baan verifieerbaar is, dan kan deze direct of via reinforcement learning geoptimaliseerd worden, en kan een neuraal netwerk worden getraind om extreem goed te presteren. Het gaat erom in hoeverre een AI iets kan "oefenen". De omgeving moet resetbaar zijn (je kunt een nieuwe poging starten), efficiënt (er kunnen veel pogingen worden gedaan), en beloonbaar (er is een geautomatiseerd proces om elke specifieke poging die is gedaan te belonen). Hoe meer een taak/baan verifieerbaar is, hoe meer deze geschikt is voor automatisering in het nieuwe programmeerparadigma. Als het niet verifieerbaar is, moet het afhangen van de neurale net magie van generalisatie, duimen maar, of via zwakkere middelen zoals imitatie. Dit is wat de "gehaakte" grens van vooruitgang in LLM's aandrijft. Taken die verifieerbaar zijn, vorderen snel, mogelijk zelfs voorbij de capaciteiten van top-experts (bijv. wiskunde, code, hoeveelheid tijd besteed aan het kijken naar video's, alles wat lijkt op puzzels met juiste antwoorden), terwijl veel andere taken in vergelijking achterblijven (creatief, strategisch, taken die echte wereldkennis, staat, context en gezond verstand combineren). Software 1.0 automatiseert gemakkelijk wat je kunt specificeren. Software 2.0 automatiseert gemakkelijk wat je kunt verifiëren.

Ik ben onredelijk enthousiast over zelfrijdende technologie. Het zal de eerste technologie in vele decennia zijn die zichtbaar de buitenruimtes en de manier van leven transformeert. Minder geparkeerde auto's. Minder parkeerplaatsen. Veel grotere veiligheid voor mensen in en uit auto's. Minder geluidsoverlast. Meer ruimte terugveroverd voor mensen. De hersencycli en aandachtskapitaal van mensen worden vrijgemaakt van "rijstrook volgen" naar andere bezigheden. Goedkopere, snellere, programmeerbare levering van fysieke items en goederen. Het zal niet van de ene op de andere dag gebeuren, maar er zal een tijdperk voor en een tijdperk na zijn.