Meillä ei ole vielä tekoälyn itseparannuksia, ja kun teemme sen, se muuttaa pelin. Kun nyt on enemmän viisautta kuin GPT-4-päivissä, on selvää, että se ei ole "nopea lentoonlähtö", vaan pikemminkin erittäin asteittainen useiden vuosien, luultavasti vuosikymmenen, aikana. Ensimmäinen asia, joka on hyvä tietää, on, että itsensä kehittäminen, eli itsensä kouluttaminen mallit, ei ole binääristä. Harkitse skenaariota, jossa GPT-5 kouluttaa GPT-6:ta, mikä olisi uskomatonta. Muuttuisiko GPT-5 yhtäkkiä siitä, että se ei pysty kouluttamaan GPT-6:ta ollenkaan, kouluttamaan sitä erittäin taitavasti? Ei todellakaan. Ensimmäiset GPT-6-harjoitusajot olisivat luultavasti erittäin tehottomia ajallisesti ja laskennallisesti verrattuna ihmistutkijoihin. Ja vasta monien kokeiden jälkeen GPT-5 pystyisi todella kouluttamaan GPT-6:ta paremmin kuin ihmiset. Toiseksi, vaikka malli voisi kouluttaa itseään, se ei yhtäkkiä paranisi kaikilla osa-alueilla. On vaikeaa siinä, kuinka vaikeaa on parantaa itseään eri osa-alueilla. Esimerkiksi ehkä itsensä kehittäminen toimii aluksi vain alueilla, jotka osaamme jo korjata helposti harjoittelun jälkeen, kuten perushallusinaatiot tai tyyli. Seuraavana olisi matematiikka ja koodaus, jotka vaativat enemmän työtä, mutta ovat vakiinnuttaneet menetelmiä mallien parantamiseksi. Ja sitten äärimmäisessä tapauksessa voit kuvitella, että on joitain tehtäviä, jotka ovat erittäin vaikeita itsensä kehittämiseksi. Esimerkiksi kyky puhua tlingitiä, intiaanikieltä, jota puhuu ~500 ihmistä. Mallin on erittäin vaikea kehittää itseään tlingitin puhumisessa, koska meillä ei ole vielä tapoja ratkaista tällaisia vähäresurssisia kieliä, paitsi kerätä lisää dataa, mikä veisi aikaa. Joten itsensä kehittämisen vaikeuden gradientin vuoksi kaikki ei tapahdu kerralla. Lopuksi, ehkä tämä on kiistanalaista, mutta viime kädessä tieteen edistys on todellisten kokeiden pullonkaula. Jotkut saattavat uskoa, että kaikkien biologian papereiden lukeminen kertoisi meille parannuskeinon syöpään tai että kaikkien ML-papereiden lukeminen ja kaiken matematiikan hallitseminen antaisi sinun harjoitella GPT-10:tä täydellisesti. Jos näin olisi, ihmiset, jotka lukevat eniten artikkeleita ja opiskelevat eniten teoriaa, olisivat parhaita tekoälytutkijoita. Mutta todellisuudessa tapahtui se, että tekoälyä (ja monia muita aloja) hallitsivat häikäilemättömän empiiriset tutkijat, mikä kuvastaa sitä, kuinka suuri osa edistyksestä perustuu tosielämän kokeisiin raakaälyn sijaan. Joten pointtini on, että vaikka superälykäs agentti saattaa suunnitella 2x tai jopa 5x parempia kokeita kuin parhaat ihmistutkijamme, loppujen lopuksi heidän on silti odotettava kokeiden suorittamista, mikä olisi kiihtyvyys, mutta ei nopea nousu. Yhteenvetona voidaan todeta, että edistykselle on monia pullonkauloja, ei vain raaka älykkyys tai itsensä kehittämisjärjestelmä. Tekoäly ratkaisee monia alueita, mutta jokaisella toimialueella on oma edistymisvauhtinsa. Ja jopa korkein älykkyys vaatii silti kokeita todellisessa maailmassa. Joten se on kiihtyvyys eikä nopea lentoonlähtö, kiitos, että luit paasaukseni