Ten artykuł OpenAI zawiera bardzo przekonujące wyjaśnienia dotyczące tego, dlaczego halucynacje się utrzymują i co można z tym zrobić. Szczególnie w fazie po szkoleniu powinniśmy przestać karać modele za to, że mówią, iż nie znają odpowiedzi, oraz przestać nagradzać zbyt pewne zgadywanie. Wyeliminowanie halucynacji byłoby jednym z największych ulepszeń AI w zastosowaniach korporacyjnych, takich jak prawo, finanse, opieka zdrowotna i wiele innych dziedzin o wysokiej wartości. To byłoby bardzo ważne, jeśli uda nam się nadal osiągać znaczące postępy w tej dziedzinie.

AI jest szalona, ponieważ musisz głęboko unikać bycia sentymentalnym w jakiejkolwiek części architektury swojego produktu przez cały czas. Modele aktualizują się w tak szybkim tempie, że musisz nieustannie ponownie oceniać konstrukcję, którą zbudowałeś, i ustalić, co teraz można rozwiązać w lepszy lub tańszy sposób dzięki nowemu przełomowi. Firmy wygrają lub przegrają całkowicie w zależności od ich zdolności do odpuszczenia czegoś, w czym rzekomo stały się dobre, ponieważ modele mogą teraz rozwiązać to za nie. To jest zazwyczaj miejsce, w którym startupy wygrywają z czasem, ponieważ pojawiają się w okresie, gdy coś jest znacznie łatwiejsze do rozwiązania w nowoczesny sposób, a dotychczasowy gracz nie dostosowuje się odpowiednio. Kluczem jest zapewnienie, że masz architekturę, która daje ci tę elastyczność, co oznacza stworzenie odpowiednich abstrakcji na wczesnym etapie, aby skorzystać z tych nieustannych aktualizacji.

Tempo postępu AI sprawia, że wiele problemów, które wcześniej nie działały, w końcu może działać teraz. Jednak znaczna część możliwości tych modeli jest wykorzystywana w niewystarczającym stopniu w rezultacie. Regularnie rozmawiam z klientami korporacyjnymi, gdzie przypadek użycia, który mieli w zeszłym roku, a który model najnowszej generacji nie mógł rozwiązać, teraz może być odblokowany dzięki najnowszym modelom. Kluczem jest to, że musisz ciągle wracać do tych modeli i pchać je coraz dalej. Jak mówi Andrej: "jeśli nie dajesz im swoich najtrudniejszych problemów, prawdopodobnie coś tracisz."