Lackmustestet för om en LLM-produktidé är bra eller inte är om en frontier-modell kan göra 95%+ av uppgiften direkt ur lådan. om svaret är ja — kod; Ritsning; bilda förpopulation; Rag + Chat — Då är nu bra.

Enligt min mening är det sämsta stället produkter där modellerna är ungefär 80 % av vägen. För att få det att fungera måste du göra en massa prompthantering, lägga på specialistkunskaper osv – med andra ord, arbeta för att positionera dig för att förlora om modeller förbättras och förlora om de inte gör det

Kanske kan du gissa hur långt bort du är genom att ta hur bra modellerna är nu och dela gapet till 95+ med hur mycket de förbättrades i uppgiften under den senaste generationen. för många 80%-uppgifter är det nog som... 4-5 år? längre för agenter

I många av dessa vertikaler misstänker jag att etablerade produkter kommer att bli utslagna av nya aktörer just av denna anledning – de kommer att ha satsat kapital på att lösa problem som nya konkurrenter löser direkt från API:et

Dessutom kommer de att ha fördelen av att ha sett framgångsrika företag i andra branscher lösa gränssnitts- och tillväxtproblem (som vi sett i sociala medier och SaaS)

särskilt eftersom jag misstänker att många LLM-produkter redan är pressade av konkurrens från stora företag att anta affärsmodeller som är lättare att utveckla, och därför kommer att ha liten låsning när bättre konkurrenter dyker upp