spontanes Gewichtheben mit meinem Bruder an einem Freitagabend

Ben weiß, wovon er spricht. Lies das

Wir haben uns bei @MerlinAIByFoyer viel damit beschäftigt. Die Analogie "Evals sind das CI/CD von AI" hält nicht wirklich, da CI/CD auf Stabilität angewiesen ist, während sich AI von Woche zu Woche verändert. Und genau wie bei CI/CD frisst das Hochfahren von umfangreichen Evals in der Produktion eine Menge Zeit. Wir haben es versucht und irgendwann aufgegeben. Die Bewertung von Agenten/ML ist entscheidend, aber zu früh aufwendige Strukturen aufzubauen, bremst einen. Daher haben wir einen Kompromiss gefunden: Wir kuratieren eine kleine, hochsignifikante Menge von ~10–100 Fragen/Szenarien und testen dagegen. Das gibt uns eine Vorstellung davon, was gut funktioniert, während wir unsere Pipeline während der 0-1-Phase schnell durchlaufen können. In letzter Zeit, während @benhylak, @snarkyzk und das Team @raindrop_ai aufgebaut haben, haben wir echten Nutzen daraus gezogen, Fehler in der Produktion zu überwachen und diese oder ähnliche Fälle wieder in den Datensatz einfließen zu lassen.