Zmagaliśmy się z tym dużo w @MerlinAIByFoyer. Analogia „Evals są CI/CD AI” nie do końca się sprawdza, ponieważ CI/CD opiera się na stabilności, podczas gdy AI zmienia się z tygodnia na tydzień. I tak jak w przypadku CI/CD, uruchamianie ciężkich evals w produkcji pochłania mnóstwo czasu. Próbowaliśmy tego i poddaliśmy się po pewnym czasie. Ocena agentów/ML jest niezbędna, ale budowanie skomplikowanej struktury zbyt wcześnie spowalnia postęp. Dlatego wymyśliliśmy kompromis: kurujemy mały, wysoko sygnalizujący zestaw ~10–100 pytań/scenariuszy i testujemy na ich podstawie. Daje nam to pojęcie o tym, co działa dobrze, podczas gdy możemy szybko uruchomić nasz pipeline w fazie 0-1. Ostatnio, gdy @benhylak, @snarkyzk i zespół budowali @raindrop_ai, zyskaliśmy prawdziwe korzyści, monitorując awarie w produkcji i włączając te lub podobne przypadki z powrotem do zbioru danych.