Los puntos de referencia en el mundo del modelo lingüístico son como pruebas estandarizadas en educación. Un puntaje alto en el SAT no garantiza el éxito en todas las carreras universitarias. Del mismo modo, una puntuación de referencia alta no garantiza que un modelo sobresalga en todas las tareas. A continuación, le indicamos cómo interpretarlos sabiamente. 🧵

Tres tipos de puntos de referencia son importantes para los usuarios de Cline: > capacidad de codificación: ¿puede comprender y generar código? > conocimiento del dominio: ¿conoce su campo? > uso de la herramienta: ¿puede funcionar con integraciones de MCP? Diferentes puntos de referencia evalúan diferentes aspectos de la inteligencia.

Para la codificación: SWE-Bench se destaca. Prueba modelos contra problemas reales de GitHub de proyectos populares de código abierto. No son problemas artificiales: los errores y las características reales a los que se enfrentan los desarrolladores a diario.

Puntuación sólida de SWE-Bench = bueno para corregir errores, implementar funciones, refactorizar código real.

Los puntos de referencia específicos del dominio son importantes para el trabajo especializado: • MMLU - 57 materias académicas (salud, finanzas, ciencias) • GPQA - Posgrado en biología, física, química • AIME - Razonamiento matemático avanzado ¿Está creando aplicaciones de atención médica? Verifique los puntajes de biología.

¿Modelado financiero? El rendimiento matemático importa. Los puntos de referencia de uso de herramientas prueban las capacidades de MCP: ¿Puede el modelo: • ¿Formatear correctamente las llamadas de herramientas? • ¿Elegir las herramientas adecuadas? • ¿Encadenar varias herramientas?

Fundamental para las configuraciones de Cline que utilizan web scraping, automatización del navegador o sistemas de memoria extendida.

La limitación: los puntos de referencia solo cuentan una parte de la historia. Dos modelos con puntajes similares de SWE-Bench pueden sobresalir en cosas totalmente diferentes.