RT @markchen90: La alineación es, sin duda, la frontera de investigación en IA más importante. A medida que escalamos el razonamiento, los modelos adquieren conciencia situacional a…

La semana pasada, nuestros modelos de razonamiento participaron en el Concurso Internacional de Programación Universitaria (ICPC) 2025, la principal competencia de programación a nivel universitario del mundo. Nuestro sistema resolvió los 12 de 12 problemas, un rendimiento que habría colocado en primer lugar en el mundo (el mejor equipo humano resolvió 11 problemas). Este hito cierra dos meses intensos de actuaciones competitivas de nuestros modelos: - Un segundo lugar en las Finales Mundiales de Heurísticas de AtCoder - Medalla de oro en la Olimpiada Internacional de Matemáticas - Medalla de oro en la Olimpiada Internacional de Informática - Y ahora, una medalla de oro, primer lugar en las Finales Mundiales del ICPC. Creo que estos resultados, provenientes de una familia de modelos de razonamiento general arraigados en nuestro programa de investigación principal, son quizás el indicador más claro de progreso este año. Estas competiciones son grandes pruebas autoconclusivas y limitadas en el tiempo para la capacidad de descubrir nuevas ideas. Incluso antes de que nuestros modelos fueran competentes en aritmética simple, miramos hacia estos concursos como hitos de progreso hacia una inteligencia artificial transformadora. Nuestros modelos ahora se clasifican entre los mejores humanos en estos dominios, cuando se les plantean preguntas bien especificadas y se les restringe a ~5 horas. El desafío ahora es pasar a problemas más abiertos y horizontes de tiempo mucho más largos. Este nivel de capacidad de razonamiento, aplicado durante meses y años a problemas que realmente importan, es lo que buscamos: automatizar el descubrimiento científico. Este rápido progreso también subraya la importancia de la investigación en seguridad y alineación. Aún necesitamos más comprensión de las propiedades de alineación de los modelos de razonamiento de larga duración; en particular, recomiendo revisar los hallazgos fascinantes del estudio sobre la planificación en modelos de razonamiento que publicamos hoy. ¡Felicidades a mis compañeros de equipo que pusieron su corazón en obtener estos resultados de competencia, y a todos los que contribuyen a la investigación fundamental subyacente que los hace posibles!

Estoy extremadamente entusiasmado con el potencial de la fidelidad e interpretabilidad de la cadena de pensamiento. Ha influido significativamente en el diseño de nuestros modelos de razonamiento, comenzando con o1-preview. A medida que los sistemas de IA gastan más trabajo informático, por ejemplo, en problemas de investigación a largo plazo, es fundamental que tengamos alguna forma de monitorear su proceso interno. La maravillosa propiedad de los CoT ocultos es que, si bien comienzan basados en un lenguaje que podemos interpretar, el procedimiento de optimización escalable no es adverso a la capacidad del observador para verificar la intención del modelo, a diferencia de, por ejemplo, la supervisión directa con un modelo de recompensa. La tensión aquí es que si los CoT no estuvieran ocultos por defecto, y vemos el proceso como parte de la producción de la IA, hay muchos incentivos (y en algunos casos, necesidad) para supervisarlo. Creo que podemos trabajar hacia lo mejor de ambos mundos aquí: entrenar a nuestros modelos para que sean excelentes para explicar su razonamiento interno, pero al mismo tiempo conserven la capacidad de verificarlo ocasionalmente. La fidelidad al CoT es parte de una dirección de investigación más amplia, que es la capacitación para la interpretabilidad: establecer objetivos de una manera que entrene al menos a parte del sistema para que siga siendo honesto y monitoreable con escala. Continuamos aumentando nuestra inversión en esta investigación en OpenAI.