Los modelos actuales de IA tienen dificultades para resolver problemas matemáticos de nivel de investigación: los sistemas de IA más avanzados que tenemos hoy resuelven solo el 2% de los cientos de problemas que enfrentamos. Según el instituto de investigación Epoch AI, resolver estos problemas normalmente requiere horas o días de trabajo por parte de matemáticos con doctorado. Pero en nuevas pruebas, los modelos de IA más avanzados del mercado acertaron menos del 2% de estas tareas.
Durante la última década, se han desarrollado varias pruebas de IA para determinar si las respuestas devueltas por estos modelos son realmente correctas. En muchos casos, los modelos de IA ahora pasan estas pruebas con facilidad.
Por ejemplo, en la prueba de comprensión del lenguaje multitarea (MMLU), ampliamente utilizada, los modelos de IA modernos resuelven correctamente el 98% de los problemas matemáticos.
La mayoría de estas pruebas tienen como objetivo evaluar la capacidad de la IA para resolver problemas de matemáticas en los niveles secundario y universitario, escribieron Elliot Glaser, matemático de Epoch AI, y sus colegas en un nuevo artículo publicado en la base de datos de preimpresiones de arXiv.
Ver también... Los científicos están explorando y continúan buscando mundos alienígenas potencialmente habitables Cambios antropogénicos y climáticos en los ríos y lagos de la Tierra |
Los investigadores probaron seis modelos de IA modernos comparándolos con el nuevo punto de referencia y el mejor resultado registrado por un sistema fue del 2%. hh5800
Un nuevo conjunto de pruebas, llamado FrontierMath, apunta al razonamiento de nivel superior. Epoch AI desarrolló las preguntas con la ayuda de profesores de matemáticas, incluidos algunos ganadores de la Medalla Fields, posiblemente el premio más prestigioso en matemáticas. Los problemas cubren una amplia gama de subáreas, desde la teoría de números hasta la geometría algebraica, y están disponibles en el sitio web de Epoch AI.
“Estos son problemas extremadamente difíciles”, escribió Terence Tao, medallista Fields 2006 y matemático de la Universidad de California en Los Ángeles, en una revisión de los desafíos para Epoch AI. Creo que, a corto plazo, la única forma de resolverlos sin un verdadero experto en la materia es combinar a un semiexperto, como un estudiante de doctorado en un campo relacionado, quizás con una combinación de IA moderna y diversos paquetes algebraicos.
Ver también... Un nuevo método para observar átomos individuales confirma una teoría mecánica cuántica centenaria |
Los problemas también fueron únicos, una medida que se tomó para garantizar que ninguno de los problemas ya estuviera en los datos de entrenamiento de los modelos de IA. Cuando se incluyen problemas de razonamiento complejos en los datos de entrenamiento, puede parecer que la IA está resolviendo los problemas, pero en realidad ya tiene una «hoja de trucos» porque ha sido entrenada con las respuestas.
Los investigadores probaron seis modelos de IA modernos: Gemini 1.5 Pro (002) de Google, Claude 3.5 Sonnet de Anthropic, o1-preview, o1-mini y Grok-2 Beta de GPT4o y xAI. Gemini y Claude lograron resolver el 2%, lo que fue apenas mejor que el 1% de o1-preview, o1-mini y GPT-4o. Grok-2 Beta no logró resolver ninguno de los problemas correctamente.
Sin embargo, los investigadores advirtieron que estas clasificaciones son engañosas, ya que la baja tasa de éxito significa que una respuesta correcta puede tener un gran impacto en la puntuación general de cada modelo.
«Incluso cuando el modelo obtuvo la respuesta correcta, eso no significa que su razonamiento fuera correcto», escriben los autores. Por ejemplo, en uno de estos problemas, bastaron unas pocas simulaciones sencillas para obtener predicciones precisas sin necesidad de conocimientos matemáticos más profundos. Sin embargo, la baja precisión general de los modelos indica que estas estrategias de conjetura no funcionan para la gran mayoría de los problemas de FrontierMath.
Los resultados muestran que los modelos de IA actualmente carecen de pensamiento matemático de nivel de investigación, concluyeron los investigadores de Epoch AI. Sin embargo, a medida que los modelos de IA evolucionen, estas pruebas comparativas proporcionarán una manera de ver si sus capacidades de razonamiento están mejorando.
“Al evaluar periódicamente modelos de última generación y colaborar con la comunidad de investigación de IA”, dijo el equipo en un comunicado, “nuestro objetivo es profundizar nuestra comprensión de las capacidades y limitaciones de la IA”.
Ver también... Lista completa de controladores de eventos HTML/Javascript con ejemplos Lista de documentos necesarios para un sitio web en la Federación de Rusia |
Related Posts
1 millón de dólares para quien resuelva uno de los 7 problemas matemáticos más difíciles del mundo: la hipótesis de Riemann
Los grandes avances en matemáticas y ciencias suelen ser el…
