![\"\"](\"https:\/\/planeta21vek.ru\/artemiada\/wp-content\/uploads\/2025\/04\/zadachi300425.jpg\")
\nLos investigadores probaron seis modelos de IA modernos compar\u00e1ndolos con el nuevo punto de referencia y el mejor resultado registrado por un sistema fue del 2%. hh5800<\/em><\/p>\n
Un nuevo conjunto de pruebas, llamado FrontierMath, apunta al razonamiento de nivel superior. Epoch AI desarroll\u00f3 las preguntas con la ayuda de profesores de matem\u00e1ticas, incluidos algunos ganadores de la Medalla Fields, posiblemente el premio m\u00e1s prestigioso en matem\u00e1ticas. Los problemas cubren una amplia gama de sub\u00e1reas, desde la teor\u00eda de n\u00fameros hasta la geometr\u00eda algebraica, y est\u00e1n disponibles en el sitio web de Epoch AI.<\/p>\n
\u201cEstos son problemas extremadamente dif\u00edciles\u201d, escribi\u00f3 Terence Tao, medallista Fields 2006 y matem\u00e1tico de la Universidad de California en Los \u00c1ngeles, en una revisi\u00f3n de los desaf\u00edos para Epoch AI. Creo que, a corto plazo, la \u00fanica forma de resolverlos sin un verdadero experto en la materia es combinar a un semiexperto, como un estudiante de doctorado en un campo relacionado, quiz\u00e1s con una combinaci\u00f3n de IA moderna y diversos paquetes algebraicos.<\/p>\n\n
Los problemas tambi\u00e9n fueron \u00fanicos, una medida que se tom\u00f3 para garantizar que ninguno de los problemas ya estuviera en los datos de entrenamiento de los modelos de IA. Cuando se incluyen problemas de razonamiento complejos en los datos de entrenamiento, puede parecer que la IA est\u00e1 resolviendo los problemas, pero en realidad ya tiene una \u00abhoja de trucos\u00bb porque ha sido entrenada con las respuestas.<\/p>\n
Los investigadores probaron seis modelos de IA modernos: Gemini 1.5 Pro (002) de Google, Claude 3.5 Sonnet de Anthropic, o1-preview, o1-mini y Grok-2 Beta de GPT4o y xAI. Gemini y Claude lograron resolver el 2%, lo que fue apenas mejor que el 1% de o1-preview, o1-mini y GPT-4o. Grok-2 Beta no logr\u00f3 resolver ninguno de los problemas correctamente.<\/p>\n
Sin embargo, los investigadores advirtieron que estas clasificaciones son enga\u00f1osas, ya que la baja tasa de \u00e9xito significa que una respuesta correcta puede tener un gran impacto en la puntuaci\u00f3n general de cada modelo.<\/p>\n
\u00abIncluso cuando el modelo obtuvo la respuesta correcta, eso no significa que su razonamiento fuera correcto\u00bb, escriben los autores. Por ejemplo, en uno de estos problemas, bastaron unas pocas simulaciones sencillas para obtener predicciones precisas sin necesidad de conocimientos matem\u00e1ticos m\u00e1s profundos. Sin embargo, la baja precisi\u00f3n general de los modelos indica que estas estrategias de conjetura no funcionan para la gran mayor\u00eda de los problemas de FrontierMath.<\/p>\n
Los resultados muestran que los modelos de IA actualmente carecen de pensamiento matem\u00e1tico de nivel de investigaci\u00f3n, concluyeron los investigadores de Epoch AI. Sin embargo, a medida que los modelos de IA evolucionen, estas pruebas comparativas proporcionar\u00e1n una manera de ver si sus capacidades de razonamiento est\u00e1n mejorando.<\/p>\n
\u201cAl evaluar peri\u00f3dicamente modelos de \u00faltima generaci\u00f3n y colaborar con la comunidad de investigaci\u00f3n de IA\u201d, dijo el equipo en un comunicado, \u201cnuestro objetivo es profundizar nuestra comprensi\u00f3n de las capacidades y limitaciones de la IA\u201d.<\/p>\n\n","protected":false},"excerpt":{"rendered":"
Los modelos actuales de IA tienen dificultades para resolver problemas matem\u00e1ticos de nivel de investigaci\u00f3n: los sistemas de IA m\u00e1s avanzados que tenemos hoy resuelven solo el 2% de los cientos de problemas que enfrentamos. Seg\u00fan el instituto de investigaci\u00f3n Epoch AI, resolver estos problemas normalmente requiere horas o d\u00edas de trabajo por parte de matem\u00e1ticos con doctorado. Pero en nuevas pruebas,…<\/p>\n