![\"\"](\"https:\/\/planeta21vek.ru\/artemiada\/wp-content\/uploads\/2025\/04\/zadachi300425.jpg\")
\nLes chercheurs ont test\u00e9 six mod\u00e8les d\u2019IA modernes par rapport au nouveau r\u00e9f\u00e9rentiel, et le meilleur r\u00e9sultat enregistr\u00e9 par un syst\u00e8me \u00e9tait de 2%. hh5800<\/em><\/p>\n
Une nouvelle s\u00e9rie de tests, appel\u00e9e FrontierMath, cible le raisonnement de niveau sup\u00e9rieur. Epoch AI a d\u00e9velopp\u00e9 les questions avec l’aide de professeurs de math\u00e9matiques, dont certains laur\u00e9ats de la m\u00e9daille Fields, sans doute la r\u00e9compense la plus prestigieuse en math\u00e9matiques. Les probl\u00e8mes couvrent un large \u00e9ventail de sous-domaines, de la th\u00e9orie des nombres \u00e0 la g\u00e9om\u00e9trie alg\u00e9brique, et sont disponibles sur le site Web d’Epoch AI.<\/p>\n
\u00abCe sont des probl\u00e8mes extr\u00eamement difficiles\u00bb, a \u00e9crit Terence Tao, math\u00e9maticien \u00e0 l\u2019Universit\u00e9 de Californie \u00e0 Los Angeles et laur\u00e9at de la m\u00e9daille Fields 2006, dans une analyse des d\u00e9fis auxquels Epoch AI est confront\u00e9. \u00abJe pense qu’\u00e0 court terme, la seule fa\u00e7on de les r\u00e9soudre sans avoir recours \u00e0 un v\u00e9ritable expert dans le domaine est de combiner un semi-expert, comme un doctorant dans un domaine connexe, peut-\u00eatre associ\u00e9 \u00e0 une combinaison d’IA moderne et \u00e0 une vari\u00e9t\u00e9 d’autres packages alg\u00e9briques.\u00bb<\/p>\n
Les probl\u00e8mes \u00e9taient \u00e9galement uniques, une mesure prise pour garantir qu’aucun des probl\u00e8mes ne figurait d\u00e9j\u00e0 dans les donn\u00e9es de formation des mod\u00e8les d’IA. Lorsque des probl\u00e8mes de raisonnement complexes sont inclus dans les donn\u00e9es d’entra\u00eenement, il peut sembler que l’IA r\u00e9sout les probl\u00e8mes, mais en fait, elle dispose d\u00e9j\u00e0 d’une \u00abaide-m\u00e9moire\u00bb car elle a \u00e9t\u00e9 form\u00e9e sur les r\u00e9ponses.<\/p>\n\n
Les chercheurs ont test\u00e9 six mod\u00e8les d’IA modernes: Gemini 1.5 Pro (002) de Google, Claude 3.5 Sonnet d’Anthropic, o1-preview, o1-mini et Grok-2 Beta de GPT4o et xAI. Gemini et Claude ont r\u00e9ussi \u00e0 r\u00e9soudre 2%, ce qui n’\u00e9tait que l\u00e9g\u00e8rement mieux que les 1% de o1-preview, o1-mini et GPT-4o. Grok-2 Beta n’a pas r\u00e9ussi \u00e0 r\u00e9soudre correctement aucun des probl\u00e8mes.<\/p>\n
Toutefois, les chercheurs ont averti que ces classements sont trompeurs, car le faible taux de r\u00e9ussite signifie qu’une seule bonne r\u00e9ponse peut avoir un impact \u00e9norme sur le score global de chaque mod\u00e8le.<\/p>\n
\u00abM\u00eame lorsque le mod\u00e8le a donn\u00e9 la bonne r\u00e9ponse, cela ne signifie pas que son raisonnement \u00e9tait correct\u00bb, \u00e9crivent les auteurs. Par exemple, dans l’un de ces probl\u00e8mes, quelques simulations simples ont suffi \u00e0 \u00e9tablir des pr\u00e9dictions pr\u00e9cises sans aucune compr\u00e9hension math\u00e9matique approfondie. Cependant, la faible pr\u00e9cision globale des mod\u00e8les indique que ces strat\u00e9gies d’estimation ne fonctionnent pas pour la grande majorit\u00e9 des probl\u00e8mes FrontierMath.<\/p>\n
Les r\u00e9sultats montrent que les mod\u00e8les d\u2019IA manquent actuellement d\u2019une r\u00e9flexion math\u00e9matique de niveau recherche, ont conclu les chercheurs d\u2019Epoch AI. Cependant, \u00e0 mesure que les mod\u00e8les d\u2019IA \u00e9voluent, ces tests de r\u00e9f\u00e9rence fourniront un moyen de voir si leurs capacit\u00e9s de raisonnement s\u2019am\u00e9liorent.<\/p>\n
\u00abEn \u00e9valuant r\u00e9guli\u00e8rement les mod\u00e8les de pointe et en collaborant avec la communaut\u00e9 de recherche en IA\u00bb, a d\u00e9clar\u00e9 l’\u00e9quipe dans un communiqu\u00e9, \u00abnous visons \u00e0 approfondir notre compr\u00e9hension des capacit\u00e9s et des limites de l’IA.\u00bb<\/p>\n\n","protected":false},"excerpt":{"rendered":"
Les mod\u00e8les d\u2019IA actuels peinent \u00e0 r\u00e9soudre les probl\u00e8mes math\u00e9matiques de niveau recherche: les syst\u00e8mes d\u2019IA les plus avanc\u00e9s dont nous disposons aujourd\u2019hui ne r\u00e9solvent que 2% des centaines de probl\u00e8mes auxquels nous sommes confront\u00e9s. Selon l\u2019institut de recherche Epoch AI, la r\u00e9solution de ces probl\u00e8mes n\u00e9cessite g\u00e9n\u00e9ralement des heures ou des jours de travail de la part de math\u00e9maticiens titulaires d\u2019un doctorat.…<\/p>\n