Les modèles d’IA actuels peinent à résoudre les problèmes mathématiques de niveau recherche: les systèmes d’IA les plus avancés dont nous disposons aujourd’hui ne résolvent que 2% des centaines de problèmes auxquels nous sommes confrontés. Selon l’institut de recherche Epoch AI, la résolution de ces problèmes nécessite généralement des heures ou des jours de travail de la part de mathématiciens titulaires d’un doctorat. Mais lors de nouveaux tests, les modèles d’IA les plus avancés du marché ont réussi à accomplir correctement moins de 2% de ces tâches.
Au cours de la dernière décennie, plusieurs tests d’IA ont été développés pour déterminer si les réponses renvoyées par ces modèles sont réellement correctes. Dans de nombreux cas, les modèles d’IA réussissent désormais ces tests avec facilité.
Par exemple, dans le test largement utilisé de compréhension du langage multitâche (MMLU), les modèles d’IA modernes résolvent correctement 98% des problèmes mathématiques.
Voir aussi... Les scientifiques tirent la sonnette d'alarme: le monde perd rapidement de l'eau douce Changements anthropiques et climatiques dans les rivières et les lacs de la Terre |
La plupart de ces tests visent à tester la capacité de l’IA à résoudre des problèmes mathématiques aux niveaux secondaire et universitaire, ont écrit Elliot Glaser, mathématicien chez Epoch AI, et ses collègues dans un nouvel article publié dans la base de données de pré-impression arXiv.
Les chercheurs ont testé six modèles d’IA modernes par rapport au nouveau référentiel, et le meilleur résultat enregistré par un système était de 2%. hh5800
Une nouvelle série de tests, appelée FrontierMath, cible le raisonnement de niveau supérieur. Epoch AI a développé les questions avec l’aide de professeurs de mathématiques, dont certains lauréats de la médaille Fields, sans doute la récompense la plus prestigieuse en mathématiques. Les problèmes couvrent un large éventail de sous-domaines, de la théorie des nombres à la géométrie algébrique, et sont disponibles sur le site Web d’Epoch AI.
«Ce sont des problèmes extrêmement difficiles», a écrit Terence Tao, mathématicien à l’Université de Californie à Los Angeles et lauréat de la médaille Fields 2006, dans une analyse des défis auxquels Epoch AI est confronté. «Je pense qu’à court terme, la seule façon de les résoudre sans avoir recours à un véritable expert dans le domaine est de combiner un semi-expert, comme un doctorant dans un domaine connexe, peut-être associé à une combinaison d’IA moderne et à une variété d’autres packages algébriques.»
Les problèmes étaient également uniques, une mesure prise pour garantir qu’aucun des problèmes ne figurait déjà dans les données de formation des modèles d’IA. Lorsque des problèmes de raisonnement complexes sont inclus dans les données d’entraînement, il peut sembler que l’IA résout les problèmes, mais en fait, elle dispose déjà d’une «aide-mémoire» car elle a été formée sur les réponses.
Voir aussi... |
Les chercheurs ont testé six modèles d’IA modernes: Gemini 1.5 Pro (002) de Google, Claude 3.5 Sonnet d’Anthropic, o1-preview, o1-mini et Grok-2 Beta de GPT4o et xAI. Gemini et Claude ont réussi à résoudre 2%, ce qui n’était que légèrement mieux que les 1% de o1-preview, o1-mini et GPT-4o. Grok-2 Beta n’a pas réussi à résoudre correctement aucun des problèmes.
Toutefois, les chercheurs ont averti que ces classements sont trompeurs, car le faible taux de réussite signifie qu’une seule bonne réponse peut avoir un impact énorme sur le score global de chaque modèle.
«Même lorsque le modèle a donné la bonne réponse, cela ne signifie pas que son raisonnement était correct», écrivent les auteurs. Par exemple, dans l’un de ces problèmes, quelques simulations simples ont suffi à établir des prédictions précises sans aucune compréhension mathématique approfondie. Cependant, la faible précision globale des modèles indique que ces stratégies d’estimation ne fonctionnent pas pour la grande majorité des problèmes FrontierMath.
Les résultats montrent que les modèles d’IA manquent actuellement d’une réflexion mathématique de niveau recherche, ont conclu les chercheurs d’Epoch AI. Cependant, à mesure que les modèles d’IA évoluent, ces tests de référence fourniront un moyen de voir si leurs capacités de raisonnement s’améliorent.
«En évaluant régulièrement les modèles de pointe et en collaborant avec la communauté de recherche en IA», a déclaré l’équipe dans un communiqué, «nous visons à approfondir notre compréhension des capacités et des limites de l’IA.»
Voir aussi... Liste complète des gestionnaires d'événements HTML/Javascript avec exemples Liste des documents requis pour un site Web en Fédération de Russie |
Related Posts
1 million de dollars à quiconque résoudra l’un des 7 problèmes mathématiques les plus difficiles au monde – l’hypothèse de Riemann
Les avancées majeures en mathématiques et en sciences sont généralement…
