Aktuelle KI-Modelle haben Schwierigkeiten, mathematische Probleme auf Forschungsniveau zu lösen: Die fortschrittlichsten KI-Systeme, die uns heute zur Verfügung stehen, lösen nur 2 % der Hunderten von Problemen, mit denen wir konfrontiert sind. Laut dem Forschungsinstitut Epoch AI erfordert die Lösung dieser Probleme in der Regel stunden- oder tagelange Arbeit von Mathematikern mit Doktortitel. Doch in neuen Tests haben die fortschrittlichsten KI-Modelle auf dem Markt weniger als 2 % dieser Aufgaben richtig beantwortet.
Im letzten Jahrzehnt wurden mehrere KI-Tests entwickelt, um festzustellen, ob die von diesen Modellen zurückgegebenen Antworten tatsächlich richtig sind. In vielen Fällen bestehen KI-Modelle diese Tests mittlerweile mit Leichtigkeit.
Beispielsweise lösen moderne KI-Modelle im weit verbreiteten Multitasking Language Understanding (MMLU)-Test 98 % der mathematischen Probleme richtig.
Die meisten dieser Tests zielen darauf ab, die Fähigkeit der KI zu testen, mathematische Probleme auf Highschool- und College-Niveau zu lösen, schrieben Elliot Glaser, ein Mathematiker bei Epoch AI, und seine Kollegen in einem neuen Artikel, der in der Preprint-Datenbank arXiv veröffentlicht wurde.
Die Forscher testeten sechs moderne KI-Modelle anhand des neuen Benchmarks und das beste Ergebnis eines Systems lag bei 2 %. hh5800
Eine neue Testreihe namens FrontierMath zielt auf das Denken auf höherer Ebene ab. Epoch AI entwickelte die Fragen mit Hilfe von Mathematikprofessoren, darunter einige Gewinner der Fields-Medaille, der wohl renommiertesten Auszeichnung in der Mathematik. Die Probleme decken ein breites Spektrum an Teilbereichen ab, von der Zahlentheorie bis zur algebraischen Geometrie, und sind auf der Epoch AI-Website verfügbar.
„Das sind extrem schwierige Probleme“, schrieb der Fields-Medaillengewinner des Jahres 2006, Terence Tao, ein Mathematiker an der University of California in Los Angeles, in einer Übersicht über die Herausforderungen für Epoch AI. „Ich denke, dass die einzige Möglichkeit, sie kurzfristig zu lösen, ohne einen echten Experten auf dem Gebiet zu haben, darin besteht, einen Halbexperten, etwa einen Doktoranden auf einem verwandten Gebiet, hinzuzuziehen, vielleicht gepaart mit einer Kombination aus moderner KI und einer Reihe anderer algebraischer Pakete.“
Die Probleme waren zudem einzigartig, ein Schritt, der unternommen wurde, um sicherzustellen, dass keines der Probleme bereits in den Trainingsdaten der KI-Modelle vorhanden war. Wenn komplexe Denkprobleme in den Trainingsdaten enthalten sind, kann es so aussehen, als würde die KI die Probleme lösen, aber tatsächlich verfügt sie bereits über einen „Spickzettel“, da sie anhand der Antworten trainiert wurde.
Die Forscher testeten sechs moderne KI-Modelle: Gemini 1.5 Pro (002) von Google, Claude 3.5 Sonnet von Anthropic, o1-preview, o1-mini und Grok-2 Beta von GPT4o und xAI. Gemini und Claude konnten 2 % lösen, was nur geringfügig besser war als die 1 % von o1-preview, o1-mini und GPT-4o. Grok-2 Beta konnte keines der Probleme richtig lösen.
Die Forscher warnten jedoch davor, dass diese Rangfolge irreführend sei, da die niedrige Erfolgsquote bedeute, dass eine einzige richtige Antwort einen enormen Einfluss auf die Gesamtpunktzahl jedes Modells haben könne.
„Selbst wenn das Modell die richtige Antwort lieferte, bedeutet das nicht, dass seine Schlussfolgerung richtig war“, schreiben die Autoren. „Bei einem dieser Probleme reichte beispielsweise die Durchführung einiger einfacher Simulationen aus, um genaue Vorhersagen zu treffen, ohne dass tiefere mathematische Kenntnisse erforderlich waren. Die geringe Gesamtgenauigkeit der Modelle zeigt jedoch, dass solche Ratestrategien für die überwiegende Mehrheit der FrontierMath-Probleme nicht funktionieren.“
Die Ergebnisse zeigten, dass es KI-Modellen derzeit an mathematischem Denken auf Forschungsniveau mangele, so die Schlussfolgerung der Forscher von Epoch AI. Mit der Weiterentwicklung der KI-Modelle bieten diese Benchmarktests jedoch eine Möglichkeit, festzustellen, ob sich ihre Denkfähigkeiten verbessern.
„Durch die regelmäßige Evaluierung modernster Modelle und die Zusammenarbeit mit der KI-Forschungsgemeinschaft“, so das Team in einer Erklärung, „wollen wir unser Verständnis der Fähigkeiten und Grenzen der KI vertiefen.“
Siehe auch... Vollständige Liste der HTML/Javascript-Ereignishandler mit Beispielen Liste der erforderlichen Dokumente für eine Website in der Russischen Föderation |
Related Posts
1 Million US-Dollar für jeden, der eines der sieben schwierigsten Mathematikprobleme der Welt löst – die Riemann-Hypothese
Große Durchbrüche in Mathematik und Naturwissenschaften sind in der Regel…
