![\"\"](\"https:\/\/planeta21vek.ru\/artemiada\/wp-content\/uploads\/2025\/04\/zadachi300425.jpg\")
\nDie Forscher testeten sechs moderne KI-Modelle anhand des neuen Benchmarks und das beste Ergebnis eines Systems lag bei 2 %. hh5800<\/em><\/p>\n
Eine neue Testreihe namens FrontierMath zielt auf das Denken auf h\u00f6herer Ebene ab. Epoch AI entwickelte die Fragen mit Hilfe von Mathematikprofessoren, darunter einige Gewinner der Fields-Medaille, der wohl renommiertesten Auszeichnung in der Mathematik. Die Probleme decken ein breites Spektrum an Teilbereichen ab, von der Zahlentheorie bis zur algebraischen Geometrie, und sind auf der Epoch AI-Website verf\u00fcgbar.<\/p>\n\n
\u201eDas sind extrem schwierige Probleme\u201c, schrieb der Fields-Medaillengewinner des Jahres 2006, Terence Tao, ein Mathematiker an der University of California in Los Angeles, in einer \u00dcbersicht \u00fcber die Herausforderungen f\u00fcr Epoch AI. \u201eIch denke, dass die einzige M\u00f6glichkeit, sie kurzfristig zu l\u00f6sen, ohne einen echten Experten auf dem Gebiet zu haben, darin besteht, einen Halbexperten, etwa einen Doktoranden auf einem verwandten Gebiet, hinzuzuziehen, vielleicht gepaart mit einer Kombination aus moderner KI und einer Reihe anderer algebraischer Pakete.\u201c<\/p>\n
Die Probleme waren zudem einzigartig, ein Schritt, der unternommen wurde, um sicherzustellen, dass keines der Probleme bereits in den Trainingsdaten der KI-Modelle vorhanden war. Wenn komplexe Denkprobleme in den Trainingsdaten enthalten sind, kann es so aussehen, als w\u00fcrde die KI die Probleme l\u00f6sen, aber tats\u00e4chlich verf\u00fcgt sie bereits \u00fcber einen \u201eSpickzettel\u201c, da sie anhand der Antworten trainiert wurde.<\/p>\n
Die Forscher testeten sechs moderne KI-Modelle: Gemini 1.5 Pro (002) von Google, Claude 3.5 Sonnet von Anthropic, o1-preview, o1-mini und Grok-2 Beta von GPT4o und xAI. Gemini und Claude konnten 2 % l\u00f6sen, was nur geringf\u00fcgig besser war als die 1 % von o1-preview, o1-mini und GPT-4o. Grok-2 Beta konnte keines der Probleme richtig l\u00f6sen.<\/p>\n
Die Forscher warnten jedoch davor, dass diese Rangfolge irref\u00fchrend sei, da die niedrige Erfolgsquote bedeute, dass eine einzige richtige Antwort einen enormen Einfluss auf die Gesamtpunktzahl jedes Modells haben k\u00f6nne.<\/p>\n
\u201eSelbst wenn das Modell die richtige Antwort lieferte, bedeutet das nicht, dass seine Schlussfolgerung richtig war\u201c, schreiben die Autoren. \u201eBei einem dieser Probleme reichte beispielsweise die Durchf\u00fchrung einiger einfacher Simulationen aus, um genaue Vorhersagen zu treffen, ohne dass tiefere mathematische Kenntnisse erforderlich waren. Die geringe Gesamtgenauigkeit der Modelle zeigt jedoch, dass solche Ratestrategien f\u00fcr die \u00fcberwiegende Mehrheit der FrontierMath-Probleme nicht funktionieren.\u201c<\/p>\n
Die Ergebnisse zeigten, dass es KI-Modellen derzeit an mathematischem Denken auf Forschungsniveau mangele, so die Schlussfolgerung der Forscher von Epoch AI. Mit der Weiterentwicklung der KI-Modelle bieten diese Benchmarktests jedoch eine M\u00f6glichkeit, festzustellen, ob sich ihre Denkf\u00e4higkeiten verbessern.<\/p>\n
\u201eDurch die regelm\u00e4\u00dfige Evaluierung modernster Modelle und die Zusammenarbeit mit der KI-Forschungsgemeinschaft\u201c, so das Team in einer Erkl\u00e4rung, \u201ewollen wir unser Verst\u00e4ndnis der F\u00e4higkeiten und Grenzen der KI vertiefen.\u201c<\/p>\n\n","protected":false},"excerpt":{"rendered":"
Aktuelle KI-Modelle haben Schwierigkeiten, mathematische Probleme auf Forschungsniveau zu l\u00f6sen: Die fortschrittlichsten KI-Systeme, die uns heute zur Verf\u00fcgung stehen, l\u00f6sen nur 2 % der Hunderten von Problemen, mit denen wir konfrontiert sind. Laut dem Forschungsinstitut Epoch AI erfordert die L\u00f6sung dieser Probleme in der Regel stunden- oder tagelange Arbeit von Mathematikern mit Doktortitel. Doch in neuen Tests haben die fortschrittlichsten KI-Modelle auf dem Markt weniger als 2 % dieser Aufgaben richtig beantwortet.<\/p>\n","protected":false},"author":1,"featured_media":1209,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[243,40],"tags":[460,244],"class_list":{"0":"post-1208","1":"post","2":"type-post","3":"status-publish","4":"format-standard","5":"has-post-thumbnail","7":"category-exakte-wissenschaften","8":"category-philosophie","9":"tag-kuenstliche-intelligenz","10":"tag-mathematik"},"_links":{"self":[{"href":"https:\/\/planeta21vek.ru\/artemiada\/deu\/wp-json\/wp\/v2\/posts\/1208","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/planeta21vek.ru\/artemiada\/deu\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/planeta21vek.ru\/artemiada\/deu\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/planeta21vek.ru\/artemiada\/deu\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/planeta21vek.ru\/artemiada\/deu\/wp-json\/wp\/v2\/comments?post=1208"}],"version-history":[{"count":2,"href":"https:\/\/planeta21vek.ru\/artemiada\/deu\/wp-json\/wp\/v2\/posts\/1208\/revisions"}],"predecessor-version":[{"id":1272,"href":"https:\/\/planeta21vek.ru\/artemiada\/deu\/wp-json\/wp\/v2\/posts\/1208\/revisions\/1272"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/planeta21vek.ru\/artemiada\/deu\/wp-json\/wp\/v2\/media\/1209"}],"wp:attachment":[{"href":"https:\/\/planeta21vek.ru\/artemiada\/deu\/wp-json\/wp\/v2\/media?parent=1208"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/planeta21vek.ru\/artemiada\/deu\/wp-json\/wp\/v2\/categories?post=1208"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/planeta21vek.ru\/artemiada\/deu\/wp-json\/wp\/v2\/tags?post=1208"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}