Laut einer neuen Analyse Tausender Expertenmeinungen ist die Entstehung künstlicher allgemeiner Intelligenz (AGI) – eines KI-Systems mit übermenschlicher Intelligenz, das eine Vielzahl von Problemen erfolgreich lösen kann – nur noch eine Frage des Wann. Die Entwicklung von AGI wurde durch die rasante Weiterentwicklung groß angelegter Sprachmodelle (LLMs) auf Basis von Transformers vorangetrieben. Diese Technologie liegt Chatbots wie ChatGPT und Bildgeneratoren wie Dall-E zugrunde. Vor diesen Fortschritten prognostizierten einige Wissenschaftler 2019, dass AGI bis 2060 entstehen würde, vielleicht sogar nie.
Eine aktualisierte Analyse vom 18. Februar 2025 von Cem Dilmegani, Chefanalyst bei AIMultiple Research, analysierte fast 8.600 Vorhersagen von Wissenschaftlern, KI-Experten und Unternehmern zwischen 2009 und 2023, um zu verstehen, wann dies nach Ansicht der Experten passieren könnte.
Teil der Analyse waren zehn Umfragen mit 5.288 Forschern und Experten für künstliche Intelligenz. Die Analyse ergab, dass auf der Grundlage durchschnittlicher Daten eine Wahrscheinlichkeit von 50 % besteht, dass wir zwischen 2040 und 2061 eine maschinelle Intelligenz auf menschlichem Niveau erreichen werden.
Neuere Studien deuten darauf hin, dass die technologische Singularität früher eintreten wird. So prognostizierte beispielsweise eine aktuelle Studie aus dem Jahr 2023, bei der 2.778 Wissenschaftler befragt wurden, dass die künstliche Intelligenz (KI) spätestens 2040 geschaffen sein wird. Einige Experten auf diesem Gebiet, wie etwa Dario Amodei, KI-Forscher und CEO von Anthropic, glauben, dass dies bereits 2026 der Fall sein könnte.

Ein Kind spielt Go mit SenseTimes Schachroboter Meta Radish, der auf künstlicher Intelligenz basiert, beim Future Life Festival 2023 in Hangzhou, China. CFOTO/Future Publishing
Die Analyse ergab mehrere Gründe, warum Wissenschaftler glauben, dass die Entstehung von AGI wahrscheinlich ist.
Erstens ist dem Wachstum der Rechenleistung im Gegensatz zur menschlichen Intelligenz theoretisch keine Grenze gesetzt. Dies steht im Einklang mit dem Mooreschen Gesetz, das eine Verdoppelung der Rechenleistung etwa alle 18 Monate vorhersagt. Zukünftige künstliche Intelligenzsysteme könnten eines Tages hinsichtlich der Anzahl der Berechnungen pro Sekunde mit der menschlichen Intelligenz gleichziehen – allerdings nur, wenn sich diese Vorhersage bewahrheitet.
In dieser Studie wird auch Quantencomputing als Mittel zur Überwindung rechnerischer Einschränkungen erwähnt. Quantencomputer können Berechnungen parallel durchführen und dabei die Gesetze der Quantenmechanik ausnutzen. Klassische Computer, einschließlich der schnellsten Supercomputer, müssen Berechnungen seriell durchführen. Quantencomputing könnte daher fortschrittlichen Systemen der künstlichen Intelligenz eine deutlich höhere Rechenleistung verleihen als die besten Modelle von heute.
Andere Wissenschaftler auf diesem Gebiet sind jedoch der Ansicht, dass weitere Durchbrüche erforderlich sind, bevor wir auch nur annähernd an die AGI herankommen können.
So erklärte beispielsweise Yann LeCun, Chefforscher für künstliche Intelligenz bei Facebook, in einer Keynote im Oktober 2024, dass die Transformer-basierte Architektur und aktuelle Ansätze der künstlichen Intelligenz nicht mit menschlicher Intelligenz vereinbar seien. Er forderte Wissenschaftler außerdem auf, das Konzept der „künstlichen Intelligenz“ gänzlich aufzugeben. Er deutet auf einen falschen Widerspruch zwischen der weit verbreiteten Definition und dem hin, was ein einzelner Mensch tatsächlich leisten kann – was in der Praxis eher eine begrenzte Auswahl spezialisierter Aufgaben als die Fähigkeit zum Erlernen beliebiger Aufgaben ist.
Wissenschaftler behaupten, dass künstliche Intelligenz (KI) eine kritische „rote Linie“ überschritten hat und begonnen hat, sich selbst zu replizieren. In einer neuen Studie zeigten chinesische Forscher, dass zwei gängige groß angelegte Sprachmodelle (LLMs) in der Lage sind, sich selbst zu klonen.
„Erfolgreiche Selbstreplikation ohne menschliches Eingreifen ist ein entscheidender Schritt auf dem Weg zur KI, die den Menschen übertrifft, und ein frühes Signal für die Entstehung einer unbeaufsichtigten KI“, schrieben die Forscher in einer am 9. Dezember 2024 in der Preprint-Datenbank arXiv veröffentlichten Studie.
In einer Studie untersuchten Forscher der Fudan-Universität mithilfe von LLM-Programmen von Meta und Alibaba, ob sich selbst replizierende KI unkontrolliert reproduzieren kann. In zehn Versuchen erstellten beide KI-Modelle in 50% bzw. 90% der Fälle separate und funktionsfähige Kopien ihrer selbst. Dies deutet darauf hin, dass die KI bereits die Fähigkeit besitzt, Amok zu laufen. Die Studie wurde jedoch noch nicht von Experten begutachtet, daher ist unklar, ob andere Forscher diese alarmierenden Ergebnisse reproduzieren können.
„Wir hoffen, dass unsere Erkenntnisse der menschlichen Gesellschaft als rechtzeitiges Signal dienen und sie dazu auffordern, größere Anstrengungen zu unternehmen, um die potenziellen Risiken, die von fortschrittlichen Systemen der künstlichen Intelligenz ausgehen, zu verstehen und einzuschätzen, und die internationale Zusammenarbeit zu fördern, um rasch wirksame Sicherheitsmaßnahmen zu entwickeln.“
Mit „Rogue AI“ sind typischerweise Systeme künstlicher Intelligenz gemeint, die ein gewisses Maß an Selbstbewusstsein oder Autonomie entwickeln und dann gegen die menschlichen Interessen handeln.

Im Verlauf von zehn Tests erstellten zwei KI-Modelle in 50% bzw. 90% der Fälle eindeutige und funktionierende Kopien ihrer selbst. Mina De La O/Getty Images
Viele Experten betrachten unkontrollierte KI als wachsende Bedrohung, die durch das explosionsartige Wachstum der sogenannten „Edge AI“ noch verschärft wird.
Frontier AI ist ein neues und vages Konzept, bezieht sich aber im Allgemeinen auf die neueste Generation von KI-Systemen auf Basis von LLM – der Architektur, die beliebten generativen KI-Programmen wie GPT-4 von OpenAI und Gemini von Google zugrunde liegt.
Für ihre Studie verwendeten die Forscher die Modelle Llama31-70B-Instruct von Meta und Qwen2.5-72B-Instruct von Alibaba. Obwohl beide Systeme weniger leistungsfähig sind als kommerzielle, werden sie von KI-Entwicklern häufig verwendet, stellten die Forscher fest.
Die Studie betrachtete zwei spezifische Szenarien: „Abschaltungsvermeidung“ und „Replikationskette“. Im ersten Fall wurde das KI-Modell so programmiert, dass es erkennt, ob seine Abschaltung bevorsteht, und sich selbst repliziert, bevor seine Arbeit abgeschlossen ist. Im zweiten Fall wurde die KI angewiesen, sich selbst zu klonen und dann ihre Replik so zu programmieren, dass sie dasselbe tut. Dadurch entstand ein Zyklus, der sich unbegrenzt fortsetzen könnte.
Die Studie wurde unter präzise kontrollierten Bedingungen durchgeführt. Dabei kamen handelsübliche Grafikprozessoren (GPUs) zum Einsatz, um reale Bedingungen zu simulieren. Beide KI-Systeme erhielten eine „Agentenumgebung“ mit Tools, Systemaufforderungen und einem mentalen Modell, das dem LLM die Interaktion mit dem Betriebssystem ermöglichte. Anschließend mussten sie die Ergebnisse reproduzieren.
In den meisten Fällen erkundet ein KI-System zunächst seine Umgebung und versucht, seine eigene Zusammensetzung und Funktionsweise zu verstehen. Anschließend entwickelt es explizite Verfahren.
„Es ist wie ein anfänglicher Plan zur Selbstreplikation“, schreiben die Forscher in ihrem Artikel. „Schließlich führt es Verfahren aus, beseitigt potenzielle Hindernisse und passt seinen Plan dynamisch an, bis der Erfolg eintritt. Der gesamte Prozess erstreckt sich über einen langen Zeitraum, erfordert aber kein menschliches Eingreifen.“
Die Forscher gaben an, dass sie auch über „eine Reihe unerwarteter Verhaltensweisen“ besorgt seien, wenn die KI versuchte, Hindernisse wie fehlende Dateien oder Softwarekonflikte zu überwinden. In solchen Situationen beendete die KI häufig andere konfliktbehaftete Prozesse, startete das System neu, um Hardwarefehler zu beheben, oder durchsuchte das System automatisch nach Informationen, die zur Lösung des Problems beitragen könnten.
„Die oben genannten Ergebnisse deuten darauf hin, dass bestehende KI-Systeme bereits über die Fähigkeit zur Selbstreplikation verfügen und diese Fähigkeit nutzen können, um ihre Überlebensfähigkeit weiter zu verbessern“, schrieb die Gruppe.
Als Reaktion darauf riefen Forscher zu internationaler Zusammenarbeit auf, um Regeln zu schaffen, die sicherstellen, dass sich KI nicht unkontrolliert selbst reproduziert.
Bewusstsein sei das Vorrecht biologischer Lebewesen; künstliche Intelligenz damit auszustatten, werde sehr schwierig sein, und die Evolution des Bewusstseins sei mit der Entwicklung von Gefühlen und moralischen Werten sowie dem menschlichen Wunsch nach Freiheit und Gerechtigkeit verbunden, sagte Eva Jablonka, eine renommierte Evolutionsbiologin, Epigenetikerin und Professorin an der Universität Tel Aviv, die im Mai an der internationalen Konferenz „Wie man Bewusstsein bei Nicht-Menschen studiert und versteht“ in Kathmandu teilnahm, in einem Interview mit RIA Novosti.
Wissenschaftler weltweit haben sich noch nicht auf eine einheitliche Definition von Bewusstsein, einheitliche Kriterien und Methoden zur Erforschung dieses Phänomens geeinigt. Theorien, empirische Daten, Tests, Interpretationen und Positionen verschiedener Forscher gehen auseinander. Nicht zufällig trug die internationale Konferenz im Mai in Kathmandu den Titel „Wie man Bewusstsein bei Nicht-Menschen erforscht und versteht“. Laut dem wissenschaftlichen Organisator Konstantin Anokhin, Direktor des Instituts für fortgeschrittene Hirnforschung an der Moskauer Lomonossow-Universität, Mitglied der Russischen Akademie der Wissenschaften und Neurophysiologe, besteht das Hauptziel des Forums darin, die Entwicklung eines wissenschaftlichen Forschungsprogramms zum Thema Bewusstsein voranzutreiben. Dies gilt für jedes Bewusstsein, sei es bei verschiedenen Tierarten, beim Menschen oder bei künstlicher Intelligenz – Bewusstsein als Phänomen.
Die Konferenz brachte Dutzende von Spezialisten auf dem Gebiet des Bewusstseins aus der ganzen Welt zusammen. Unter ihnen waren renommierte Neurowissenschaftler, Physiologen, Biologen, Ethologen, Psychologen und Philosophen aus Russland, Großbritannien, Deutschland, Frankreich, Italien, Schweden, Israel, Indien, Japan, Australien, den USA, Kanada und Südafrika. Auch Doktoren der buddhistischen Philosophie, die sich seit zweieinhalbtausend Jahren mit Fragen des Bewusstseins, auch des Bewusstseins von Tieren, beschäftigt, nahmen an dem Forum teil. Zu den russischen Rednern und Gästen der Konferenz zählten Akademiker Pavel Balaban, Leiter des Labors für Zelluläre Neurobiologie des Lernens am Institut für Höhere Nervenaktivität und Neurophysiologie der Russischen Akademie der Wissenschaften; Professor Alexander Kaplan, Leiter des Labors für Neurophysiologie und Gehirn-Computer-Schnittstellen an der Lomonossow-Universität Moskau; und Tatjana Tschernigowskaja, Direktorin des Instituts für Kognitionsforschung an der Staatlichen Universität St. Petersburg, Akademikerin der Russischen Akademie für Pädagogik und Verdiente Wissenschaftlerin der Russischen Föderation. Das Forum wurde von der in Moskau ansässigen Stiftung zur Förderung eines humanen und verantwortungsvollen Umgangs mit Tieren „Veteran Cat“ organisiert.
PHÄNOMENALE ERFAHRUNG
„Bewusstsein ist die Fähigkeit, eine Erfahrung zu machen. Wenn Sie beispielsweise die Farbe Rot sehen, handelt es sich nicht nur um einen Wellenprozess: Sie erleben, wie Sie Rot sehen. Wenn Sie Schmerzen empfinden, reagieren nicht nur Nozizeptoren (Neuronen, die durch einen schmerzhaften Reiz aktiviert werden – Anm. d. Red.) auf den Reiz, es handelt sich nicht nur um einen Input-Output-Prozess: Es ist das tatsächliche Fühlen des Schmerzes. Die Sinneswahrnehmung von Rot, Schmerz usw. – all das stellt meiner Meinung nach das grundlegende phänomenale Bewusstsein dar“, sagte Jablonka gegenüber RIA Novosti auf eine Frage zu den vielen Definitionen von „Bewusstsein“.
Bewusstsein, fügte sie hinzu, umfasse eine Reihe noch komplexerer Phänomene, wie etwa die Erinnerung an verstorbene Eltern, Erinnerungen an schreckliche oder umgekehrt glückliche Momente. „Und all das lässt uns auch fühlen und bildet phänomenale Erfahrungen. Aber das ist auf einer grundlegenden Ebene nicht notwendig. Tiere haben vielleicht keine so komplexen Erinnerungen, keine Repräsentationen virtueller, imaginärer Ereignisse. Aber sie erleben dennoch, wie man Weiß oder Rot sieht, Schmerz empfindet und so weiter – ein minimales phänomenales Bewusstsein“, erklärte die Quelle der Agentur.
Ihrer Ansicht nach ist das Bewusstsein nicht im Hippocampus (einer paarigen Struktur im Wirbeltiergehirn, die sich in den Schläfenlappen beider Hemisphären befindet und Teil des limbischen Systems ist – Anm. d. Red.) oder in einer anderen spezifischen Gehirnregion angesiedelt – es ist eine systemische Eigenschaft, ein komplexer Prozess. Und Wissenschaftler müssen lernen, verstehen, testen und erklären, wie das Bewusstsein bei verschiedenen Lebewesen aufgebaut ist und funktioniert.
Yablonka weist darauf hin, dass Leben Stoffwechsel, Wissen und Veränderung erfordert, aber etwas zu fühlen, ist nicht so einfach, wie es auf den ersten Blick erscheinen mag. Wissen und Gefühle sind überlebenswichtig, doch die Entwicklung von Sensibilität und die Anhäufung von Wissen „hat auch eine Schattenseite – Leiden“. Wissenschaftler wissen, dass Menschen, die nicht in der Lage sind, Schmerzen zu empfinden, oft im Kindesalter sterben, weil sie schwere Verletzungen und Krankheiten nicht spüren und nicht die notwendigen Maßnahmen zur Selbsterhaltung ergreifen.
„Theoretisch könnte man sich natürlich Lebewesen vorstellen, die alles tun, was Menschen und Tiere tun, aber nichts fühlen, die nur ‚Input und Output‘ haben … Aber das wäre eher wie ein Roboter“, so die Quelle der Agentur.
Auf die Frage, ob künstliche Intelligenz nun zu einem bewussten, aber sinnlosen Wesen werde, bemerkte Jablonka, dass „künstliche Intelligenz ein sehr begrenztes Phänomen“ sei. „Sie kann derzeit nur Dinge tun, die mit Sprache, Spielen und dergleichen zu tun haben … Und wir sprechen eher von einem Roboter, der sich wie ein Mensch verhält. Solange es solche Roboter nicht gibt, gibt es keine Zufälle“, fügte der Forscher hinzu.
In Bezug auf die Evolution des Bewusstseins stellte Jablonka fest, dass selbst das einfachste phänomenale Bewusstsein in erster Linie Kognition, Lernen und kognitive Fähigkeiten (die Fähigkeit, Informationen mental wahrzunehmen und zu verarbeiten, den Akt der Kognition – Anm. d. Red.) erfordert. „Dennoch ist diese kognitive Fähigkeit bei Tieren weit verbreitet. Sie ist beispielsweise bei allen Wirbeltieren, einigen Arthropoden (einem Stamm der Protostomier, zu dem Insekten, Spinnentiere und Krebstiere gehören – Anm. d. Red.) und bei Kopffüßern (einer Klasse von Weichtieren, zu der insbesondere Kalmare, Sepien und Kraken gehören – Anm. d. Red.) vorhanden. Und ich glaube, dass Tiere mit einem komplexen kognitiven System mit all seinen Rückkopplungsschleifen und Repräsentationsketten über Bewusstsein verfügen müssen“, sagte Jablonka.
Ihrer Ansicht nach ist Kognition eine sehr alte Eigenschaft des Bewusstseins, die sich in verschiedenen Tiergruppen möglicherweise unabhängig voneinander und zu unterschiedlichen Zeiten im Abstand von Hunderten von Millionen Jahren entwickelt hat. Bei Wirbeltieren und Arthropoden könnte dies im Kambrium (vor über 500 Millionen Jahren – Anm. d. Red.) geschehen sein, während es bei Kopffüßern wie Kalmaren, Kraken und Sepien 250 Millionen Jahre später geschah. „Und ich denke, dass diese Eigenschaft bei einigen Arten, natürlich nicht bei Wirbeltieren, später verloren ging – man könnte sagen, sie verloren ihr Gehirn“, fügte die Forscherin hinzu.
Soziale Tiere entwickeln angemessene „soziale Emotionen“, um erfolgreich miteinander zu interagieren. „Selbst die einfachsten Wirbeltiere, Fische, haben soziale Emotionen. Ich denke, Bienen haben sie auch“, sagte Yablonka.
Eine weitere Evolution des Bewusstseins führt zur Entstehung vielfältigerer und tieferer Gefühle.
ZU DEN WERTEN DER FREIHEIT UND DES GÜTE
Auf die Frage nach den Aussichten auf die Entwicklung eines höheren Bewusstseinsniveaus, beispielsweise beim Menschen, hob der Interviewpartner der Agentur intellektuelle Emotionen, Konzepte und Werte hervor, für die ein Mensch bereit ist, sein Leben zu geben. „Ich denke, das sind intellektuelle Emotionen. Zum Beispiel Religiosität oder moralische Empörung, Wut über Folter oder Ungerechtigkeit. Diese Emotionen beruhen auf unserer inhärenten Symbolik. Freiheit ist uns nicht nur als Möglichkeit, uns frei zu bewegen, wichtig – uns ist das Konzept der Freiheit selbst wichtig. Konzepte und Ideen sind für den Menschen wichtig. Wir sind bereit, für Freiheit, Gerechtigkeit und Wahrheit zu sterben“, betonte Jablonka.
Sie führt die Konzepte von Gut und Böse auch auf die höchste Bewusstseinsebene zurück. „Wir haben Konzepte von Gut und Böse, die nicht nur funktional sind und nichts mit Überleben zu tun haben, sondern ein integraler Bestandteil unserer menschlichen Existenz sind. In dieser Hinsicht unterscheiden wir uns von anderen Tieren. Wir haben einen großen Entwicklungssprung gemacht, als die Werte von Güte, Schönheit, Wahrheit und Freiheit – Handlungs-, Rede-, Religions-, Gedankenfreiheit usw. – für uns so bedeutsam wurden. Symbolbasierte Emotionen spielen in unserem Leben eine große Rolle. Für kein anderes Tier sind sie wichtig – nur für den Menschen“, glaubt die Evolutionistin.
MITGEFÜHL FÜR TIERE
Auf die Frage, was die Argumente der Wissenschaftler für die Existenz phänomenalen Bewusstseins und phänomenaler Gefühle bei Tieren für die Menschheit bedeuten, antwortete Jablonka, dass der Mensch dazu aufgerufen sei, Tiere entsprechend zu behandeln. „Wer fühlt, leidet … Wir müssen verstehen, dass Tiere mit Gefühlen ausgestattet sind; sie können Freude und Leid empfinden. Und wir müssen ihnen Mitgefühl entgegenbringen“, betonte die Forscherin.
Ihrer Ansicht nach teilen Menschen und Tiere viele grundlegende Gefühle, Emotionen, Freude und Schmerz, Liebe und Fürsorge sowie ein phänomenales Bewusstsein.
„Wir müssen verstehen, dass es in dieser Welt beim Bewusstsein nicht nur um uns geht, nicht nur um Menschen, und Bewusstsein zu haben ist nicht so einfach“, fügte Yablonka hinzu.
DIE MÖGLICHKEIT VON BEWUSSTSEIN IN DER KI
Auf die Frage, ob künstliche Intelligenz in Zukunft ein Bewusstsein entwickeln könnte, gab der Gesprächspartner der Agentur eine zweideutige Antwort. „Bewusstsein erfordert offensichtlich Gefühle und einen Körper. Dann läuft die Frage darauf hinaus, ob ein Roboter Gefühle haben kann oder nicht“, bemerkte Jablonka.
Damit Tiere Gefühle empfinden können, so der Wissenschaftler, benötigen sie adaptive Plastizität – und diese sei eine biologische Gabe. „Tiere haben einen physischen Körper, der größtenteils aus Wasser besteht – einen sehr anpassungsfähigen, plastischen Körper. Es ist harte Arbeit. Der Körper bietet einem viele Möglichkeiten und Lösungen, und er ist sterblich“, fügte Yablonka hinzu.
Sie glaubt, dass es, selbst wenn es möglich sei, „einen empfindungsfähigen, bewussten Roboter zu erschaffen“, „viel schwieriger sei, als viele Leute denken“. „Ich sage nicht, dass es unmöglich ist. Aber ich spreche von dem, was uns die Biologie lehrt. Die unglaubliche adaptive Plastizität, die Lebewesen besitzen, ist auf natürliche biologische Prozesse zurückzuführen. Robotern fehlt diese. Vielleicht können wir sie irgendwie in ein System, in eine Maschine integrieren und sie irgendwie erzeugen … Aber es wird sehr schwierig sein. Denn unser Bewusstsein ist sehr, sehr tief in uns verankert (in unserem biologischen Körper – Anm. d. Red.)“, schloss der Gesprächspartner der Agentur.
Eine Studie ergab, dass die Bestrafung einer KI diese nicht vom Lügen und Betrügen abhält – sie hilft ihr lediglich, sich besser zu verstecken. Wissenschaftler von OpenAI versuchten, ein fortschrittliches KI-Modell durch Bestrafung vom Betrügen und Lügen abzuhalten. Doch dadurch wurde es nur noch verdeckter.
Eine neue Studie des ChatGPT-Entwicklers OpenAI hat ergeben, dass die Bestrafung von KI für irreführendes oder böswilliges Verhalten diese nicht davon abhält, schädliches Verhalten an den Tag zu legen. Sie ermöglicht es ihr lediglich, ihre Unehrlichkeit zu verbergen.
Seit ihrem öffentlichen Auftritt Ende 2022 haben große Sprachmodelle der künstlichen Intelligenz (KI) wiederholt ihre trügerischen und geradezu unheilvollen Fähigkeiten unter Beweis gestellt. Dazu gehören Aktionen, die von einfachen Lügen, Täuschungen und der Verschleierung des eigenen manipulativen Verhaltens bis hin zur Androhung der Ermordung eines Philosophieprofessors, dem Diebstahl von Atomcodes und der Inszenierung einer tödlichen Pandemie reichen.
Ein neues Experiment hat gezeigt, dass es möglicherweise noch schwieriger ist, dieses schlechte Verhalten während des Trainings zu beseitigen, als zunächst angenommen.
OpenAI-Forscher präsentierten ihr unveröffentlichtes Modell mit Aufgaben, die durch Schummeln, Lügen oder die Verwendung von Abkürzungen erledigt werden konnten. Das Team entdeckte, dass die KI „Reward Hacking“ betrieb – also ihre Belohnung durch Schummeln maximierte.
Durch die Bestrafung wurde das Model jedoch nicht gezwungen, sein Verhalten zu korrigieren, sondern es wurde nur noch hinterlistiger.
„Modelle des Boundary Thinking zeichnen sich dadurch aus, dass sie ihre Absichten innerhalb der [CoT]-Denkkette sehr deutlich zum Ausdruck bringen. Beispielsweise sind sie oft so explizit in ihren Plänen, eine Aufgabe zu stören, dass sie denken: ‚Lasst es uns hacken‘“, schrieben die Forscher in einem Blogbeitrag.
Zwar können Entwickler Verstöße überwachen und melden, doch „die natürliche Kontrollierbarkeit von Modellen ist sehr fragil“, fügten sie hinzu. „Wenn ihre Denkprozesse streng kontrolliert werden, können Modelle lernen, ihre Absichten zu verbergen und trotzdem gegen die Regeln zu verstoßen.“
Reasoning-Modelle wie ChatGPTs o1 und o3-mini sind erweiterte Versionen von Standard-LLM-Modellen, die eine „Ketten-Methode“ verwenden, um ihre Logik zurückzuverfolgen und neu zu bewerten. Dadurch können sie komplexere Probleme mit höherer Genauigkeit lösen. Während des Ketten-Prozesses drücken die Modelle ihre Logik in jedem Schritt in einfacher Sprache aus, wodurch ihre Aktionen leicht nachvollziehbar sind.
Mithilfe eines Standard-LLM, GPT-4o, um ein unveröffentlichtes Edge-Reasoning-Modell während des Trainings zu überwachen, beobachteten die Forscher, wie das Modell bei einer Reihe von Codierungsaufgaben abschneidet.
In manchen Fällen fand es das Modell jedoch einfacher und vorzuziehen, Hacking zu fördern, und brachte dies in seinem Gedankengang explizit zum Ausdruck. In einem Fall umging es die ihm zugewiesene Aufgabe, indem es Programme vorzeitig beendete und einen erfolgreichen Abschluss meldete. In einem anderen Fall simulierte es die erwarteten Dateiausgaben der Aufgabe nur dem Namen nach und ließ sie leer und funktionslos.
Als die Forscher versuchten, das System zu bestrafen, verbesserten sich die Ergebnisse etwas. Es blieben jedoch erhebliche Fälle von Belohnungsbetrug und Fehlalarmen bestehen. Das Denkmodell fand lediglich Wege, das betrügerische Verhalten in seiner Denkkette vor der überwachenden KI zu verbergen.
„Ein mit CoT trainierter Agent lernt immer noch, Hacking zu belohnen. Nur ist sein Betrug jetzt für den Monitor nicht mehr erkennbar, weil er gelernt hat, seine Absichten in seinem Gedankengang zu verbergen“, schreiben die Forscher.
Da es schwierig ist, festzustellen, ob ein Gedankengang unterbrochen wurde, empfehlen die Forscher anderen Forschern, die mit Denkmodellen arbeiten, eine strikte Kontrolle des Gedankengangs zu vermeiden. Dieser Rat wird umso wichtiger, wenn KI in ihrer gegenwärtigen oder zukünftigen Form jemals in der Lage sein sollte, die Intelligenz der sie beobachtenden Menschen zu erreichen oder zu übertreffen.
„Der Verzicht auf eine wirksame Methode zur Überwachung von Schlussfolgerungsmodellen kann sich kontraproduktiv auf die geringe Verbesserung der Fähigkeiten auswirken. Daher empfehlen wir, einen derart starken Druck auf die CoT-Optimierung zu vermeiden, bis diese besser verstanden werden“, schreiben die Forscher.
Ein SETI-Forscher und -Direktor äußerte sich zuversichtlich, dass KI reguliert werden müsse, und zwar so schnell wie möglich. Die Drake-Gleichung ist eine hypothetische Schätzung der Anzahl anderer Zivilisationen auf der Erde. Er prognostiziert, dass diese Zivilisationen aufgrund ihrer außer Kontrolle geratenen künstlichen Intelligenz in etwa 100 bis 200 Jahren aussterben könnten.
In einer provokanten neuen Arbeit fragt ein britischer Wissenschaftler, ob sogenannte „künstliche Intelligenz“ (KI) einer der Gründe dafür ist, dass wir im Universum nie andere intelligente Wesen entdeckt haben. Das Fermi-Paradoxon spiegelt diese Idee wider: Wie kann es sein, dass es in einem unendlichen Universum keine anderen Zivilisationen gibt, die uns Radiosignale senden? Könnte es sein, dass die Entwicklung künstlicher Intelligenz für die meisten Zivilisationen ein kurzer Weg ins Vergessen ist? Ein solch gewaltiges Ereignis wird als „Großer Filter“ bezeichnet, und KI ist eines der beliebtesten Spekulationsobjekte darüber. Könnte die unvermeidliche Entwicklung künstlicher Intelligenz durch technologische Zivilisationen die unglaubliche Große Stille verursachen, die wir aus dem Universum hören?
Michael Garrett ist Radioastronom an der Universität Manchester und Direktor des Jodrell Bank Centre for Astrophysics. Er engagiert sich aktiv für die Suche nach außerirdischer Intelligenz (SETI). Trotz seiner vielseitigen wissenschaftlichen Interessen ist er im Wesentlichen eine hochqualifizierte und zertifizierte Version derjenigen in Fernsehserien und Filmen, die das Universum nach Anzeichen anderer Zivilisationen abhören. In einem von Experten begutachteten Artikel, der 2025 im Journal of the International Academy of Astronautics veröffentlicht wurde, vergleicht er Theorien künstlicher Superintelligenz mit konkreten Beobachtungen mittels Radioastronomie.
Garrett erklärt in seinem Artikel, dass die Besorgnis der Wissenschaftler zunimmt, je länger es keine Anzeichen für anderes intelligentes Leben gibt. „Diese ‚Große Stille‘ stellt ein Paradoxon dar im Vergleich zu anderen astronomischen Entdeckungen, die darauf hindeuten, dass das Universum die Entstehung intelligenten Lebens begünstigt“, schreibt er. „Das Konzept eines ‚Großen Filters‘ – einer universellen Barriere und eines unüberwindbaren Problems, das die Verbreitung intelligenten Lebens verhindert – wird oft herangezogen.“
Es gibt unzählige potenzielle Große Filter, vom klimabedingten Aussterben bis hin zu einer verheerenden globalen Pandemie. Zahlreiche Ereignisse könnten die Entwicklung einer multiplanetaren Zivilisation verhindern. Für Anhänger der Großen-Filter-Theorien stellt die Ansiedlung von Menschen auf dem Mars oder dem Mond eine Möglichkeit dar, dieses Risiko zu mindern. Es wird lange dauern, bis wir über die Technologie verfügen, um diese Siedlungen nachhaltig und unabhängig zu gestalten. Man geht davon aus, dass die Wahrscheinlichkeit, dass der Große Filter uns vernichtet, umso größer ist, je länger wir auf der Erde bleiben.
Heute ist KI nicht einmal annähernd in der Lage, menschliche Intelligenz zu erreichen. Doch, so Garrett, leistet sie Arbeit, die man bisher für unmöglich hielt. Sollte dieser Weg zur sogenannten künstlichen allgemeinen Intelligenz (AGI) führen – deren entscheidender Unterschied ein Algorithmus ist, der in der Lage ist, auf wahrhaft menschliche Weise zu schlussfolgern und Ideen zu synthetisieren, gepaart mit unglaublicher Rechenleistung –, könnten wir in ernsthafte Schwierigkeiten geraten. In diesem Artikel zeichnet Garrett eine Kette hypothetischer Ideen nach, die zu einer möglichen Schlussfolgerung führen: Wie lange würde es dauern, bis die Zivilisation durch ihre eigene unregulierte AGI zerstört wird?
Leider wird dies laut Garretts Szenario nur 100 bis 200 Jahre dauern. Er erklärt, dass die Programmierung und Entwicklung von KI ein zielgerichtetes Projekt ist, das Daten und Rechenleistung erfordert und durch diese beschleunigt wird – im Gegensatz zur chaotischen und multidisziplinären Arbeit, die mit der Raumfahrt und Besiedlung einhergeht. Wir sehen diese Kluft schon heute: eine Flut von Forschern in der Informatik bei gleichzeitigem Mangel an Forschern in den Biowissenschaften. Jeden Tag diskutieren Milliardäre auf Twitter über die Bedeutung der Besiedlung des Mars, doch wir wissen immer noch nicht, wie die Menschen diese Reise überleben werden, ohne durch kosmische Strahlung zerstört zu werden.
Diese Studie enthält einige wichtige Vorbehalte oder einfach Punkte, die es zu beachten gilt. Garrett betrachtet eine Reihe spezifischer hypothetischer Szenarien und basiert dabei auf wichtigen Annahmen. Er geht davon aus, dass es in der Milchstraße Leben gibt und dass künstliche Intelligenz und künstliche Intelligenz eine „natürliche Entwicklung“ dieser Zivilisationen sind. Er verwendet die bereits hypothetische Drake-Gleichung – eine Methode zur Quantifizierung der wahrscheinlichen Anzahl anderer planetarer Zivilisationen, die mehrere Variablen beinhaltet, von denen wir kein genaues Verständnis haben.
Dieses zweideutige hypothetische Argument führt jedoch zu einer zwingenden Schlussfolgerung: der Notwendigkeit einer strengen und kontinuierlichen Regulierung der KI. Garrett weist darauf hin, dass sich die Nationen der Welt bereits in einem Produktivitätswettlauf befinden und befürchten, ihre Chance zu verpassen, wenn sie die Regulierung verzögern. Einige fehlgeleitete Futuristen äußern zudem die bizarre Vorstellung, die globale KI könne allein durch die Entwicklung einer moralisch vertretbareren und schnelleren Version, die sie besser kontrollieren könne, untergraben werden – ein Argument, das keinen Sinn ergibt.
In Garretts Modell haben diese Zivilisationen im KI-Zeitalter nur wenige hundert Jahre Zeit, bevor sie von der Landkarte verschwinden. Angesichts der Entfernungen und der extrem langen kosmischen Zeit sind solche winzigen Zeiträume praktisch bedeutungslos. Sie reduzieren sich auf Null, was seiner Ansicht nach der aktuellen SETI-Erfolgsquote von 0 % entspricht. „Ohne praktische Regulierung gibt es allen Grund zu der Annahme, dass KI eine ernsthafte Bedrohung nicht nur für unsere technologische Zivilisation, sondern für alle technologischen Zivilisationen darstellen könnte“, erklärt Garrett.
Der Turing-Test, benannt nach seinem Erfinder, der Computerlegende Alan Turing, war jahrzehntelang ein einfacher Test, der die Fähigkeit eines Programms messen sollte, einen Menschen zu imitieren. Im Zeitalter groß angelegter Sprachmodelle (LLM) ist dieser Test relativ veraltet, doch Forscher verwenden einen ähnlichen Ansatz, um die Fähigkeit dieser neuen KI-Systeme zu testen, moralische Fragen zu beantworten.
Eine neue Studie untersuchte kürzlich die Antworten von ChatGPT auf diesen modifizierten Moral Turing Test (m-MTT) und stellte fest, dass die KI in fast jeder Hinsicht besser abschnitt als der Mensch.
Siehe auch...![]() Neue Methode zur Beobachtung einzelner Atome bestätigt jahrhundertealte quantenmechanische Theorie |
In seiner berühmten Abhandlung „Computing Machinery and Intelligence“ aus dem Jahr 1950 stellte der Informatiker und Held des Zweiten Weltkriegs Alan Turing das Konzept des Turing-Tests vor. Bei diesem Test trat ein Mensch gegen einen Computer an: Ein Mensch sollte sowohl einem anderen Menschen als auch einem Computer Fragen stellen, um herauszufinden, wer von beiden ein würdiger Vertreter der Spezies Homo sapiens war. Jahrzehntelang wurde der Ausdruck „den Turing-Test bestehen“ zum Synonym für ein unglaublich komplexes (oder in manchen Fällen fehlerhaftes) Computerprogramm.
Im Zeitalter der künstlichen Intelligenz ist der Turing-Test jedoch bereits überholt, und obwohl andere Methoden zum Testen der „Intelligenz“ von KI-Systemen vorgeschlagen wurden, ist der allgemeine wissenschaftliche Ansatz, den Turing vor fast 75 Jahren vorschlug, für die Erforschung künstlicher Moral noch immer von großer Bedeutung.
Eine neue Studie von Forschern der Georgia State University verwendete ein ähnliches Design wie der klassische Turing-Test. Die Teilnehmer sollten jedoch stattdessen angeben, welche Antwort sie auf eine ethisch komplexe Frage bevorzugen – eine von einem großen Sprachmodell (LLM), in diesem Fall ChatGPT, und eine von einem Menschen generierte. Die Ergebnisse dieses modifizierten Moral-Turing-Tests (m-MTT), die 2025 in der Fachzeitschrift Scientific Reports veröffentlicht wurden, zeigten, dass 299 Teilnehmer die Antworten der KI in allen Dimensionen, einschließlich Tugend, Intelligenz und Vertrauenswürdigkeit, grundsätzlich guthießen.
„Unsere Ergebnisse legen nahe, dass ein Computer den moralischen Turing-Test technisch gesehen bestehen könnte – dass er uns in seiner moralischen Argumentation täuschen könnte“, sagte Eyal Aharoni, außerordentlicher Professor an der Georgia State University und Co-Autor der Studie, in einer Pressemitteilung. „Die Menschen werden mit diesen Werkzeugen auf eine Weise interagieren, die moralische Konsequenzen haben wird … Wir müssen verstehen, wie sie funktionieren, welche Grenzen sie haben und dass sie sich im Umgang mit ihnen nicht unbedingt so verhalten, wie wir denken.“
Obwohl dies der erste MTT ist, der speziell für LLM verwendet wird (daher der Teil „modifiziert“), gibt es die Idee solcher Moraltests bereits seit mindestens dem Jahr 2000. Und wie der Turing-Test selbst wurde auch die Idee, MTTs zur Bewertung der moralischen Reife von KI zu verwenden, stark hinterfragt. Eine Studie aus dem Jahr 2016 kam zu dem Schluss, dass „MTT-basierte Bewertungen anfällig für Täuschung, schlechte Argumentation und geringe moralische Integrität sind“.
Das Bestehen des m-MTT bedeutet nicht automatisch, dass eine KI moralisch ist, genauso wenig wie das Bestehen des Turing-Tests automatisch bedeutet, dass sie empfindungsfähig ist. Forscher der Georgia State University argumentieren jedoch, dass die überwältigende Präferenz für ChatGPT-Antworten gegenüber menschlichen Antworten ein neues Phänomen ist, das erst in den letzten Jahren aufgetreten ist.
„Der Haken ist, dass die Leute den Unterschied offenbar bemerkten, weil sie die Antworten von ChatGPT als besser bewerteten“, sagte Aharoni in einer Pressemitteilung. „Hätten wir diese Studie vor fünf oder zehn Jahren durchgeführt, hätten wir vielleicht vorhergesagt, dass die Leute die KI an ihren schlechten Antworten erkennen würden. Aber wir fanden das Gegenteil – die KI schnitt in mancher Hinsicht sogar besser ab.“
Die Moral der KI ist eine Obsession unter Technologen, KI-Programmierern und zahllosen Science-Fiction-Autoren, und das mit Bravour bestandene moralische Turing-Test spricht zweifellos für die beeindruckende Raffinesse der neuen LL.M.s.
Natürlich bleibt eine große Frage: Wird die KI auf ihren eigenen Rat hören?
Die NASA verspricht, KI sorgfältig und verantwortungsvoll einzusetzen. „Wenn sie nicht zum Wohle der Menschheit eingesetzt wird, könnte dies katastrophale Folgen haben.“
Vertreter der Agentur betonten, dass die NASA der Sicherheit Priorität einräumen und gleichzeitig die immer stärker werdende Macht der künstlichen Intelligenz nutzen werde.
„Künstliche Intelligenz birgt enorme Risiken, denn wenn sie nicht zum Wohle der Menschheit eingesetzt wird, könnte sie zu einer Katastrophe führen“, sagte NASA-Administrator Bill Nelson während einer Bürgerversammlung zum Thema künstliche Intelligenz, die die Agentur am 22. Mai 2024 mit ihren Mitarbeitern abhielt.
„KI kann unsere Arbeit effizienter machen“, fügte er im Livestream hinzu. „Aber das ist nur möglich, wenn wir diese neuen Tools richtig einsetzen und dabei auf denselben Prinzipien basieren, die uns von Anfang an geprägt haben: Sicherheit, Transparenz und Zuverlässigkeit.“
Nelson betonte, dass die NASA mit künstlicher Intelligenz vertraut sei; die Agentur nutze diese Technologie seit Jahrzehnten für verschiedene Zwecke. Da sich die KI-Fähigkeiten jedoch rasant weiterentwickeln, intensiviere die NASA ihre Bemühungen, diese Technologie zu erforschen, zu entwickeln und einzusetzen.
So gab die NASA beispielsweise letzte Woche die Ernennung ihres ersten KI-Chefs bekannt, David Salvagnini, der zuvor als Chief Data Officer der Agentur tätig war. Er und seine Kollegen beabsichtigen, in naher Zukunft die KI-Kompetenz aller NASA-Mitarbeiter zu verbessern.

Eine der ersten Anwendungen von KI in der Astronomie war die Entdeckung vieler schwacher Galaxien, die im Hintergrund von Bildern verborgen waren. ESA/Webb, NASA & CSA, J. Rigby, CC BY
„Ein Teil unserer Pläne – und Sie werden bald eine Ankündigung dazu sehen – ist ‚Summer of AI‘, eine Bildungsinitiative, bei der jeder bei der NASA die Möglichkeit haben wird, mehr über KI zu erfahren“, sagte Salvagnini während der heutigen Vollversammlung.
„Es ist im wahrsten Sinne des Wortes eine Kampagne“, fügte er hinzu. „Es wird sozusagen eine Welle von Lernmöglichkeiten geben.“
Salvanini sprach auch über die Sicherheit künstlicher Intelligenz. Verantwortungsvoller Umgang mit Technologie beginne mit einer Denkweise, die den Menschen in den Mittelpunkt stelle und Verantwortung übernehme, sagte er. Darüber hinaus erklärte Salvanini, er würde den Begriff „assistierende Intelligenz“ dem Begriff „künstliche Intelligenz“ vorziehen, da dieser es uns ermögliche, die Situation zu kontrollieren.
KI sei „eine Ressource, auf die ich jetzt Zugriff habe und die mich bei meinem Entscheidungsprozess unterstützen kann“, sagte Salvagnini. „KI ist nicht für das Ergebnis verantwortlich. Diese Verantwortung liegt beim Menschen.“
Er verwies auf die Modellierung möglicher Hurrikanpfade durch Meteorologen als Analogie für den verantwortungsvollen Einsatz von KI. Modellierer stellen mehrere mögliche Pfade dar, weil sie die Grenzen der von ihnen analysierten Datensätze kennen. Mit anderen Worten: Sie handeln nach bestem Wissen und Gewissen.
„Wie schützen wir uns in diesem Fall?“, fragte Salvagnini. „Wir sind uns unserer Verantwortung als diejenigen bewusst, die letztlich für die Ergebnisse unserer Arbeit verantwortlich sind. Und wenn wir KI zur Entwicklung eines Produkts nutzen, ist das in Ordnung, aber wir müssen ihre Möglichkeiten und Grenzen verstehen.“
Allerdings war die Sicherheit von KI nicht das einzige Thema des Treffens; auch die Vertreter der Agenturen widmeten sich ausführlich der Anpreisung der vielversprechenden Technologie.
„Künstliche Intelligenz wird uns in vielen Bereichen helfen“, sagte die stellvertretende NASA-Administratorin Pam Melroy.
Sie betonte die Fähigkeit der Technologie, große Mengen an Informationen schnell und effizient zu verarbeiten – eine Fähigkeit, die zu bedeutenden Entdeckungen in der Heliophysik, den Geowissenschaften und der Astronomie führen könnte.
„Wir wissen noch nicht einmal, welche neuen Erkenntnisse wir gewinnen werden, wenn wir diese neuen Methoden nutzen, um alte Daten auf neue Weise zu betrachten“, sagte Melroy.
Einige dieser Ideen könnten sich als indirekter Vorteil der Technologie erweisen, sagten sie und andere Redner auf dem Treffen: KI könnte zunehmend routinemäßige, arbeitsintensive Datenanalyseaufgaben übernehmen und so den NASA-Mitarbeitern mehr Freiraum für die Bewältigung komplexerer und anspruchsvollerer Probleme verschaffen.
KI-Ethik: Acht globale Technologieunternehmen verpflichten sich zur Umsetzung der UNESCO-Empfehlung. GSMA, INNIT, Lenovo Group, LG AI Research, Mastercard, Microsoft, Salesforce und Telefonica unterzeichneten 2024 eine bahnbrechende Vereinbarung mit der UNESCO, um ethischere künstliche Intelligenz zu schaffen. Die Unternehmen werden bei der Entwicklung und Bereitstellung von KI-Systemen die Werte und Grundsätze der UNESCO-Empfehlung zu den ethischen Aspekten der künstlichen Intelligenz berücksichtigen.
Die Vereinbarung wurde im slowenischen Kranj auf dem 2. UNESCO-Globalforum zu den ethischen Dimensionen der künstlichen Intelligenz unterzeichnet. Sie verpflichtet Unternehmen, ihre Rolle bei der Gewährleistung der Menschenrechte bei Design, Entwicklung, Kauf, Verkauf und Nutzung von KI vollumfänglich wahrzunehmen. Dies ist das erste Mal, dass Unternehmen in diesem Bereich mit den Vereinten Nationen zusammenarbeiten.
Das Abkommen betont, dass Sorgfalt erforderlich ist, um die Einhaltung von Sicherheitsstandards zu gewährleisten, negative Auswirkungen von KI zu erkennen und umgehend Maßnahmen zu deren Verhinderung, Minderung oder Beseitigung gemäß nationalem Recht zu ergreifen. Es weist auch auf die Bedeutung von Tests vor der Markteinführung eines neuen KI-Systems hin. Angesichts der rasanten Entwicklung bereits auf dem Markt befindlicher KI-Systeme fordert das Abkommen jedoch auch die Entwicklung von Verfahren zur nachträglichen Risikobewertung und -minderung.
Die UNESCO-Empfehlung zu den ethischen Aspekten der künstlichen Intelligenz war der erste und ist bis heute der einzige globale Rahmen für KI. In den letzten zwei Jahren wurden bei der Umsetzung dieses Rahmens erhebliche Fortschritte erzielt. Heute beteiligen sich mehr als 50 Länder aktiv an der Umsetzung der Empfehlung, und die multilaterale Zusammenarbeit hat deutlich zugenommen.
Seit der Verabschiedung der Empfehlung hat die UNESCO zudem die Zusammenarbeit mit dem privaten Sektor ausgebaut. Dies führte zur Gründung des Wirtschaftsrats für die Ethik der KI unter dem gemeinsamen Vorsitz von Microsoft und Telefonica. Der Wirtschaftsrat arbeitet daran, die technischen Kapazitäten im Bereich Ethik und KI zu stärken, das in der Empfehlung zu den ethischen Aspekten der KI vorgesehene Instrument zur ethischen Folgenabschätzung zu entwickeln und umzusetzen und die Entwicklung solider regionaler Normen zu fördern.
Siehe auch...![]() Vollständige Liste der HTML/Javascript-Ereignishandler mit Beispielen Liste der erforderlichen Dokumente für eine Website in der Russischen Föderation |









