Die Debatte über die Risiken besonders leistungsfähiger Künstlicher Intelligenz hat neuen Auftrieb bekommen. Mitarbeiter des US-Unternehmens Anthropic haben ihre Stellen unter Verweis auf Sicherheitsbedenken aufgegeben. Zugleich fordert Anthropic-Chef Dario Amodei, die Entwicklung leistungsfähiger KI-Systeme so zu verlangsamen, dass Sicherheitsforschung und Kontrollen Schritt halten können. Einen neuen wissenschaftlichen Aufruf vom 19. September 2026 gibt es dagegen nicht. Auch die derzeit häufig zitierte internationale Erklärung gegen die Entwicklung unkontrollierter Superintelligenz ist bereits älter.
Im Mittelpunkt stehen die Risiken künstlicher Superintelligenz, also möglicher Systeme, deren Fähigkeiten die von Menschen in nahezu allen wichtigen kognitiven Bereichen deutlich übertreffen. Solche Systeme existieren bislang nicht. Umstritten ist sowohl, ob und wann sie technisch möglich werden könnten, als auch, wie groß daraus entstehende Gefahren tatsächlich wären.
Für den aktuellen Anlass sorgten zunächst Mitarbeiter des KI-Unternehmens Anthropic. Der frühere OpenAI- und Anthropic-Forscher Jacob Coxon erklärte seinen Rücktritt und warnte öffentlich davor, dass führende Unternehmen auf selbstverbessernde KI-Systeme zusteuerten, ohne aus seiner Sicht ausreichende Sicherheitsvorkehrungen zu besitzen. Kurz darauf verließ auch der Sicherheitsforscher Joe Benton Anthropic. Bei ihren Einschätzungen handelt es sich um persönliche Risikobewertungen, nicht um wissenschaftlich gesicherte Prognosen.
Anthropic-Chef Dario Amodei legte daraufhin einen umfangreicheren Vorschlag für einen kontrollierteren Entwicklungsprozess vor. Er fordert unter anderem externe Prüfer, die dauerhaft Zugang zu Sicherheitsverfahren führender KI-Unternehmen erhalten. Außerdem sollen Unternehmen und Regierungen gemeinsame Prüfstandards entwickeln. Für besonders leistungsfähige Systeme hält Amodei auch eine langsamere Weiterentwicklung oder zeitweise Begrenzungen für denkbar, wenn Sicherheitsmaßnahmen nicht mithalten.
OpenAI-Chef Sam Altman unterstützte den Grundgedanken eines langsameren Entwicklungstempos und kündigte ebenfalls externe Evaluatoren an. Eine allgemein verbindliche Vereinbarung der großen KI-Anbieter gibt es bislang jedoch nicht.
Parallel wird erneut eine Erklärung des Future of Life Institute verbreitet. Der sogenannte Statement on Superintelligence wurde ursprünglich im September 2025 veröffentlicht und im März 2026 mit einer größeren Kampagne erneut vorgestellt. Die zentrale Forderung lautet, die Entwicklung von Superintelligenz so lange nicht voranzutreiben, bis ein breiter wissenschaftlicher Konsens über ihre sichere Kontrollierbarkeit besteht und eine breite gesellschaftliche Zustimmung vorhanden ist.
Zu den öffentlich genannten Unterstützern gehören die KI-Forscher Yoshua Bengio, Geoffrey Hinton und Stuart Russell, Apple-Mitgründer Steve Wozniak, Unternehmer Richard Branson, der Ökonom und Nobelpreisträger Daron Acemoğlu sowie weitere Wissenschaftler, frühere Regierungsvertreter und Personen des öffentlichen Lebens. Auf der Website der Initiative waren am 19. September mehr als 74.000 Unterschriften ausgewiesen, darunter nach Angaben der Organisatoren 5.000 aus einer verbundenen Petition.
Der Aufruf ist eine politische und gesellschaftliche Initiative, keine wissenschaftliche Studie. Seine Forderung nach einem Entwicklungsverbot geht zudem weiter als der aktuelle Vorschlag Amodeis, der keine vollständige Einstellung der KI-Forschung verlangt.
Eine breitere wissenschaftliche Grundlage liefert der International AI Safety Report 2026. Der im Februar veröffentlichte Bericht wurde unter Leitung des Turing-Preisträgers Yoshua Bengio von mehr als 100 Fachleuten erarbeitet. Beteiligt waren Experten aus mehr als 30 Staaten und internationalen Organisationen.
Der Bericht unterscheidet zwischen bereits beobachtbaren Problemen und möglichen künftigen Kontrollverlusten. Aktuelle KI-Systeme verfügten demnach nicht über die Fähigkeiten, die für einen vollständigen Verlust menschlicher Kontrolle notwendig wären. Gleichzeitig seien Fortschritte bei autonomem Handeln, Planung und dem Umgehen bestimmter Tests zu beobachten. Die Wahrscheinlichkeit, Art und zeitliche Nähe eines tatsächlichen Kontrollverlusts bezeichnet der Bericht als ungewöhnlich schwer einzuschätzen.
Diskutiert werden daneben Risiken durch menschlichen Missbrauch. Dazu gehören Cyberangriffe sowie die Möglichkeit, dass leistungsfähige Modelle Kenntnisse zugänglicher machen könnten, die für gefährliche biologische oder chemische Anwendungen missbraucht werden. Der Bericht weist zugleich darauf hin, dass bestehende Schutzmechanismen verbessert wurden, ihre Wirksamkeit gegenüber immer leistungsfähigeren Systemen aber nicht zuverlässig vorhergesagt werden kann.
Unter Fachleuten gibt es keinen Konsens darüber, wie wahrscheinlich extreme Szenarien sind. Der International AI Safety Report hält ausdrücklich fest, dass Experten die Wahrscheinlichkeit und mögliche Schwere eines Kontrollverlusts unterschiedlich beurteilen. Einige halten katastrophale Folgen grundsätzlich für möglich, andere bezweifeln, dass KI-Systeme die dafür erforderlichen Fähigkeiten entwickeln werden oder bestehende Kontrollmechanismen überwinden könnten.
Deutsche Fachleute äußerten gegenüber dem Science Media Center ebenfalls unterschiedliche Einschätzungen. Mehrere unterstützen unabhängige Prüfungen besonders leistungsfähiger Modelle. Zugleich warnen Forscher davor, Prozentangaben für eine mögliche Auslöschung der Menschheit als belastbare wissenschaftliche Prognosen zu behandeln. Für solche präzisen Wahrscheinlichkeiten fehle eine ausreichende Datenbasis. Andere Experten kritisieren, dass Unternehmen zugleich vor Risiken ihrer eigenen Technologien warnen und erheblich in deren Weiterentwicklung investieren.
Damit stehen sich nicht schlicht Befürworter und Gegner von KI gegenüber. Der Streit betrifft vor allem die Frage, welche Risiken bereits nachweisbar sind, wie mit Unsicherheit über künftige Systeme umgegangen werden sollte und welche Kontrollen verhältnismäßig sind.
In der Europäischen Union existiert mit dem AI Act inzwischen ein verbindlicher Rechtsrahmen. Seit dem 2. August 2026 kann die EU-Kommission zentrale Vorgaben für Anbieter sogenannter General-Purpose-AI-Modelle durchsetzen. Für Modelle mit systemischem Risiko gelten zusätzliche Pflichten. Dazu gehören Risikoanalysen, Sicherheitsmaßnahmen, Meldungen schwerwiegender Vorfälle und Vorgaben zur Cybersicherheit.
Der AI Act verbietet Superintelligenz nicht grundsätzlich. Er sieht jedoch besondere Anforderungen für besonders leistungsfähige Modelle vor. Als ein Kriterium für die Einstufung eines Modells als systemisches Risiko dient der Rechenaufwand beim Training. Außerdem kann die EU-Kommission weitere Modelle anhand ihrer Fähigkeiten und möglichen Auswirkungen erfassen.
International gibt es bislang kein vergleichbares weltweites Regelwerk. Die Vereinten Nationen haben 2026 erstmals einen Global Dialogue on AI Governance abgehalten. Zudem arbeitet ein unabhängiges wissenschaftliches UN-Panel an regelmäßigen Bewertungen der Chancen und Risiken von KI. Rechtlich verbindliche weltweite Vorgaben für die Entwicklung einer möglichen Superintelligenz bestehen daraus bislang nicht.
Die jüngsten Warnungen markieren deshalb vor allem eine neue Phase einer seit Jahren laufenden Debatte. Dass heutige KI-Systeme bereits eine unkontrollierbare Superintelligenz darstellen, ist durch den wissenschaftlichen Forschungsstand nicht belegt. Dass leistungsfähigere Systeme neue Missbrauchs-, Sicherheits- und Kontrollrisiken schaffen können, wird dagegen inzwischen auch in internationalen wissenschaftlichen Berichten und europäischen Vorschriften ausdrücklich berücksichtigt.
Texte werden mit Unterstützung von KI-Tools erstellt und vor Veröffentlichung redaktionell geprüft. Mehr dazu