Kalifornien verschärft die Debatte über die Kontrolle besonders leistungsfähiger Systeme der Künstlichen Intelligenz. Gouverneur Gavin Newsom hat die zuständigen Behörden angewiesen, konkrete Vorschläge für einen möglichen verpflichtenden Notabschalter für sogenannte Frontier-Modelle auszuarbeiten. Ein KI-Notabschalter in Kalifornien ist damit noch kein geltendes Recht. Die Regierung des US-Bundesstaates prüft vielmehr, ob und wie Entwickler künftig eine technisch überprüfbare Möglichkeit schaffen müssten, besonders leistungsfähige Modelle im Ernstfall außer Betrieb zu setzen.
Der Erlass vom 18. September verpflichtet die Government Operations Agency, gemeinsam mit dem kalifornischen Katastrophenschutz und externen Fachleuten bis zum 16. November 2026 Empfehlungen vorzulegen. Dabei sollen ausdrücklich die technische Machbarkeit und die mögliche Wirksamkeit zusätzlicher gesetzlicher Vorgaben untersucht werden. Neben einem Notabschalter geht es um unabhängige Prüfer direkt in KI-Laboren, die Kontrolle von Sicherheitskonzepten und eine breitere Definition meldepflichtiger Sicherheitsvorfälle.
Die neue Initiative geht weiter als die bislang geltenden Vorschriften, führt die Pflicht zum Notabschalter aber nicht unmittelbar ein. Erst auf Grundlage der Empfehlungen könnten bestehende Gesetze geändert oder neue gesetzliche Vorgaben beschlossen werden. Der Erlass selbst verlangt noch nicht, dass ein Unternehmen ein bestimmtes Modell abschaltbar macht.
Nach den Vorstellungen der Regierung soll geprüft werden, ob große Entwickler von Frontier-KI künftig einen Mechanismus einbauen müssen, mit dem der Betrieb eines Modells in einer kritischen Situation beendet werden kann. Zusätzlich soll eine unabhängige Prüforganisation regelmäßig kontrollieren, ob dieser Mechanismus tatsächlich funktioniert. Wie eine solche Abschaltung technisch umgesetzt werden könnte, ist noch offen. Gerade bei weit verbreiteten Modellen, mehreren Kopien oder frei verfügbaren Modellgewichten ist eine zentrale Abschaltung erheblich schwieriger als bei einem ausschließlich auf kontrollierten Servern betriebenen System.
Der neue Vorstoß baut auf mehreren Gesetzen auf. Seit 2026 gilt der 2025 verabschiedete Transparency in Frontier Artificial Intelligence Act, kurz SB 53. Das Gesetz verpflichtet besonders große Entwickler von Frontier-Modellen unter anderem dazu, Sicherheitskonzepte offenzulegen und bestimmte schwerwiegende Sicherheitsvorfälle an den Staat zu melden. Zudem enthält es Schutzregeln für Beschäftigte, die erhebliche Sicherheitsrisiken melden.
Anfang September 2026 unterzeichnete Newsom zusätzlich Senate Bill 813 und Assembly Bill 1405. SB 813 schafft einen rechtlichen Rahmen für unabhängige Organisationen, die KI-Systeme auf Sicherheitsrisiken und die Einhaltung staatlicher Vorgaben prüfen können. AB 1405 sieht ein staatliches Register für KI-Prüfer sowie Anforderungen an deren Unabhängigkeit, Transparenz und Integrität vor.
Newsoms neuer Erlass soll die Umsetzung dieser Regeln beschleunigen. Für die Zertifizierung unabhängiger Prüfstellen setzt er unter anderem eine Frist bis Mai 2027. Zugleich soll untersucht werden, ob Prüfer künftig dauerhaft oder regelmäßig Zugang zu den Laboren großer KI-Anbieter erhalten sollten.
Die Diskussion um Notabschalter für KI-Modelle ist in Kalifornien nicht neu. Bereits 2024 enthielt der Gesetzentwurf SB 1047 des demokratischen Senators Scott Wiener Vorgaben für besonders rechenintensive KI-Modelle. Dazu gehörten Sicherheitstests und Verfahren, mit denen von Entwicklern kontrollierte Modelle in außergewöhnlichen Gefahrensituationen gestoppt werden sollten.
Newsom legte damals sein Veto ein. Seine zentrale Kritik richtete sich gegen den Ansatz, regulatorische Pflichten vor allem an Größe und Trainingsaufwand eines Modells zu knüpfen. Auch kleinere, spezialisierte Systeme könnten erhebliche Risiken erzeugen. Zudem hielt er es für problematisch, besonders strenge Regeln unabhängig davon anzuwenden, in welchem Umfeld ein System tatsächlich eingesetzt werde.
Der jetzige Vorstoß bedeutet deshalb keine einfache Rückkehr zu SB 1047. Die Regierung will zunächst prüfen lassen, welche Regelungen technisch belastbar sind und wie unabhängige Kontrollen ausgestaltet werden können. Wiener begrüßte den neuen Erlass und erklärte, dass die kalifornische Legislative Anfang 2027 über weitere Schutzvorgaben beraten müsse.
Auch innerhalb der Technologiebranche gibt es keine einheitliche Position. Mehrere führende Vertreter großer KI-Unternehmen haben sich zuletzt für stärkere Sicherheitsprüfungen, unabhängige Evaluierungen oder eine langsamere Entwicklung besonders leistungsfähiger Systeme ausgesprochen. Dazu gehören unter anderem Anthropic-Chef Dario Amodei und OpenAI-Chef Sam Altman. Andere Branchenvertreter warnen dagegen vor einer zu starken staatlichen Steuerung.
Meta-Chef Mark Zuckerberg argumentierte zuletzt, Wettbewerb, Haftungsrisiken und die Eigeninteressen der Unternehmen schafften bereits starke Anreize für sichere Entwicklung. Ähnliche Auseinandersetzungen hatte es schon bei SB 1047 gegeben. Google, Meta und OpenAI gehörten damals zu den Kritikern des kalifornischen Entwurfs. Sie warnten unter anderem vor Rechtsunsicherheit und Belastungen für Innovation und offene KI-Modelle. Anthropic unterstützte die damalige Regelung nach mehreren Änderungen.
Die unterschiedlichen Positionen zeigen, dass sich die Debatte nicht nur um die Frage dreht, ob KI reguliert werden soll. Umstritten ist vor allem, welche Risiken gesetzlich erfasst werden sollen, wann staatliche Eingriffe greifen und ob Vorgaben an Rechenleistung, tatsächliche Fähigkeiten oder konkrete Einsatzbereiche eines Modells gekoppelt werden sollten.
Der kalifornische Vorstoß fällt in eine neue Debatte über sogenannte Kontrollverlust-Risiken. Gemeint sind Szenarien, in denen sehr leistungsfähige KI-Systeme Sicherheitsvorgaben umgehen, sich unerwartet verhalten oder von Menschen für besonders folgenschwere Cyberangriffe, biologische Gefahren oder andere schwere Schäden genutzt werden.
Fachleute sind sich jedoch nicht einig, wie wahrscheinlich extrem weitreichende oder existenzielle Schäden durch KI tatsächlich sind und auf welchem technischen Entwicklungsstand solche Risiken relevant werden könnten. Einigkeit besteht auch nicht darüber, ob ein Notabschalter dafür ein ausreichendes Sicherheitsinstrument wäre. Technische Sicherheitsforschung konzentriert sich deshalb zusätzlich auf Modelltests, Zugriffsbeschränkungen, Cybersecurity, Überwachung autonomer Agenten und die Begrenzung gefährlicher Fähigkeiten.
Die Europäische Union verfolgt mit dem AI Act einen anderen regulatorischen Ansatz. Für Anbieter allgemeiner KI-Modelle gelten Dokumentations- und Transparenzpflichten. Besonders leistungsfähige General-Purpose-AI-Modelle können als Modelle mit systemischem Risiko eingestuft werden.
Deren Anbieter müssen unter anderem Modellbewertungen und Belastungstests durchführen, systemische Risiken analysieren und mindern, schwere Vorfälle dokumentieren und melden sowie ausreichende Cybersicherheitsmaßnahmen gewährleisten. Bei einem Trainingsaufwand von mehr als 10 hoch 25 Rechenoperationen wird grundsätzlich vermutet, dass ein Modell besonders leistungsfähig sein kann. Die EU-Kommission kann auch andere Modelle aufgrund ihrer Fähigkeiten oder Auswirkungen als systemisch riskant einstufen.
Eine allgemeine gesetzliche Pflicht zu einem zentralen Notabschalter für Frontier-Modelle enthält der EU AI Act dagegen nicht. Die europäische Regelung setzt stärker auf fortlaufendes Risikomanagement, technische Prüfungen, Dokumentation und Aufsicht. Seit August 2026 kann die EU-Kommission die Vorschriften für Anbieter allgemeiner KI-Modelle auch durchsetzen und bei Verstößen Sanktionen verhängen.
Kalifornien hat als Standort zahlreicher großer KI-Unternehmen besonderes Gewicht in der internationalen Regulierungsdebatte. Der Bundesstaat versucht zunehmend, fehlende oder begrenzte bundesweite Vorgaben durch eigene Regeln zu ergänzen. Newsom fordert zugleich eine einheitliche Regelung auf Bundesebene.
Bis Mitte November soll zunächst geklärt werden, ob ein verpflichtender Notabschalter technisch sinnvoll ausgestaltet werden kann und welche Unternehmen oder Modelle er erfassen müsste. Erst danach kann sich zeigen, ob daraus tatsächlich ein neuer Gesetzentwurf entsteht. Fest steht bereits, dass Kalifornien die Aufsicht über große KI-Modelle weiter ausbauen will und unabhängige Prüfungen dabei eine größere Rolle spielen sollen.
Texte werden mit Unterstützung von KI-Tools erstellt und vor Veröffentlichung redaktionell geprüft. Mehr dazu