Autonome KI-Systeme sollen künftig eigenständig Aufgaben übernehmen und Arbeitsabläufe in Unternehmen vereinfachen. Doch die Sicherheitsbedenken sind groß. Laut einer gemeinsamen Studie des TÜV-Verbands und des Bundesamts für Sicherheit in der Informationstechnik (BSI) befürchten 84 Prozent der befragten Unternehmen in Deutschland, dass KI-Agenten aufgrund falscher oder erfundener Informationen fehlerhafte Entscheidungen treffen. Auch der mögliche Verlust vertraulicher Daten und neue Schwachstellen in der IT bereiten vielen Unternehmen Sorgen. Tatsächlich eingesetzt werden autonome KI-Agenten bislang allerdings nur von einer kleinen Minderheit.
Die KI-Sicherheitsstudie 2026 untersucht, welche Risiken Unternehmen beim Einsatz künstlicher Intelligenz sehen und wie sie mit möglichen Sicherheitsproblemen umgehen. Besonders deutlich fallen die Ergebnisse bei autonomen KI-Agenten aus. Diese Systeme unterscheiden sich von einfachen KI-Anwendungen dadurch, dass sie Aufgaben über mehrere Arbeitsschritte hinweg selbstständig bearbeiten und dabei auf andere Programme oder Datenbestände zugreifen können.
84 Prozent der befragten Unternehmen sehen die Gefahr, dass solche Systeme Entscheidungen auf einer unzutreffenden Informationsgrundlage treffen. Jeweils 78 Prozent befürchten, dass durch Verbindungen zu anderen IT-Systemen zusätzliche Sicherheitslücken entstehen, vertrauliche Unternehmensinformationen nach außen gelangen oder KI-Agenten unbeabsichtigte Aktionen ausführen.
Auch rechtliche und organisatorische Fragen beschäftigen die Betriebe. 74 Prozent betrachten ungeklärte Verantwortlichkeiten und Haftungsfragen bei Fehlern als hohes Risiko. 65 Prozent sehen die Möglichkeit einer Manipulation von außen als ernsthafte Gefahr.
Die Zahlen beschreiben die Risikoeinschätzung der befragten Unternehmen. Sie bedeuten nicht, dass entsprechende Sicherheitsprobleme bereits in vergleichbarem Umfang tatsächlich aufgetreten sind.
Zwischen der Aufmerksamkeit für die Technologie und ihrer praktischen Nutzung besteht ein deutlicher Unterschied. Nach den Studienergebnissen verwenden erst 5 Prozent der Unternehmen, die bereits künstliche Intelligenz nutzen, auch autonome KI-Agenten.
Künstliche Intelligenz insgesamt ist dagegen deutlich stärker verbreitet. 49 Prozent aller befragten Unternehmen setzen bereits KI-Anwendungen ein. Weitere 9 Prozent planen eine Einführung innerhalb der kommenden zwölf Monate.
Bei den Nutzern dominieren fertige Programme und Dienste. 85 Prozent der Unternehmen mit KI-Einsatz greifen auf bestehende Anwendungen zurück, während 76 Prozent generative KI verwenden, beispielsweise zur Erstellung von Texten, Bildern oder Programmcode.
Autonome KI-Agenten gehen einen Schritt weiter. Sie können nicht nur Informationen liefern, sondern abhängig von ihren Berechtigungen auch Aktionen in verbundenen Systemen auslösen. Damit gewinnt die Frage an Bedeutung, welche Zugriffsrechte solche Anwendungen erhalten und wann Beschäftigte Entscheidungen überprüfen müssen.
Die Untersuchung zeigt auch Unterschiede beim betrieblichen Umgang mit KI-Sicherheit. Von den Unternehmen, die bereits künstliche Intelligenz verwenden, setzen 67 Prozent auf Qualitätssicherung und menschliche Kontrollen bei kritischen Ergebnissen.
52 Prozent testen KI-Anwendungen vor ihrem Einsatz auf Sicherheit oder andere Kriterien. Eine laufende Protokollierung beziehungsweise Überwachung der Nutzung haben 40 Prozent eingerichtet.
Für den Umgang mit Sicherheitsvorfällen besteht ebenfalls Nachholbedarf. Lediglich 11 Prozent der Unternehmen mit bestehender oder geplanter KI-Nutzung verfügen über besondere Abläufe für Vorfälle mit KI-Bezug.
Dabei berichten 17 Prozent aller befragten Unternehmen, in den vergangenen zwölf Monaten bestätigte oder vermutete Cyberangriffe beziehungsweise Versuche mit krimineller Absicht unter Einsatz von KI registriert zu haben. Diese Angaben betreffen KI-gestützte Angriffe allgemein und sind nicht mit nachgewiesenen Fehlfunktionen autonomer KI-Agenten gleichzusetzen.
Angesichts der Sicherheitsbedenken fordert der TÜV-Verband strengere Kontrollen besonders leistungsfähiger KI-Modelle. Diese sollen nach Vorstellung des Verbands vor ihrer Markteinführung unabhängig von den Herstellern und nach verbindlichen internationalen Standards überprüft werden.
Die Forderung richtet sich insbesondere an die Europäische Kommission und die Mitgliedstaaten der Europäischen Union. Der Verband argumentiert, dass Sicherheitsprobleme bei grundlegenden KI-Modellen Auswirkungen auf zahlreiche Anwendungen haben können, die auf diesen Modellen aufbauen.
Zugleich spricht sich der TÜV-Verband für eine möglichst einheitliche Regulierung innerhalb Europas aus. Unterschiedliche Sicherheitsanforderungen für einzelne Branchen könnten nach seiner Auffassung die Umsetzung erschweren.
Die Diskussion findet vor dem Hintergrund des europäischen AI Acts statt. Die EU-Verordnung schafft einen gemeinsamen Rechtsrahmen für künstliche Intelligenz und sieht je nach Einsatzgebiet unterschiedliche Anforderungen vor. Dazu gehören unter anderem Vorgaben für Transparenz, Risikomanagement und die Kontrolle bestimmter KI-Systeme.
Wesentliche Teile des Regelwerks gelten bereits. Für bestimmte Hochrisiko-Anwendungen wurden die Fristen im Zuge der europäischen Gesetzesänderungen verlängert. Entsprechende Vorschriften für eigenständige Hochrisiko-KI-Systeme sollen ab Dezember 2027 gelten, für KI in bestimmten regulierten Produkten ab August 2028.
Ob ein konkreter KI-Agent unter besondere gesetzliche Anforderungen fällt, hängt von seiner Funktion und seinem Einsatzbereich ab. Nicht jeder autonome KI-Agent ist automatisch als Hochrisiko-System einzustufen.
Die TÜV-BSI-Studie macht unterdessen deutlich, dass Unternehmen beim Ausbau ihrer KI-Nutzung vor einer doppelten Aufgabe stehen. Sie müssen die technischen Möglichkeiten der Systeme bewerten und gleichzeitig sicherstellen, dass der Zugriff auf Daten, Anwendungen und betriebliche Entscheidungen kontrollierbar bleibt.
Texte werden mit Unterstützung von KI-Tools erstellt und vor Veröffentlichung redaktionell geprüft. Mehr dazu