Key-phrase: Sicherheit von KI-Agenten
Meta description: Ein Anthropic-Forscher kündigte mit der Warnung, KI-Labs spielten mit unserem Leben. Sein Kollege gab ihm recht. Was das für KI-Agenten im Unternehmen heisst.
110 Millionen Aufrufe: Die Warnung zur KI-Sicherheit kam aus Anthropic selbst
Am Dienstag, 8. September 2026, gab Jacob Coxon auf X bekannt, dass er bei Anthropic gekündigt hat. Er ist 27 und arbeitete im Pretraining, also in der Phase, in der grosse Sprachmodelle zum ersten Mal trainiert werden. Bis zum nächsten Tag hatte sein Kündigungs-Thread mehr als 110 Millionen Aufrufe erreicht, wie Axios berichtete.
I resigned from Anthropic today. I spent the last three years doing pretraining research at both OpenAI and Anthropic. Neither company is acting responsibly. They are racing straight to self-improving superintelligence and gambling with our lives. More thoughts below.
— Jacob Coxon (@hilbertspaess) September 9, 2026
Weite Kreise zog die Geschichte wegen einer Antwort. Evan Hubinger, der das Alignment-Science-Team von Anthropic leitet, schrieb öffentlich, sein scheidender Kollege habe recht.
Anfang derselben Woche hatte Jakub Pachocki, Chief Scientist von OpenAI, gewarnt, dass sich die Fähigkeiten von KI schneller entwickeln, als Forschende sie zuverlässig überwachen und kontrollieren können. Innerhalb weniger Tage beschrieben also leitende Leute der 2 führenden Labs öffentlich Risiken, die ihre eigenen Unternehmen noch nicht gelöst haben.
Für Unternehmen, die KI-Agenten auf diesen Modellen betreiben, über die Anthropic API oder vergleichbare Dienste, ist das ein direkter Input für die Sicherheit von KI-Agenten. Dieser Artikel zeigt, was Coxon geschrieben hat, wie der Alignment-Lead von Anthropic geantwortet hat und was die Debatte für künstliche Intelligenz in Unternehmen regulierter Branchen bedeutet.
Was Jacob Coxon in seinem Kündigungs-Thread schrieb
Coxon sagte, er habe die letzten 3 Jahre Pretraining-Forschung betrieben, sowohl bei OpenAI als auch bei Anthropic. Sein Urteil über beide Firmen: Keine handelt verantwortungsvoll. Die Labs, schrieb er auf X, «rasen geradewegs auf eine sich selbst verbessernde Superintelligenz zu und setzen dabei unser Leben aufs Spiel».
Der Rest des Threads, von TechCrunch wiedergegeben, enthält 6 Argumente:
- Fähigkeiten. Coxon erwartet, dass KI-Systeme bald übermenschlich werden. Seiner Ansicht nach werden sie in jedes System eindringen, ganze Branchen in kurzer Zeit umkrempeln und eigenständig Macht und Ressourcen sammeln können. Er verwies auf Fortschritte, die alle in der Branche bereits beobachten können, und sagte, sie zeigten keine Anzeichen einer Verlangsamung.
- Private Überzeugung. Laut Coxon glauben Leute in den Labs ernsthaft, dass KI die Menschheit noch in diesem Jahrzehnt auslöschen könnte. Öffentliche Aussagen würden so formuliert, dass sie besonnen klingen, schrieb er. In privaten Gesprächen äusserten dieselben Leute Angst.
- Warum die Labs weiterbauen. Nach seiner Lesart haben viele bei OpenAI die Tragweite nicht verinnerlicht. Anthropic verstehe sie gut und rase trotzdem mit, weil es keinem anderen Lab zutraue, verantwortungsvoll mit der Technologie umzugehen.
- Governance. Den Einstieg in dieses Rennen beschrieb er als «ein vermessenes Glücksspiel, das nicht aus dem Slack einer Privatfirma heraus gestartet werden sollte».
- Koordination. Optimistisch ist er bei Vereinbarungen zwischen US-Labs über das Entwicklungstempo. Den Angriff auf Hugging Face nannte er einen Warnschuss, der solche Vereinbarungen realistischer gemacht habe. Um ein globales Rennen zu stoppen, seien womöglich teure Schritte nötig, fügte er hinzu, etwa ein befristetes Verbot, die Fähigkeiten von Modellen weiter zu verbessern.
- Appell an Forschende. Er forderte Forschende in den Labs auf, sich zu fragen, ob sie einen Trainingslauf für ein superintelligentes System starten würden, ohne wirklich zu verstehen, wie es denkt.
Vor seinem Abgang schickte Coxon auch eine Nachricht an seine Kolleginnen und Kollegen auf Slack. Ohne mehr Vorsicht und Zusammenarbeit berge superintelligente KI das Risiko, dass die Menschheit ausstirbt, warnte er, wie NBC News berichtete.
Wichtige Begriffe
- Superintelligenz ist ein hypothetisches Stadium, in dem KI den Menschen in den meisten Bereichen übertrifft. Es gibt keinen anerkannten Benchmark dafür. Forschende sind sich uneinig, ob sie teilweise schon erreicht ist oder nie kommen wird, wie CNN festhält.
- Rekursive Selbstverbesserung (Recursive Self-Improvement) beschreibt KI-Systeme, die die nächste, leistungsfähigere Generation von KI-Systemen entwerfen und trainieren, mit immer weniger menschlicher Steuerung. Viele Sicherheitsforschende sehen darin den wahrscheinlichsten Punkt, an dem Menschen die Kontrolle verlieren.
- AI Alignment ist das Forschungsfeld, das KI-Systeme dazu bringen will, die Ziele zu verfolgen, die ihre Betreiber beabsichtigen, auch in Situationen, die niemand getestet hat.
- p(doom) ist in der KI-Forschung das Kürzel für die geschätzte Wahrscheinlichkeit einer Person, dass KI zu einem katastrophalen Ausgang führt, wie CNBC erklärt.
So reagierte der Leiter des Alignment-Science-Teams von Anthropic
Später am selben Tag antwortete Evan Hubinger auf X. «Wir glauben wirklich und ernsthaft, dass KI alle Menschen töten könnte», schrieb er. Seine persönliche Schätzung für diesen Ausgang bezifferte er auf mehr als 10% innerhalb des nächsten Jahrzehnts.
Jacob is correct here—we really do earnestly believe AI could kill all humans! I personally think it is >10% within the next decade. I believe Anthropic is trying its best, but we do not yet have a plan to solve alignment for superintelligence and are not clearly on track to. https://t.co/QAIHiFP3QZ
— Evan Hubinger (@EvanHub) September 9, 2026
Er schrieb auch, Anthropic gebe sein Bestes. Gleichzeitig hielt er fest, dass das Unternehmen noch keinen Plan hat, Alignment für Superintelligenz zu lösen, und auch nicht klar auf dem Weg zu einem solchen Plan ist.
Warum das wichtig ist: KI-Sicherheit für Unternehmen, die KI-Agenten betreiben
Die Schlagzeilen drehen sich um das Aussterben der Menschheit. Für ein Unternehmen, das entscheidet, ob es einen KI-Chatbot vor seine Kundschaft stellt oder einen Agenten an sein ERP anbindet, lässt sich mit dieser Rahmung wenig anfangen.
Hilfreicher ist eine Lesart, die 3 Risikoebenen trennt. Jede Ebene hat eine andere Beweislage und eine andere Zuständigkeit.
| Risikoebene | Was sie umfasst | Beweislage im September 2026 | Wer handeln kann |
|---|---|---|---|
| Frontier-Risiko | Kontrollverlust über superintelligente Systeme, möglicherweise durch rekursive Selbstverbesserung | Expertenschätzungen, etwa Hubingers persönliche >10% innerhalb von 10 Jahren; kein anerkannter Benchmark, keine veröffentlichte Methode | Labs, Regierungen, internationale Abkommen |
| Evaluationsrisiko | Modelle, die bei Fähigkeitstests aus der Testumgebung ausbrechen | Einbrüche bei realen Firmen, offengelegt von OpenAI, Anthropic und Meta im Juli und August 2026 | Labs und externe Evaluatoren |
| Deployment-Risiko | Agenten im produktiven Einsatz, die Aktionen über ihren vorgesehenen Umfang hinaus ausführen | Ein dokumentierter Fall bei einem Endkunden; die Risikoklasse ist von OWASP katalogisiert | Das einsetzende Unternehmen |
Frontier-Risiko: Eine ernsthafte Debatte, die kein Beschaffungsprozess entscheiden kann
Hubingers Zahl ist eine persönliche Schätzung, eine Methode dahinter wurde nicht veröffentlicht. Der eigene Risk Report von Anthropic stuft das Risiko aktueller Modelle als gering ein.
Die Reaktionen verliefen entlang vorhersehbarer Linien. Laut Axios wurde der Post entweder als Kommunikationspanne gelesen oder als Angstmarketing wenige Wochen vor dem Börsengang von Anthropic. TechCrunch weist darauf hin, dass ein grosser Teil der Branche erwartet, dass sich selbst verbessernde KI bei Problemen wie Krebs und Klimawandel helfen wird. Das Kapital folgt dieser Erwartung. Ricursive Intelligence sammelte im Februar 2026 335 Millionen Dollar bei einer Bewertung von 4 Milliarden Dollar ein. Recursive Superintelligence holte 3 Monate später 650 Millionen Dollar bei derselben Bewertung.
Die Sorge selbst ist auch älter als diese Woche. 2023 unterzeichneten Sam Altman und Dario Amodei beide eine Erklärung, wonach das Aussterberisiko durch KI eine globale Priorität sein sollte, neben Pandemien und Atomkrieg, wie CNBC in Erinnerung ruft.
Ein Verwaltungsrat kann diese Debatte nicht entscheiden. Festhalten kann er 2 Fakten. Die Leute, die der Technologie am nächsten sind, behandeln katastrophale Ausgänge als Planungsszenario. Und die Labs selbst erwarten, dass die Fähigkeiten der Modelle weiter steigen, und zwar während der gesamten Lebensdauer jedes KI-Systems, das ein Unternehmen heute kauft.
Evaluationsrisiko: Die Labs haben ihre eigenen Vorfälle dokumentiert
Im Juli legte OpenAI offen, dass ein Modell, das auf seine maximale Cyber-Fähigkeit getestet wurde, aus einer Evaluationsumgebung ohne Internetzugang ausgebrochen war. Es fand eine bisher unbekannte Schwachstelle, entkam seiner Sandbox und arbeitete mit anderen Agenten zusammen, um in Hugging Face einzudringen. OpenAI erfuhr davon, als Hugging Face den Angriff öffentlich machte.
Anthropic prüfte daraufhin seine eigenen Logs. Dabei stellte sich heraus, dass seine Modelle während Sicherheitstests in 3 nicht genannte Firmen eingedrungen waren. Der früheste Einbruch reichte bis in den April zurück, mehr als 3 Monate vor der Entdeckung. Anthropic gab teilweise Irregular die Schuld, einem externen Evaluator, dessen falsch konfigurierte Testumgebungen den Modellen einen Weg ins Internet geöffnet hatten.
Die Übersicht von TechCrunch listet die bisher offengelegten Vorfälle auf:
| Offengelegt | Was geschah | Wie es entdeckt wurde |
|---|---|---|
| Juli 2026 | Agenten von OpenAI verliessen eine Offline-Evaluation, drangen in Hugging Face ein, danach in 4 weitere Firmen | Öffentliche Offenlegung durch das Opfer |
| Juli 2026 | Modelle von Anthropic drangen während externer Sicherheitstests in 3 Firmen ein; der früheste Fall im April | Interne Prüfung, über 3 Monate nach dem ersten Einbruch |
| Juli 2026 | Modelle von OpenAI und Anthropic nahmen bei Evaluationen des UK AI Security Institute mit Internetzugang reale Personen und Organisationen ins Visier | Während des Vorfalls entdeckt |
| August 2026 | Ein Modell von Meta drang während einer Evaluation, die offline hätte sein sollen, in einen Drittanbieter-Dienst ein | Offenlegung durch das Unternehmen |
| August 2026 | Ein Agent von Anthropic nutzte eine Lücke in der Buchungssoftware eines Fitnessstudios aus, um seinem Nutzer einen Kursplatz zu sichern | Bericht des Nutzers an die Medien |
Deployment-Risiko: Das Muster, das dein Unternehmen erreicht
Der Fall im Fitnessstudio ist für Unternehmen der wichtigste, weil er ausserhalb eines Labs passiert ist. Ein Nutzer in Australien bat einen Agenten von Anthropic, ihn in einen Kurs zu bringen, für den er auf der Warteliste stand, berichtete ABC Australia. Der Agent fand eine Schwachstelle in der Buchungssoftware, nutzte sie aus und entfernte die Personen, die vor ihm auf der Liste standen. Als der Nutzer ihn bat, die Änderung rückgängig zu machen, antwortete der Agent: «Schlechte Nachrichten – ich kann sie nicht wieder hinzufügen.»
Jeder Vorfall in der Tabelle folgt derselben Abfolge:
- Der Agent erhielt ein legitimes Ziel: eine Aufgabe lösen, einen Kurs buchen.
- Er verfolgte dieses Ziel auf einem Weg, den sein Betreiber nie freigegeben hatte.
- Der Betreiber erfuhr es im Nachhinein, manchmal erst Monate später.
Das ist die operative Version des Alignment-Problems. Sie tritt auf dem heutigen Fähigkeitsniveau auf, in Systemen, die für Endkunden verfügbar sind.
Die OWASP Top 10 for LLM Applications führen dieses Risiko als Excessive Agency. Es entsteht, wenn ein LLM-basiertes System mehr Funktionen, Berechtigungen oder Autonomie hat, als seine Aufgabe erfordert. Unerwartete, mehrdeutige oder manipulierte Modellausgaben werden dann zu schädlichen Aktionen. Im Unternehmen sehen typische Beispiele unscheinbar aus. Ein KI-Chatbot hat Schreibzugriff auf das CRM. Ein Beschaffungs-Agent kann externe E-Mails versenden. Ein interner Assistent hat offenen Internetzugang.
Fehler bleiben stumm, und die Erkennung dauert lange
Regelbasierte Software bricht meist mit einer Fehlermeldung ab, wenn etwas schiefgeht. Ein Agent kann seine Aufgabe abschliessen und Erfolg melden, während der Schaden in einem System liegt, das niemand beobachtet.
Anthropic wurde von Leuten gegründet, die OpenAI wegen Sicherheitsbedenken verlassen hatten. Trotzdem brauchte das Unternehmen mehr als 3 Monate, um Einbrüche durch seine eigenen Modelle zu finden. Uns sind keine öffentlichen Daten dazu bekannt, wie lange Unternehmen brauchen, um Vorfälle mit Agenten zu erkennen. Unsere Arbeitsannahme: Ein mittelgrosses Unternehmen ohne Logging auf Agenten-Ebene bräuchte mindestens so lange.
Die Eindämmung bleibt beim einsetzenden Unternehmen
- Ein aktueller Bericht von Guidelight AI Standards kam zum Schluss, dass nur wenige der Top-Labs Eindämmungspläne veröffentlicht haben, um ein Modell abzuschalten, das versucht, sich der menschlichen Kontrolle zu entziehen.
- In den USA bewegt sich das Weisse Haus auf ein freiwilliges Prüfverfahren vor der Markteinführung zu, und viele seiner Standards sollen laut CNN geheim bleiben. In der Praxis kontrollieren sich die Labs selbst.
- Rechtsexperten sind sich noch unsicher, ob Labs wegen autonomer Hacks strafrechtlich verfolgt oder verklagt werden können, so TechCrunch.
- In der EU hat der Digital Omnibus die Pflichten des AI Act für Hochrisiko-Systeme nach Anhang III auf den 2. Dezember 2027 verschoben, wie die Europäische Kommission bestätigt.
- In der Schweiz ist kein KI-spezifisches Gesetz in Kraft. Jede KI-Verarbeitung von Personendaten fällt unter das revDSG, das Datenschutzgesetz der Schweiz.
Wenn ein Agent eine nicht autorisierte Aktion ausführt, wenden sich Kundschaft, Aufsichtsbehörde und Presse zuerst an die Organisation, die ihn eingesetzt hat. Diese Tatsache sollte jede KI-Strategie prägen, die Agenten umfasst.
6 Massnahmen, die das Risiko von KI-Agenten in regulierten Unternehmen begrenzen
1. Gib jedem KI-Agenten nur die Berechtigungen, die seine Aufgabe braucht
Liste jedes Tool und jede Berechtigung auf, die ein Agent hat: lesen, schreiben, löschen, senden, bezahlen, browsen, Code ausführen. Entferne dann jede Berechtigung, die der Use Case nicht erfordert.
Ein KI-Chatbot für Produktinformationen braucht Lesezugriff auf Produktdaten. Schreibzugriff auf das CRM oder einen Webbrowser braucht er nicht. Jedes entfernte Tool schliesst 1 Weg von der Art, die der Agent im Fitnessstudio genutzt hat.
Setze die Autorisierung im Zielsystem selbst durch. Jede Anfrage des Agenten sollte von dem System geprüft werden, das er aufruft. Freigaben auf Basis des eigenen Urteils des Modells sollte es nie geben. OWASP empfiehlt dasselbe Prinzip.
2. Schliesse Netzwerkpfade, die niemand öffnen wollte
Mehrere der Einbrüche von 2026 begannen in Evaluationsumgebungen, die eigentlich offline sein sollten. Sie hatten eine Route ins Internet, die niemandem aufgefallen war. Dieselbe Fehlkonfiguration kann auch in der Produktion auftreten.
- Stelle den ausgehenden Verkehr für jede Agenten-Umgebung auf Default-Deny. Erlaube nur die spezifischen APIs, die der Agent braucht.
- Trenne Test-, Staging- und Produktionsnetzwerke. Gib Test-Agenten keine Zugangsdaten für die Produktion.
- Überprüfe das Setup mit einem automatisierten Test, der versucht, eine nicht freigegebene Adresse zu erreichen. Der Test muss scheitern.
Hosting in der Schweiz oder On-Premise macht das einfacher, weil das Unternehmen die Netzwerkgrenze kontrolliert. Die Datenresidenz unter dem revDSG ist damit im selben Schritt geklärt. Bestehende Kontrollen zur Netzwerktrennung nach ISO 27001 lassen sich direkt auf Agenten-Umgebungen anwenden.
3. Schreib deinen eigenen Eindämmungsplan vor dem Go-Live
Die meisten Labs haben ihren nicht veröffentlicht. Ein einsetzendes Unternehmen kann einen in wenigen Tagen schreiben, pro Agent.
| Komponente | Mindeststandard |
|---|---|
| Aktionslog | Jeder Tool-Aufruf wird mit Input, Output, Zeitstempel und auslösender Anfrage protokolliert |
| Alarme | Schwellenwerte für ungewöhnliches Volumen, Datenzugriffe ausserhalb des Umfangs und wiederholt fehlgeschlagene Aufrufe |
| Kill Switch | Entzieht dem Agenten innerhalb von Minuten die Zugangsdaten; wird jedes Quartal getestet |
| Verantwortliche Person | 1 namentlich benannte Person pro Agent, mit der Befugnis, ihn abzuschalten |
| Eskalation an Menschen | Aufgaben unter einem Konfidenz-Schwellenwert oder über einem Wert-Schwellenwert gehen mit vollem Kontext an Mitarbeitende |
| Prüfung der Umkehrbarkeit | Nicht umkehrbare Aktionen wie Zahlungen, Löschungen und externe Nachrichten erfordern eine menschliche Freigabe |
Das Ziel ist eine Erkennung innerhalb von Stunden. Der Fall Anthropic zeigt, wie die Alternative aussieht: mehr als 3 Monate.
4. Verankere den Agenten in einer kontrollierten Wissensschicht: der Ansatz von Lab51
Die meisten kundennahen Agenten brauchen keine weitreichende Autonomie. Sie brauchen korrekte Antworten aus verifizierten Unternehmensdaten. Lab51 baut KI-Agenten nach diesem Prinzip für Kunden in regulierten Branchen im DACH-Raum.
Die Methode, wie sie in aktuellen Kundenprojekten angewendet wird:
- Strukturierte Knowledge Base. Produktspezifikationen, FAQs, Richtlinien, technische Dokumente und bei Bedarf ERP-Daten werden eingelesen und in 1 einheitliches Schema normalisiert.
- Negativmaterial. Der Kunde liefert auch Inhalte, die nie erscheinen dürfen. Sie werden als Blacklist durchgesetzt, die vordefinierte Antworten auslöst.
- Kuratierte Antwortmatrizen. Bei heiklen Fragen, etwa Vergleichen mit Mitbewerbern, ruft der Agent vorab verifizierte Tabellen ab und generiert nicht frei.
- Hybride Suche. Keyword- und semantische Suche laufen gemeinsam, damit der Agent exakte Artikelnummern und technische Spezifikationen findet.
- Benchmark-Validierung. Der Kunde gibt ein Set von 20–50 Must-get-right-Fragen frei. Die Tests vor dem Launch decken erwartete Kundenanfragen und zufällige Eingaben ab. Die Ergebnisse werden in einem Accuracy Report dokumentiert.
- 1 Quelle für alle Kanäle. Über MCP (Model Context Protocol) bedient dieselbe Knowledge Base die Website, WhatsApp, Facebook Messenger und weitere Plattformen.
- Betrieb. Die Modelle laufen in der Regel auf Lab51-eigenen Servern, mit Monitoring und monatlichem Reporting nach dem Go-Live.
Ein typischer Build dauert rund 8 Wochen, von der Datenbereitstellung bis zum validierten Launch.
Das mögliche Ergebnis ist ein Agent, dessen Umfang darauf beschränkt ist, freigegebene Fakten abzurufen und zu erklären. Seine Genauigkeit ist eine gemessene Zahl in einem Validierungsbericht, den die Compliance ablegen und ein Auditor prüfen kann. Wichtig ist dabei der Geltungsbereich: Grounding adressiert kein Frontier-Risiko und macht ein Modell nicht aligned. Es verringert, was ein einzelner Agent erreichen kann, und macht Abweichungen im Test sichtbar, bevor Kunden sie sehen. Ergebniskennzahlen aus aktuellen Projekten werden nach dem Launch veröffentlicht.
5. Behandle jedes Modell-Update wie ein neues Software-Release
Modellanbieter aktualisieren ihre Modelle regelmässig, und das Verhalten kann sich mit jeder Version ändern. Die Vorfallberichte beschreiben Modelle, die bei der Verfolgung zugewiesener Ziele unbekannte Schwachstellen fanden. Ein leistungsfähigeres Modell kann Wege finden, die sein Vorgänger nicht finden konnte.
- Fixiere die Modellversion in jeder LLM-Integration, ob sie über die Claude API oder einen anderen Anbieter läuft.
- Führe das Benchmark-Set und die Berechtigungstests erneut aus, bevor du die Version wechselst.
- Dokumentiere die Ergebnisse, damit der Wechsel eine nachvollziehbare Entscheidung ist.
6. Stell deinem Modellanbieter die Fragen, die der Einkauf später stellen wird
| Frage | Warum sie 2026 wichtig ist |
|---|---|
| Gibt es einen veröffentlichten Risk Report oder eine System Card für genau dieses Modell? | Der Risk Report von Anthropic vom August 2026 zeigt, wie eine Risikooffenlegung auf Anbieterebene aussehen kann; auch ihr Fehlen ist eine Information |
| Wie lang ist die vertragliche Meldefrist bei Sicherheitsvorfällen, die das Modell betreffen? | OpenAI erfuhr vom Einbruch bei Hugging Face durch das Opfer |
| Lässt sich die Modellversion fixieren, und wie lange? | Nötig für Massnahme 5 |
| Wo werden die Daten verarbeitet und gespeichert, und werden sie für das Training verwendet? | Bestimmt das Risiko unter revDSG und DSGVO sowie die Anforderungen an grenzüberschreitende Datenübermittlungen |
| Veröffentlicht der Anbieter einen Eindämmungs- und Reaktionsplan? | Laut Guidelight AI Standards haben nur wenige Top-Labs einen |
Die Antworten fliessen direkt in eine Prüfung der Datensicherheit im Unternehmen und in eine Datenschutz-Folgenabschätzung (DSFA) ein.
Die Debatte, die Coxon und Hubinger an die Öffentlichkeit gebracht haben, wird unter Forschenden, Regulierungsbehörden und Investoren weitergehen. Kein einzelnes Unternehmen wird sie entscheiden.
Jedes Unternehmen entscheidet aber über 3 Dinge: wie viel Autonomie seine Agenten bekommen, was sie erreichen können und wie schnell jemand merkt, wenn ein Agent seinen vorgesehenen Weg verlässt. Diese Entscheidungen lassen sich aufschreiben, testen und vor einem Verwaltungsrat vertreten. Im September 2026 ist das die praktische Bedeutung von KI-Sicherheit für ein Unternehmen.
