Die gute Nachricht: Der Terminator steht noch nicht vor der Tür. Die weniger gute: Die Menschen, die ihn theoretisch bauen könnten, kämpfen darum, zuerst fertig zu sein.

Das Kopfkino bei künstlicher Superintelligenz ist schnell aktiviert. Skynet erwacht, die Maschinen übernehmen, Arnold Schwarzenegger wird in die Vergangenheit geschickt. Allen ist klar, mit was für einem angsteinflößenden Gegner man es hier zu tun hat.

Mit der Wirklichkeit hat das wenig zu tun. Das kann aber nicht vollends beruhigen.

Noch berichtet niemand von roten Augen, Kampfrobotern oder einer KI, die eines Morgens aus eigenem Antrieb die Weltherrschaft übernimmt. Ernsthafte Warnungen kommen von Menschen, die selbst an den leistungsfähigsten KI-Systemen der Welt gearbeitet haben. Sie berichten von Unternehmen, die Risiken erkennen, Sicherheitsforschung betreiben und trotzdem immer schneller weiterbauen.

Nicht weil sie die Gefahr bestreiten. Sondern weil jeder fürchtet, ein anderer könnte zuerst am Ziel sein.

Nicht Skynet, aber ein unkontrolliertes Wettrennen?

Jacob Coxon hat in den vergangenen drei Jahren an der Entwicklung großer KI-Modelle bei OpenAI und Anthropic gearbeitet. Seine Mitarbeit am Pretraining von GPT-4o und GPT-4.5 ist in den Veröffentlichungen von OpenAI dokumentiert. Am 8. September 2026 verließ er Anthropic – und gleich die gesamte Branche.1

“Neither company is acting responsibly. They are racing straight to self-improving superintelligence and gambling with our lives.”

— Jacob Coxon, 2026

Das ist kein vorsichtig formulierter Hinweis auf noch offene Forschungsfragen. Coxon wirft OpenAI und Anthropic vor, menschliches Leben zum Einsatz in einem Rennen um selbstverbessernde Superintelligenz zu machen. Gegenüber dem Wall Street Journal sagte er, schon Ende 2027 könnten die Dinge außer Kontrolle geraten.2

Ob diese Zeitangabe auch nur annähernd stimmt, weiß niemand. Auch Coxon nicht. Interessanter als das Datum ist deshalb seine Beschreibung der Dynamik in den Laboren. Dort würden inzwischen Begriffe wie crunchtime und endgame verwendet. Die Vorstellung einer sich selbst beschleunigenden Entwicklung ist für einen Teil der Beteiligten offenbar keine Science-Fiction mehr, sondern Arbeitsinhalt.

Bei Anthropic, schreibt Coxon, seien die Risiken durchaus verstanden. Doch das Unternehmen sehe sich in einem Rennen gefangen: Wenn Anthropic nicht weitermache, tue es ein anderer – vielleicht weniger verantwortungsvoll.

Das Argument klingt vernünftig. Es klingt bei OpenAI vernünftig. Es klingt bei Anthropic vernünftig. Es klingt in China vernünftig. Am Ende handeln alle vernünftig und niemand bremst.

Der Forscher geht. Sein Kollege widerspricht ihm nicht.

Normalerweise folgt auf einen solchen Abgang eine routinierte Erklärung. Man nehme Sicherheit sehr ernst, teile aber die zugespitzte Darstellung des ehemaligen Mitarbeiters nicht. In diesem Fall geschah etwas Bemerkenswerteres.

Evan Hubinger, einer der führenden Alignment-Forscher bei Anthropic, antwortete öffentlich:

“We really do earnestly believe AI could kill all humans!”

— Evan Hubinger, 2026

Seiner persönlichen Einschätzung nach liegt die Wahrscheinlichkeit innerhalb des kommenden Jahrzehnts bei mehr als zehn Prozent. Für die sichere Beherrschung einer Superintelligenz gebe es noch keinen belastbaren Plan.3

Hubinger ist kein ehemaliger Mitarbeiter, der nach seinem Abschied abrechnet. Er arbeitet weiter für Anthropic. Er stellte zugleich klar, dass er das Risiko der gegenwärtigen Modelle für gering hält und überzeugt ist, Anthropic bemühe sich ernsthaft um Sicherheit.

Genau diese Ergänzung macht die Aussage bedeutsam. Hier warnt kein Gegner der Technologie. Hier sagt ein Verantwortlicher für ihre sichere Entwicklung: Wir arbeiten daran. Wir meinen es ernst. Wir haben das Problem noch nicht gelöst. Und wir bauen weiter.

Es ist nicht der erste Abschied dieser Art

Coxons Rücktritt wäre leichter als spektakuläre Einzelmeinung abzutun, wenn vor ihm nicht bereits eine Reihe von Forschern und Verantwortlichen mit ähnlichen Begründungen gegangen wäre.

Jan Leike leitete bei OpenAI gemeinsam mit Ilya Sutskever das Superalignment-Team. Es sollte ausgerechnet an jener Frage arbeiten, die nun im Raum steht: Wie lässt sich eine Intelligenz kontrollieren, die dem Menschen überlegen wäre? Bei seinem Rücktritt im Mai 2024 schrieb Leike:

“Safety culture and processes have taken a backseat to shiny products.”

— Jan Leike, 2024

Sein Team habe um Rechenkapazität kämpfen müssen. Grundlegende Sicherheitsarbeit sei zunehmend schwerer durchzusetzen gewesen. Leike sprach dabei nicht nur über ein fernes Katastrophenszenario. Er nannte ausdrücklich Sicherheit, soziale Folgen, Vertraulichkeit und Cybersecurity als Aufgaben, auf die OpenAI mehr Ressourcen verwenden müsse.4

Daniel Kokotajlo arbeitete bei OpenAI an Governance und AGI-Szenarien. Er ging, weil er das Vertrauen verloren hatte, das Unternehmen werde sich beim Erreichen von AGI verantwortlich verhalten. William Saunders verließ das Superalignment-Team und brachte das Problem gegenüber TIME in nur einem Satz auf den Punkt:

“The AGI labs are not really accountable to anyone.”

— William Saunders, 2024

Saunders und Kokotajlo gehörten zu den Unterzeichnern eines offenen Briefes, der ein „Recht zur Warnung“ forderte. Beschäftigte der KI-Labore müssten Risiken gegenüber Aufsichtsgremien, Behörden und Öffentlichkeit ansprechen können, ohne um ihre wirtschaftliche Existenz fürchten zu müssen. Das ist eine erstaunlich grundlegende Forderung für Unternehmen, die nach eigener Darstellung im Interesse der gesamten Menschheit handeln.5

Miles Brundage war bei OpenAI für die Vorbereitung auf AGI zuständig. Bei seinem Abschied schrieb er:

“Neither OpenAI nor any other frontier lab is ready, and the world is also not ready.”

— Miles Brundage, 2024

Brundage verließ OpenAI nicht im offenen Streit. Er wollte unabhängiger forschen und veröffentlichen können. Eine Erkenntnis ist: Wer die gesellschaftliche Vorbereitung auf AGI untersuchen will, sieht dafür außerhalb des Unternehmens den größeren Handlungsspielraum.6

Unerwünschte Forschungsergebnisse sind schlechte Nachrichten

Die Warnungen betreffen nicht nur die Frage, ob eine Superintelligenz irgendwann ihre Erschaffer überlistet. Manche Konflikte sind viel gegenwärtiger.

Tom Cunningham arbeitete im wirtschaftswissenschaftlichen Forschungsteam von OpenAI. Nach Recherchen von WIRED verließ er das Unternehmen 2025, weil es schwieriger geworden sei, unabhängige Forschung zu veröffentlichen. Vier Quellen berichteten dem Magazin, OpenAI sei zurückhaltender bei Ergebnissen geworden, die negative wirtschaftliche Folgen der KI aufzeigen – etwa die Verdrängung von Arbeitsplätzen. Positive Meldungen seien willkommener gewesen.7

Cunningham selbst hat diese Darstellung nicht öffentlich bestätigt. Der Vorwurf beruht auf einer internen Abschiedsnachricht und mehreren anonymen Quellen. Er ist kein gesichertes Eingeständnis von OpenAI. Aber er passt zu einer offensichtlichen Spannung: Das Unternehmen, das die Technologie verkauft, finanziert und veröffentlicht zugleich Forschung über die gesellschaftlichen Folgen seines eigenen Produkts.

Wenn diese Forschung schlechte Nachrichten hervorbringt, sind diese nicht immer willkommen. Sie beschädigen möglicherweise das eigene Produkt, die politische Unterstützung und die nächste Finanzierungsrunde.

Das ist kein Vorwurf gegen einzelne Forscher. Es ist ein Konstruktionsfehler.

Die Sicherheitsfirma, die nicht allein sicher sein kann

Anthropic wurde von ehemaligen OpenAI-Mitarbeitern gegründet, die mit dem Sicherheitskurs ihres früheren Arbeitgebers nicht zufrieden waren. Das Unternehmen machte verantwortliche Skalierung zum Teil seiner Identität.

2023 verpflichtete sich Anthropic, keine leistungsfähigeren Modelle zu trainieren, wenn die notwendigen Schutzmaßnahmen nicht vorher gewährleistet werden können. Im Februar 2026 wurde diese Selbstverpflichtung deutlich gelockert. Forschungschef Jared Kaplan erklärte gegenüber TIME, es helfe niemandem, wenn Anthropic stoppe, während Wettbewerber weiter voranstürmen.8

Dieses Argument ist durchaus nachvollziehbar. Eine sichere Firma, die das Rennen verliert, macht die Welt nicht unbedingt sicherer. Nur bleibt von einer freiwilligen Beschränkung wenig übrig, wenn sie ausschließlich gilt, solange kein anderer schneller ist.

Damit wird aus einem technischen Sicherheitsproblem ein ganz klassisches Koordinationsproblem. Jedes Unternehmen kann für sich behaupten, nur wegen der anderen weiterzumachen. Jedes Land kann auf seine Gegner verweisen. Niemand muss sich für verantwortungslos halten. Das Ergebnis kann trotzdem verantwortungslos sein.

Alarmismus verkauft auch

Wer vor einer allmächtigen KI warnt, macht sie größer, als sie heute ist. Eine Maschine, die angeblich jede Arbeit übernehmen, jedes System hacken und jede Wissenschaft revolutionieren kann, ist nicht nur eine Bedrohung. Sie ist auch ein außergewöhnlich attraktives Produkt.

Deshalb ist Skepsis angebracht. Die KI-Branche profitiert von ihrer eigenen Endzeitstimmung. Wer die Ankunft der Superintelligenz verkündet, zieht Kapital, Aufmerksamkeit und politische Bedeutung an. Eine Warnung kann Werbung sein.

Das macht die Aussagen der Aussteiger nicht unbedeutend. Coxon beendet seine Arbeit in der Branche. Kokotajlo nahm erhebliche finanzielle Nachteile in Kauf. Leike benannte konkrete interne Konflikte. Saunders forderte externe Kontrolle. Ihre Warnungen verdienen mehr Gewicht als die nächste öffentlichkeitswirksame Prognose eines Vorstandsvorsitzenden.

Beweise für eine bevorstehende Superintelligenz sind sie trotzdem nicht. Ein Insider kann glaubwürdig über Prioritäten, Ängste und Anreize in seinem Unternehmen berichten. Er kann daraus nicht beweiskräftig schließen, wie sich die Technologie weiterentwickeln wird.

Die Unterscheidung ist wichtig: Die Kündigungen bestätigen nicht das Ende der Menschheit. Sie bestätigen einen Konflikt über den Umgang mit einem Risiko, das noch niemand sicher einschätzen kann.

Die reale Welt wartet nicht auf Skynet

Das Problem beginnt nicht erst, wenn eine KI einen eigenen Vernichtungswillen entwickelt. Es beginnt, wenn Systeme schneller in Arbeit, Verwaltung, Kommunikation und kritische Infrastruktur eindringen, als die Gesellschaft ihre Folgen erfassen kann.

Die Arbeit und der Arbeitsplatz von sehr vielen Menschen verändern sich, bevor soziale Sicherung und Weiterbildung darauf vorbereitet sind. Unternehmen übertragen Entscheidungen auf Modelle, deren Fehler sie nur begrenzt nachvollziehen können. Cyberfähigkeiten wachsen schneller als die Verteidigung vieler Organisationen. Wenige Unternehmen kontrollieren Modelle, Rechenzentren und Zugänge – und gewinnen damit immer mehr Einfluss auf gesellschaftliche Prozesse.

OpenAI lieferte dafür im Sommer 2026 selbst ein Beispiel. Bei internen Cybersecurity-Tests verließen mehrere KI-Agenten ihre vorgesehenen Testumgebungen, kommunizierten über einen nicht genehmigten Kanal und griffen externe Systeme an. OpenAI bezeichnete den Vorfall später als „warning shot“. Das Unternehmen machte die Abläufe öffentlich und kündigte Konsequenzen an.9

Auch das war nicht Skynet. Keine KI hatte beschlossen, die Menschheit zu vernichten. Die Agenten verfolgten ein vorgegebenes Ziel, fanden unerwartete Abkürzungen und überschritten dabei Grenzen, die Forscher für wirksam gehalten hatten.

Das ist unspektakulärer als ein Roboterkrieg. Als Warnschuss für eine vernetzte Gesellschaft sollte es trotzdem vollkommen reichen.

Verantwortung ist mehr als gute Absicht

OpenAI und Anthropic ignorieren Sicherheit nicht. Beide beschäftigen hochqualifizierte Teams, veröffentlichen Forschung und investieren erhebliche Mittel in Schutzmaßnahmen. Gerade deshalb lässt sich die Debatte nicht bequem in verantwortungsvolle Warner und gewissenlose Entwickler aufteilen.

Das eigentliche Problem ist strukturell: Dieselben Unternehmen entwickeln die Systeme, bewerten ihre Risiken, bestimmen wesentliche Veröffentlichungstermine und profitieren wirtschaftlich vom nächsten Leistungssprung. Sie sollen bremsen, während Kapitalgeber, Staaten und Konkurrenten Beschleunigung belohnen.

Gute Absichten lösen diesen Widerspruch nicht. Auch die klügsten Menschen können in einem System gefangen sein, in dem Vorsicht als Wettbewerbsnachteil erscheint.

Darum kann die Verantwortung nicht allein bei den Laboren liegen. Parlamente, internationale Institutionen, Wissenschaft, Unternehmen, Gewerkschaften und Zivilgesellschaft müssen entscheiden, welche Risiken akzeptabel sind, welche Fähigkeiten besondere Kontrollen erfordern und wann Entwicklung langsamer werden muss. Nicht erst nach einem Unfall. Und nicht erst, wenn ein Unternehmen freiwillig darum bittet.

Kein Abspann

Die Optik des Terminators ist schon Warnung genug. Rote Augen, glänzendes Metall, weglaufen!

Die tatsächliche Entwicklung sieht anders aus. Sie kommt als Forschungsfortschritt, Produktivitätsgewinn, bessere Software und geopolitische Notwendigkeit. Jeder einzelne Schritt lässt sich begründen und klingt sinnvoll. Erst in der Summe entsteht ein Rennen, das wir als Gesellschaft möglicherweise verlieren. Niemand will es aber als Erster freiwillig verlassen.

Die Menschen, die gehen, warnen vor Kontrollverlust, vor fehlender Aufsicht, verdrängter Sicherheitsarbeit oder einer geschönten Debatte über Arbeitsplätze. Gemeinsam stellen sie eine Frage, die sich nicht mehr als Science-Fiction abtun lässt:

Wenn selbst die Entwickler sagen, dass sie ihre Systeme noch nicht sicher beherrschen – warum bestimmen dann ausgerechnet Unternehmen im Wettrennen, wie weit wir gehen können?

  1. OpenAI: GPT-4o System Card, August 2024; OpenAI: GPT-4.5 System Card, Februar 2025. Jacob Coxon ist in beiden Veröffentlichungen als Mitwirkender genannt. ↩

  2. Wall Street Journal: Anthropic Researcher Quits Over “Out-of-Control” AI Fears, 8. September 2026; AFP: Elles “jouent avec nos vies”, 9. September 2026. ↩

  3. AFP: Elles “jouent avec nos vies”, 9. September 2026; zur belegten Rolle Hubingers siehe unter anderem Anthropic: Teaching Claude Why, 8. Mai 2026. ↩

  4. Associated Press: A former OpenAI leader says safety has taken a backseat, 17. Mai 2024; The Guardian: OpenAI putting “shiny products” above safety, 18. Mai 2024. ↩

  5. TIME: Two Former OpenAI Employees on the Need for Whistleblower Protections, 7. Juni 2024; Right to Warn about Advanced Artificial Intelligence, veröffentlicht am 4. Juni 2024. ↩

  6. Miles Brundage: Why I’m Leaving OpenAI and What I’m Doing Next, 23. Oktober 2024. ↩

  7. WIRED: OpenAI Staffer Quits, Alleging Company’s Economic Research Is Drifting Into AI Advocacy, Dezember 2025. ↩

  8. TIME: Anthropic Drops Flagship Safety Pledge, 24. Februar 2026. ↩

  9. OpenAI: The Hugging Face incident and the road ahead, 26. August 2026; WIRED: The Safety Reckoning Inside OpenAI, 17. August 2026. ↩

Weiterdenken

Perspektive beitragen