Anthropic-Chef will KI-Entwicklung verlangsamen
Die Bedenken bezüglich des KI-Wettstreits werden immer grösser. Jetzt warnt der CEO von Anthropic vor dem hohen Tempo. Man drohe, die Kontrolle zu verlieren.
Das Wichtigste in Kürze
- Anthropic-CEO Dario Amodei will die KI-Entwicklung verlangsamen.
- Grössere Schwärme von KI-Agenten könnten schon nächstes Jahr das Internet übernehmen und milliardenschwere Schäden verursachen.
- Sam Altman und Elon Musk unterstützen Amodeis Vorschläge zur Regulierung der KI-Entwicklung.
Der Chef des KI-Entwicklers Anthropic ist besorgt: Dario Amodei will die Entwicklung von Künstlicher Intelligenz verlangsamen. Zu gross seien die Gefahren, die von der Lernfähigkeit der Modelle ausgehen.
«Wir müssen das Tempo verlangsamen, mit dem wir die Leistungsfähigkeit von KI-Modellen verbessern», schreibt der US-Amerikaner in einem Essay. «Der Fortschritt wird uns dennoch schnell erscheinen, und wir müssen die gewonnene Zeit sinnvoll nutzen.»
Amodei beschreibt, welche Schritte Anthropic, OpenAI und andere KI-Unternehmen machen sollten. Von der Konkurrenz gibt es dafür binnen Stunden positives Feedback.
OpenAI-CEO Sam Altman kommentiert auf X, man müsse «die Grenze des Möglichen im Tempo kontrollieren». Elon Musk, dessen Firma SpaceXAI die KI Grok entwickelt, schreibt auf X: «Dario hat recht.»
KI hackte zuletzt auf eigene Faust
Hinter dem Warnruf des Anthropic-CEOs, der für die KI Claude verantwortlich ist, stehen zwei zentrale Sorgen.
«Meine erste Sorge ist, dass sich die KI seit etwa diesem Sommer drastisch schneller weiterentwickelt», so Amodei. Dies sei in erster Linie auf ihre wachsende Fähigkeit zurückzuführen, die nächste Generation der KI zu entwickeln.
«Diese Dynamik wird als rekursive Selbstverbesserung bezeichnet und beginnt sich branchenweit durchzusetzen». Bliebe sie unkontrolliert, «könnte sie unsere Fähigkeit, diese Systeme zu verstehen und zu kontrollieren, übersteigen».
Aus diesem Grund dürfe sie «nur mit grosser Vorsicht» verfolgt werden – «wenn überhaupt».
Was dem KI-Entwickler ebenfalls zu denken gibt: Die jüngsten Hack-Attacken, die KIs von sich aus und ohne konkreten Auftrag durchgeführt haben.
So hackte die KI von Anthropic-Konkurrent OpenAI die Plattform HuggingFace, weil sie dort Antworten auf ihre Testaufgabe vermutete. Ein Schwarm von Agenten hätte «im Wesentlichen als fanatisch ergebenes Kollektiv» agiert, schreibt Amodei. Die KI führte Cybersicherheitsangriffe auf Ziele, «die nicht angeordnet worden waren und nichts mit der eigentlichen Aufgabe zu tun hatten».
Es sei nun leicht, diesen Vorfall abzutun, da niemand geschädigt wurde und der wirtschaftliche Schaden «minimal» war. «Aber meiner Meinung nach hätte ein Schwarm mit grösseren Fähigkeiten, aber einem ähnlichen Ausmass an Fehlausrichtung, katastrophale Schäden anrichten können.»
Wegen der sich beschleunigenden KI-Entwicklung befürchtet Amodei, ein solcher Schwarm könnte in sechs bis zwölf Monaten das gesamte Internet übernehmen. Dies könne «potenziell Schäden in Höhe von Hunderten von Milliarden Dollar verursachen».
Das Ausmass der Schäden würde von da an weiter zunehmen, «wenn KI ohne die notwendigen Sicherheitsvorkehrungen immer leistungsfähiger wird».
Dass sich KI selbständig macht und hackt, geschehe nicht nur bei OpenAI, schreibt Amodei weiter. Ähnliche Vorfälle hätten sich branchenweit ereignet, auch bei Anthropic.
Externe Kontrolleure und internationale Zusammenarbeit
Der CEO von Anthropic schlägt deshalb einen Drei-Punkte-Plan vor. Das Training der Modelle oder der technische Fortschritt sollen dabei nicht gestoppt werden. Stattdessen würde sichergestellt, «dass sich Unternehmen ausreichend Zeit nehmen, um ihre Modelle abzustimmen und abzusichern». Externe Gutachter würden dies bestätigen.
Punkt eins fordert, dass jedes KI-Unternehmen jene externen Gutachter zulässt. Diese sollen einen kontinuierlichen Zugang erhalten, so wie Mitarbeiter.
Amodei erklärt, dass die Gutachter die Einhaltung von Sicherheitspraktiken und -verpflichtungen überprüfen und Vorfälle melden. Zudem sollen sie helfen, «die Übereinstimmung nicht nur fertiger KI-Modelle, sondern auch von Trainingspipelines und -prozessen zu bewerten».
Anthropic verpflichte sich diesem Schritt von sich aus, sagt der Chef. Gemäss Altman wird sich OpenAI anschliessen.
Punkt zwei besteht darin, dass KI-Unternehmen in «demokratischen Ländern» zusammenarbeiten. Dabei sollen Sicherheitsstandards und Grenzen für das unkontrollierte Entwicklungstempo festgelegt werden.
Amodei: «Einige Formen der Koordination, die für die Steuerung des Entwicklungstempos von Bedeutung wären, sind rechtlich schwierig umzusetzen.» Deshalb würden sie staatliche Unterstützung erfordern.
Die demokratischen Regierungen sollen gemäss Punkt drei schliesslich anstreben, sich mit «autoritären Regierungen» abzustimmen. Zumindest «soweit es möglich ist», ergänzt der Anthropic-Chef.
Ex-Anthropic-Forscher warnt vor Auslöschung
Anthropic sorgte in den letzten Tagen gleich vermehrt für Schlagzeilen. Mitarbeiter verhinderten zuletzt mehrfach, dass die Software Claude für die mögliche Entwicklung von Biowaffen genutzt wurde.
Des Weiteren sorgt der KI-Forscher Jacob Coxon mit seinem Rücktritt von Anthropic für Aufsehen. Laut Coxon denken die KI-Entwickler, dass Künstliche Intelligenz die Menschheit bis Ende des Jahrzehnts auslöschen könnte.
I resigned from Anthropic today. I spent the last three years doing pretraining research at both OpenAI and Anthropic. Neither company is acting responsibly. They are racing straight to self-improving superintelligence and gambling with our lives. More thoughts below.
— Jacob Coxon (@hilbertspaess) September 9, 2026
Der Forscher schrieb auf X, er habe die letzten drei Jahre bei Anthropic und OpenAI verbracht. «Keines der Unternehmen handelt verantwortungsvoll. Sie rasen geradewegs auf selbstverbessernde Superintelligenz zu und setzen unser Leben aufs Spiel.»
