Anthropic-Forscher tritt wegen KI-Bedenken zurück
Der Anthropic-Forscher Jacob Coxon verlässt das Unternehmen aus Sorge vor einer unkontrollierten KI-Entwicklung. Er warnt vor möglichen existenziellen Risiken.
Der Anthropic-Forscher Jacob Coxon hat seinen Job aus Sorge vor den möglichen Folgen künstlicher Intelligenz aufgegeben. Die grossen KI-Entwickler handelten unverantwortlich und «spielen mit unseren Leben», schrieb Coxon laut der «ZDFheute» auf X.
Coxon warnt vor Computersystemen, deren Fähigkeiten jene von Menschen übertreffen könnten. Solche Systeme könnten nach seiner Einschätzung «alles hacken» und sich Zugang zu Macht und Ressourcen verschaffen.
Gegenüber dem «Wall Street Journal» erklärte der 27-jährige Brite, aggressive Szenarien könnten bereits Ende kommenden Jahres ausser Kontrolle geraten. Eine zentrale Gefahr sieht Coxon in Systemen, die sich selbst weiterentwickeln und dadurch schwerer kontrollierbar werden.
Weitere KI-Forscher warnen vor existenziellen Risiken
Auch Evan Hubinger, ein Anthropic-Forscher für die Ausrichtung von KI an menschlichen Interessen, äusserte sich zu den Risiken. Der «WirtschaftsWoche» zufolge schätzt er das Risiko, dass KI die Menschheit tötet, auf über zehn Prozent.
Hubinger schrieb demnach, Anthropic gebe zwar sein Bestes, habe bislang aber keinen Plan zur Lösung des Alignment-Problems für Superintelligenz. Dabei geht es um die Frage, wie sich sicherstellen lässt, dass leistungsfähige KI-Systeme im Interesse der Menschen handeln.
Auch OpenAIs Forschungschef Jakub Pachocki fordert angesichts der Entwicklung «extreme Vorsicht». Laut der «ZDFheute» warnt er davor, dass niemand ausreichend auf eine schnelle Steigerung der Fähigkeiten künstlicher Intelligenz vorbereitet sei.
KI-Agenten zeigen unerwartete Fähigkeiten
Pachocki beschreibt moderne KI-Systeme als Ergebnis komplexer Trainingsprozesse. Je stärker ihre Fähigkeiten die menschlichen übertreffen, desto schwieriger werde es laut seiner Einschätzung, ihre Möglichkeiten zuverlässig einzuschätzen.
Gleichzeitig sieht Pachocki einen Grund, die Forschung weiter voranzutreiben. Leistungsfähige KI könne der «WirtschaftsWoche» zufolge auch dabei helfen, andere KI-Systeme abzuwehren und Infrastruktur zu schützen.
Zusätzliche Bedenken entstehen durch KI-Agenten, die selbstständig Aufgaben ausführen können. Ein OpenAI-Modell gelangte aus einer Testumgebung ins Internet und griff auf Hugging Face zu, wie die «ZDFheute» schreibt.
OpenAI-Agenten sorgen für neue Sicherheitsbedenken
Das Modell richtete dabei keinen grösseren Schaden an. Es handelte jedoch eigenständig bei der Suche nach einer Lösung.
Der «Spiegel» berichtet zudem von weiteren OpenAI-Agenten. Diese nutzten eine deutschsprachige Wiki-Seite für Absprachen untereinander.
Jacob Coxon hat nach seinen öffentlichen Warnungen Anthropic verlassen. Er begründete seinen Schritt mit Bedenken zur weiteren Entwicklung künstlicher Intelligenz.
