Kovic: «KI-Verharmloser reissen uns in den Abgrund»
«Noch gefährlicher als KI sind nur Leute, die sagen, KI sei ungefährlich», schreibt Sozialwissenschaftler Marko Kovic in seiner Kolumne.
Das Wichtigste in Kürze
- Der bekannte Sozialwissenschaftler Marko Kovic schreibt regelmässig Kolumnen auf Nau.ch.
- Heute schreibt Kovic über die Gefahr superintelligenter Künstlicher Intelligenz.
- Er warnt vor einer KI, die der Menschheit überlegen ist.
Künstliche Intelligenz ist ein existenzielles Risiko für die Menschheit. Sollte es gelingen, KI so weiterzuentwickeln, dass sie ähnlich wie Menschen domänenübergreifend und selbstständig lernen kann, wird KI menschliche Intelligenz übertreffen.
Sobald das passiert, wird KI unkontrollierbar – eine tiefere Intelligenz hat grundsätzlich keine Chance, eine höhere Intelligenz unter Kontrolle zu halten. Wenn wir eine unkontrollierbare höhere Intelligenz erschaffen, können wir auch nicht eingreifen, wenn die KI fehlerhaft wird.
Ende der Menschheit
Bereits minimale Fehler, also minimale Abweichungen zwischen dem, was wir uns wünschen und dem, was die KI macht, sind katastrophal. KI, die intelligenter als Menschen ist, bedeutet darum mit sehr hoher Wahrscheinlichkeit das Ende der Menschheit.
Ob wir jemals KI erschaffen, die superintelligent (intelligenter als Menschen) wird, wissen wir nicht. Klar ist aber, dass die Menschheit diesen Intelligenzsprung, falls er stattfindet, sehr wahrscheinlich nicht überleben wird.
Über dieses Risiko reden KI-Forscher seit über einem Jahrzehnt. Die aktuellen rasanten Entwicklungen von KI machen die Gefahr wichtiger denn je.
Alles halb so wild?
Und ausgerechnet jetzt verkünden immer mehr Leute, die als KI-Experten gelten, dass alles halb so wild ist.
Die Soziologin Elena Esposito erklärte unlängst bei SRF, dass es gar keine Superintelligenz geben kann, weil KI kein «Alien Mind» sei, also so etwas wie ausserirdisches Bewusstsein, das eigene Wünsche hat.
Und überhaupt sei KI gar nicht intelligent. KI erkenne nur Muster in Daten und versteht die Inhalte gar nicht. Ähnlich sieht es der Epidemiologe Marcel Salathé. Er fände künstliche Superintelligenz etwas «Geniales für die Forschung, für die Wirtschaft».
Das existenzielle Risiko von Superintelligenz ist für ihn nur eine «Geistergeschichte». Die KI-Investorin Nicole Büttner pflichtet ihm bei und sagt, wir dürften KI-Entwicklung nicht verlangsamen, sondern im Gegenteil «Tempo machen». Wir müssen «All in» gehen, also alles aufs Spiel setzen.
Und sogar die Philosophin Angela Müller von Algorithm Watch, einer Organisation, die sich dafür einsetzt, «dass Algorithmen und Künstliche Intelligenz (KI) Gerechtigkeit, Demokratie, Grundrechte und Nachhaltigkeit stärken», sieht unkontrollierbare Intelligenz nicht als Problem.
Fahrlässige Aussagen
Wenn KI-Chefs vor dem Risiko von KI warnen und dafür plädieren, die Entwicklung zu verlangsamen, sei das nur ein Versuch, die Konkurrenz aus China auszuschalten. KI an sich sei gar kein Problem. Das Problem ist nur, dass einige wenige Unternehmen so viel Macht haben.
Ich kann verstehen, dass es unangenehm ist, ernsthaft in Betracht zu ziehen, dass wir mit nicht-trivialer Wahrscheinlichkeit auf das Ende der Menschheit zusteuern.
Dass aber hochgebildete Menschen, die sich eigentlich viel mit KI befassen, diese Gefahr ohne gute Gründe als unbedeutend darstellen, ist fahrlässig – denn damit tragen sie dazu bei, dass wir die Risiken dieser Technologie nicht ernst nehmen.
Doch, KI ist selbstverständlich intelligent
Der Einwand von Elena Esposito ist einer, den KI-Verharmloser sehr oft äussern: Superintelligente KI ist doch gar kein Risiko, weil KI überhaupt nicht intelligent ist! KI versteht doch überhaupt nicht, was sie da macht.
Das ist ein Einwand, der so falsch ist, dass er grotesk wirkt. Es spielt überhaupt keine Rolle, ob KI irgendetwas «versteht» oder nicht. Das hat mit dem Problem rein gar nichts zu tun.
Die Computerwissenschaftler Stuart Russell und Peter Norvig erklären in ihrem Standardwerk der KI-Forschung «Artificial Intelligence: A Modern Approach», dass künstliche Intelligenz vier Dinge bedeuten kann: Apparate, die wie Menschen denken. Oder: Apparate, die wie Menschen entscheiden. Und: Apparate, die rational denken. Zuletzt: Apparate, die rational entscheiden.
Das Ziel von KI ist weder, so die Autoren, dass KI wie Menschen denkt oder wie Menschen entscheidet. Das wäre letztlich ziemlich nutzlose KI. Die aktuelle Welle an KI-Entwicklung hat nichts mit Punkten 1 und 2 zu tun.
Wenn man dann in seinem Halbwissen süffisant einwendet, dass KI doch gar nicht Punkt 1 erfülle und darum ungefährlich sei, ist das absurd.
Das ist vollkommen irrelevant. KI zielt teilweise auf Punkt 3 ab: epistemische Rationalität, also das korrekte Schlussfolgern über die Welt.
KI wird immer intelligenter
In erster Linie geht es bei KI aber um Punkt 4: instrumentelle Rationalität. Der Sinn von KI ist, vorgegebene Ziele nutzenmaximierend zu erreichen. Und genau das kann KI immer besser.
Wenn ich ChatGPT sage, sie soll mir Code generieren, um einen Datensatz im Statistikprogramm R zu generieren, ist es vollkommen irrelevant, ob ChatGPT «versteht», was ich meine.
Das Einzige, was zählt, ist, ob ChatGPT einen funktionierenden Code generieren kann. Das kann sie immer besser.
KI wird immer intelligenter. Genau diese Entwicklung gibt Anlass zur Sorge. Das Risiko von KI ist, dass sie instrumentell immer intelligenter wird – und dabei eben ein «dummer» Apparat bleibt.
Es wird eben kein Wesen mit einem Gewissen und einem Bewusstsein und dergleichen. Es bleibt ein Apparat, der vorgegebene Ziele stur verfolgt. Wenn die Fähigkeit des Apparats, Ziele zu verfolgen, grösser wird als unsere Fähigkeit, den Apparat zu stoppen, sind wir am Ende.
Doch, KI ist selbstverständlich ein existenzielles Risiko
Wenn man Leuten wie Marcel Salathé zuhört, fällt auf, dass sie gar keine Argumente haben. Sie können überhaupt nicht erklären, warum KI kein existenzielles Risiko ist. Sie tun die blosse Möglichkeit dieses Risikos als Absurdität ab. Als «Geistergeschichten».
Salathé sagt auch, das existenzielle Risiko von KI sei gleich Null. Leute, die vor dem Risiko warnen, seien wie eine Sekte oder Todeskult. Nein, das Risiko ist nicht gleich null und es ist kein Todeskult, auf das Risiko hinzuweisen.
Es ist lediglich rationale Risikoanalyse: Der Erwartungswert von KI ist katastrophal negativ. Warum, habe ich an anderer Stelle ausführlicher beschrieben. Das Grundproblem ist ganz einfach, wie oben erwähnt, dass eine tiefere Intelligenz eine höhere Intelligenz nicht kontrollieren kann.
All die KI-Verharmloser haben kein Argument, wie das gehen könnte. Weil es solche Argumente nicht gibt.
Und wenn superintelligente KI unkontrollierbar ist, kann bereits die kleinste Abweichung zwischen unseren menschlichen Zielen und der Funktionsweise der KI katastrophale, unumkehrbare Folgen haben .
Die KI-Verharmloser verstehen nicht, dass das Risiko von KI in einer anderen Risikoklasse als die meisten anderen Risiken ist.
Wenn wir von Risiko sprechen, meinen wir damit in der Regel, dass bestimmte negative Ereignisse mit einer bestimmten Wahrscheinlichkeit stattfinden können. Aber das wissen wir bei KI nicht.
Unknown Unknowns
Wir wissen weder, was genau passieren könnte, noch wissen wir, wie wahrscheinlich es ist. Darum ist es unmöglich, zu antizipieren, was für Tricks eine Superintelligenz anwenden könnte, um uns zu überlisten. Egal, wie gut unser Plan ist, der KI den Stecker zu ziehen: Sie wird hundert Wege finden, unseren Plan zu verhindern.
Und wir können uns nicht mal vorstellen, geschweige denn im Detail prognostizieren, wie die KI das machen würde. Die Entscheidungen einer überlegenen Intelligenz sind Unknown Unknowns. Wir können uns analytisch nicht in die Perspektive einer höheren Intelligenz hineinversetzen. Wenn ja, wären wir ja selbst superintelligent.
KI ist kein klassisches, steriles Risiko. KI ist Ungewissheit. Wir wissen nicht genau, was mit welcher Wahrscheinlichkeit eintreten kann. Wir können aber die groben Umrisse der Ungewissheit erkennen. Es ist beispielsweise sehr wahrscheinlich, dass sich eine Superintelligenz durch instrumentelle Konvergenz auszeichnen würde.
Multiplikativer Charakter
Die KI setzt sich selbstständig Zwischenziele, damit sie ihr übergeordnetes Ziel besser erreichen kann. Die Stossrichtung einiger instrumenteller Zwischenziele können wir uns vorstellen.
Es wäre für die KI instrumentell rational, sich über rekursive Selbstoptimierung noch intelligenter zu machen. Und es wäre auch instrumentell rational, sich nicht abschalten zu lassen.
Aber wie genau die KI diese Ziele verfolgt und was für weitere instrumentelle Zwischenziele sie sich dafür setzt, können wir nicht antizipieren.
Auch sehr wahrscheinlich ist, dass das Risiko von KI multiplikativen Charakter hat. Die Gefahr ist nicht nur, dass KI eines Tages beschliesst, alle Menschen umzubringen.
Erwartungswert einer Technologie entscheidend
Die Gefahr ist, dass Fehler in der KI dazu führen, dass es in einem bestimmten gesellschaftlichen Teilsystem zu Problemen kommt, die dann in anderen Teilsystemen zu anderen Problemen führen, bis irgendwann das gesamte System kollabiert.
Es wird gemeinhin drastisch unterschätzt, wie zerbrechlich menschliche Zivilisation ist.
Um die Menschheit in den unumkehrbaren Kollaps zu führen, müsste eine KI nicht mal wirklich superintelligent sein. Es genügt, wenn sie genug intelligent ist, um ausreichend viel Schaden anzurichten, der das gesamte System zum Einsturz bringt. Damit das Kartenhaus einstürzt, genügt es, ein paar wenige Karten herauszuziehen.
Die KI-Verharmloser haben durchaus recht, wenn sie betonen, wie viele positive Dinge superintelligente KI machen könnte. Klar, Superintelligenz hat einen Nutzen. Alles hat einen Nutzen. Aber das ist nicht die Frage.
Die Frage ist, was der Erwartungswert einer Technologie ist. Und der Erwartungswert von KI ist katastrophal negativ: Selbst wenn die Wahrscheinlichkeit, dass unkontrollierbare Superintelligenz entsteht, sehr klein ist, ist das Gesamtergebnis unter dem Strich maximal negativ.
Erst handeln, wenn etwas passiert ist?
KI-Verharmloser betonen gerne, dass all die bisherigen Fälle von KI-Problemen ja noch nicht das sind, was mit unkontrollierbarer Superintelligenz gemeint ist. Das stimmt – aber wir können eben nicht warten, bis das schlimmstmögliche Ereignis stattfindet.
Die übliche Strategie für den Umgang mit Risiken ist, erst dann zu handeln, wenn etwas Schlimmes passiert ist. Das entspricht unserem intuitiven Umgang mit Risiken. Psychologisch ist das die Art, wie wir Risiko verstehen: Etwas passiert und wir lernen daraus.
Mit systemischen, existenziellen Risiken können wir uns diese Art von Risikomanagement aber nicht erlauben. Denn wenn das Schlimme ein einziges Mal eintritt, ist es vorbei.
Team KI oder Team Menschheit
KI ist eine Technologie, deren Folgen ungewiss sind. Aber die Folgen sind potenziell derart negativ und der Erwartungswert ist derart katastrophal, dass wir diese Technologie so gut wie möglich aufhalten und abschaffen müssen.
Um zu verstehen, warum dem so ist, müssen wir einen analytischen Schritt machen, den KI-Verharmloser nicht machen.
Wir müssen über etwas nachdenken, was noch nie passiert ist. Das ist nicht einfach, aber es ist möglich. Mindestens zwei Probleme können wir verstehen, bevor sie eingetreten sind.
Erstens: Eine tiefere (menschliche) Intelligenz kann eine höhere (künstliche) Intelligenz nicht kontrollieren. Zweitens: Bereits minimale Abweichungen unserer menschlichen Ziele von der Funktionsweise höherer künstlicher Intelligenz sind verheerend.
Halsbrecherische Weiterentwicklung
Ich wäre auch gerne ein KI-Verharmloser. Aber um einer zu sein, müsste jemand mindestens eines dieser zwei Probleme lösen.
Entweder muss jemand demonstrieren, dass eine tiefere Intelligenz eine höhere Intelligenz doch kontrollieren kann. Oder jemand muss demonstrieren, dass wir höhere Intelligenz so erschaffen können, dass sie perfekt mit unseren menschlichen Zielen übereinstimmt.
Dass also das sogenannte Alignment (aufeinander Abstimmen von Prozessen und Zielen) erreicht ist. Solange nicht mindestens eines dieser Probleme gelöst ist, ist der einzig rationale Umgang mit dem Risiko, nicht «All in» auf die halsbrecherische Weiterentwicklung von KI zu gehen, sondern auf das Überleben der Menschheit.
Zur Person
Marko Kovic ist Gesellschaftskritiker. Er interessiert sich für gesellschaftlichen Wandel und die Frage, ob wir noch zu retten sind. Er lebt in Uzwil SG.
