KI-Geschichten kommen bei vielen besser an als menschengemachte
Eine Studie zeigt, wie schwer KI-Texte zu erkennen sind. Gefallen sie besonders gut, halten viele sie eher für Menschenwerk.
Das Wichtigste in Kürze
- KI-Kurzgeschichten kamen in einer Studie teils besser an als menschliche.
- Besonders positiv wirkten KI-Texte, wenn sie als menschlich galten.
- Viele Teilnehmende konnten KI- und Menschentexte kaum sicher unterscheiden.
Kurzgeschichten aus der Feder von Künstlicher Intelligenz kommen bei Lesern mitunter besser an als solche von menschlichen Autoren. Das ist zumindest das Ergebnis einer aktuellen Studie, die im Journal «Judgment and Decision Making» erschienen ist.
Die rund 1700 Teilnehmenden des ersten von insgesamt drei Experimenten wussten in dem Versuch nicht mit Sicherheit, von wem die Geschichte stammte, die sie lasen.
Die Versuchsleiter hatten die Angabe dazu in der Hälfte aller Fälle vertauscht: Von dem KI-Chatbot ChatGPT verfasste Kurzgeschichten wurden somit als Werke eines Menschen ausgegeben und umgekehrt.
KI-Geschichten gefallen als Menschenwerk am besten
Dabei zeigte sich: Hielten die Teilnehmenden eine KI-Geschichte für ein menschliches Werk, fielen die Urteile am positivsten aus.
Grund dafür sei, dass Menschen die Geschichten menschlicher Autoren eigentlich bevorzugen wollen, sagt Deena Weisberg, die als Psychologin an der katholischen Villanova University in den USA forscht.
«Wir gehen davon aus, dass kreatives Schreiben einzigartige menschliche Fähigkeiten erfordert, etwa Lebenserfahrung oder emotionales Verständnis. Das führt dazu, dass Menschen die Fähigkeiten von KI unterschätzen.»
Teilnehmende erkennen KI-Texte kaum
Zuvor hatten bereits mehrere Studien belegt, dass die meisten Menschen Sachtexte von einer KI nicht von jenen menschlicher Autoren unterscheiden können.
Auch in den zwei folgenden Experimenten, die Weisberg mit ihrer Kollegin Sydney Sears durchgeführt hat, bestätigte sich dieser Befund.
Weniger als jeder Zweite von insgesamt rund 900 weiteren Versuchsteilnehmern konnte nach dem Lesen zweier Kurzgeschichten korrekt zuordnen, welche davon generiert und welche von einem Menschen geschrieben worden war. Das Ergebnis war also statistisch zufällig.
KI schreibt klarer und direkter
Weisberg vermutet, dass der Mechanismus dahinter eine Art Zirkelschluss ist. «KI-Texte sind tendenziell klarer, direkter und leichter zu verarbeiten. Im Gegensatz dazu sind menschlich verfasste Geschichten oft subtiler und komplexer», erklärt sie.
Die KI-Versionen der Geschichten hätten die Themen meist explizit benannt, anstatt von den Lesern zu fordern, Bedeutungen aus den Worten und Handlungen der Figuren selbst abzuleiten. Die Versuchspersonen bevorzugten deshalb die Geschichten von ChatGPT.
Da sie aber der KI mit einer ablehnenden Haltung begegneten, schlussfolgerten sie, dass die Geschichte, die ihnen besser gefiel, von menschlichen Autoren stammen musste, heisst es im Diskussionsteil der Studie.
KI-Erfahrung hilft beim Erkennen
Einen Unterschied machte allerdings, wie viele Erfahrungen die Teilnehmer bereits mit KI-Chatbots gesammelt hatten.
Wer angab, ChatGPT und ähnliche Tools bereits eine Weile zu benutzen, war tendenziell auch etwas besser darin, die Autoren der Texte richtig zuzuordnen.
Das könne daran liegen, dass diese Personen bestimmte Strukturen und Floskeln wiedererkannten, die von KI häufig verwendet würden, sagt Weisberg.
«Verbesserung der KI-Kompetenz könnte eine Möglichkeit sein, den Menschen dabei zu helfen, sich in der neuen, von KI geprägten Welt, in der wir leben, zurechtzufinden», schlussfolgert sie.
Chatbots: Mehr Wiederholungen, weniger Redewendungen
Viele Lehrpersonen stellen sich die Frage, wie sie erkennen können, ob Schüler beim Verfassen von Arbeiten heimlich KI verwendet haben.
Ein Hinweis könnte demnach ein gewisser Mangel an Abwechslung sein. Das heisst, es in einem Beitrag der Gewerkschaft Erziehung und Wissenschaft (GEW).
Chatbots griffen demnach häufig auf Wiederholungen zurück und verwendeten selten Redewendungen, Dialekt oder Slang.
Allerdings gebe es im Netz auch viele Anleitungen, solchen einfachen Erkennungsmerkmalen auszuweichen – und die Sprache wieder menschlicher zu machen. Diese enthält zum Beispiel mehr Fehler.
