Künstliche Intelligenz schlägt Menschen bei Quake III Arena

Es ist ein weiterer Meilenstein in der Entwicklung der Künstlichen Intelligenz (KI): Nachdem KI-Systeme die besten menschlichen Spieler in Schach und Go geschlagen haben, erreichen sie auch bei 3D-Videospielen mit mehreren Teilnehmern eine höhere Erfolgsquote.

Eine Gruppe des Unternehmens DeepMind in London um Max Jaderberg berichtet in der Fachzeitschrift «Science» über die Weiterentwicklung ihres KI-Systems.

Die Forscher verwendeten den Modus «Capture the flag» («Erobere die Flagge») des Multiplayer-Spiels «Quake III Arena». Bei diesem Computerspiel müssen sich zwei Teams die Flagge des jeweiligen Gegners schnappen und in die eigene Basis bringen. Sie können ihre Gegner durch Laserschüsse ausser Gefecht setzen, diese gelangen nach kurzer Zeit über ihre eigene Basis wieder zurück ins Spiel. Die symmetrisch angelegten Räume und Gänge sollen beiden Teams dieselben Chancen geben und werden nach dem Zufallsprinzip generiert.

Dabei bewegen sich die Spieler in der Ich-Perspektive eines Teammitglieds durch das virtuelle Gelände. Sie müssen mit ihren Gruppenmitgliedern zusammenarbeiten und ihre Gegner in Schach halten. Das programmierte Ziel der Künstliche Intelligenz Agenten ist es, einen möglichst hohen Punktestand zu erreichen.

Dem Multiplayer-Prinzip gemäss trainierten Jaderberg und Kollegen gleich eine ganze Reihe von KI-Agenten parallel, indem diese gegeneinander spielten. Die meisten KI-Agenten entwickelten ein ähnliches Spielverhalten und vergleichbare Strategien. Diese veränderten sich im Laufe der 450'000 Trainingsspiele: Nach einigen Tausend Spielen warteten die KI-Agenten oft in der Basis des Gegners, dass die Flagge dort wieder auftaucht.

Ihre Strategie änderte sich jedoch im Laufe des Trainings. Einige Zeit später folgten viele KI-Agenten eher einem Teamkameraden. «Beim Training in einer genügend reichen Multiagenten-Welt entstand ein komplexes und überraschend hochintelligentes künstliches Verhalten», schreiben die Forscher.

Nach rund 200'000 Spielen waren die Künstliche Intelligenz Agenten im Schnitt besser als die besten Menschen. Zuletzt siegten sie deutlich: Wenn zwei menschliche Spieler gegen zwei KI-Agenten antraten, eroberten letztere durchschnittlich 16 Flaggen mehr.

KI-Agenten reagierten auf das Auftauchen eines Gegners im Durchschnitt nach 258 Millisekunden, Menschen nach 559 Millisekunden. Doch selbst wenn die Forscher die Reaktionszeit der KI-Agenten verlangsamten, blieben die künstlichen den menschlichen Spielern überlegen.

«Der vorgestellte Rahmen für die Schulung von Agentenpopulationen mit jeweils eigenen Belohnungen enthält nur minimale Annahmen über die Spielstruktur», schreiben Jaderberg und Kollegen. Er könne daher für das Lernen in einer Vielzahl von Agentensystemen mit mehreren Teammitgliedern verwendet werden.