KI meistert Multiplayer-Ego-Shooter

Sieg über menschliche Spieler: Erstmals haben lernfähige Bots beweisen, dass sie auch zu komplexem Teamwork fähig sind. Sie lernten erfolgreich, das Multiplayer -Ego-Shooter-Computerspiel „Quake III Arena“ zu meistern. Die auf künstlicher Intelligenz basierenden Bots absolvierten die Spielvariante „Capture the Flag“ sogar erfolgreicher als erfahrene menschliche Spieler, wie Forscher im Fachmagazin „Science“ berichten.

Bots und künstliche Intelligenzen erobern immer mehr Bereiche unserer Lebenswelt. Dabei übertreffen ihre Leistungen oft sogar die des Menschen – zum Beispiel in Strategiespielen wie Schach und Go. Die auf neuronalen Netzwerken basierenden KI-Systeme eignen sich ihre Fähigkeiten größtenteils völlig selbstständig an – indem sie beispielsweise nur auf Basis der grundliegenden Regeln diese Spiele tausende Male gegen sich selbst spielen.

Teamwork als Herausforderung

Doch auf einem Gebiet liegt die KI bislang noch deutlich zurück – beim Teamwork. Zwar können Roboter und Bots interagieren und beispielsweise Schwärme bilden oder in einfachen Spielen gegeneinander antreten. Komplexe Kooperation mit mehreren Partnern gelingt jedoch bisher nur in Teilen. Einer der Gründe dafür: Beim Teamwork muss man sich in seine Partner hineinversetzen um ihr künftiges Verhalten einschätzen zu können. Das aber erfordert komplexe mentale Leistungen.

Einen wichtigen Durchbruch in diesem Bereich haben nun Max Jaderberg und seine Kollegen vom Google-Forschungszentrum DeepMind in London demonstriert. Denn sie haben KI-Systeme entwickelt, die selbstständig ein komplexes Multiplayer-Spiel lernen und dabei als Team agieren – auch zusammen mit menschlichen Spielern. Als Test- und Trainingsumgebung wählten die Forscher „Quake III Arena“, ein bekanntes 3D Multiplayer Egoshooter-Computerspiel.

„Spiele dieser Art faszinieren Millionen von Nutzern wegen ihres immersiven Gameplays, aber auch wegen der Herausforderungen im Bereich Strategie, Taktik, Hand-Auge-Koordination und Teamwork“, erklären die Forscher.

„Capture the Flag“

Für ihr Experiment nutzten die Wissenschaftler den sogenannten „Capture the Flag“-Modus innerhalb von Quake III. „Die Regeln dafür sind zwar einfach, aber die Dynamik ist komplex“, erklären sie. In einer verwinkelten 3D-Umgebung müssen zwei Spieler-Teams versuchen, ihren Gegnern die Teamflagge abzujagen, während sie gleichzeitig ihre eigene Flagge schützen. Durch Schüsse mit Laserpistolen können die Spieler ihre Gegner temporär ausschalten und zur gegnerischen Basis zurückschicken. Das Team, das innerhalb von fünf Minuten die meisten Flaggen eingeheimst hat, gewinnt.

In der Trainingsphase ließen die Wissenschaftler 30 verschiedene Bots in tausenden von Spielen in immer neuen Umgebungen gegeneinander antreten. „Unsere Agenten müssen aus dem Nichts lernen, sich in der unbekannten Spielumgebung zu orientieren, zu agieren, zu kooperieren und sich gegen die Gegner durchzusetzen“, erklären Jaderberg und seine Kollegen. Als Rückmeldung diente der Gewinn oder Verlust des jeweiligen Spiels.

Triumph für die Bots

Nun folgte der eigentliche Test: Die Forscher wählten den in 450.000 Trainingsspielen erfolgreichsten Bot aus und ließen ihn und seine Klone gegen erfahrene menschliche Quake-III-Spieler sowie gegen vom Spiel generierte Akteure antreten. Auch gemischte Teams aus Bots und Menschen absolvierten das Spiel.

Das Ergebnis: In nahezu allen Spielen waren die Bot-Teams ihren Gegnern überlegen. „Die FTW-Agenten übertrafen die Gewinnrate der Menschen deutlich“, berichten Jaderberg und sein Team. „Ein Team aus zwei Menschen eroberte im Schnitt 16 Flaggen pro Spiel weniger als ein aus zwei FTW-Bots bestehendes Team.“ Dabei zeigten die Bots sowohl klassische Spielstrategien als auch ganz neue Spielzüge.

Teamwork mit Bravour gemeistert

Nach Ansicht von Jaderberg und seinem Team demonstriert dies, dass KI-Systeme sich die Fähigkeit zum Teamwork aneignen und dann sogar komplexe Multiplayer-Situationen beherrschen können. „Wenn die KI-Agenten in einer vielfältigen Umgebung mit anderen Akteuren trainiert werden, dann entwickeln sie ein komplexes und überraschend fortgeschrittenes Verhalten“, konstatieren sie.

Interessant auch: Eine bessere Chance hatten die menschlichen Spieler nur dann, wenn sie mit den Bots zusammen in einem Team spielten: „Als Teil eines Mensch-Bot-Teams beobachteten wir in fünf Prozent der Fälle einen Sieg über ein reines Bot-Team“, so die Forscher. „Dieses Ergebnis demonstriert, dass die trainierten Bots dazu fähig sind, mit zuvor unbekannten Teamkollegen zu kooperieren, auch mit Menschen.“ (Science, 2019; doi: 10.1126/science.aau6249)

Quelle: DeepMind, Science News