Turingtest geknackt – oder doch nicht?

Maschine imitiert Mensch: Ein Chatbot soll angeblich erstmals den Turing-Test bestanden haben. Er hat Menschen erfolgreich vorgegaukelt, dass sie mit einem von ihresgleichen kommunizieren. Immerhin 33 Prozent der Tester hielten das Chat-Programm Eugene Goostman für einen 13-Jährigen Jungen. Allerdings: Namhafte KI-Experten halten das ganze ehr für einen Publicity-Stunt, denn es gebe bereits Rechner, die weitaus besser abgeschnitten hätten.

Der Turingtest geht zurück auf eine 1950 von dem Mathematiker und Computerpionier Alan Turing veröffentlichte Idee. Er schlug vor, die Intelligenz einer Maschine in einer Art Imitationsspiel auf die Probe zu stellen. Wenn ein Mensch in einem Dialog mit einem für ihn unsichtbaren Partner nicht unterscheiden könne, ob sich ein Mensch oder ein Computerprogramm am anderen Ende befindet, dann sei das Programm als intelligent zu werten.

Meilenstein der KI-Forschung

„Auf dem Gebiet der künstlichen Intelligenz gibt es keinen Meilenstein, der kontroverser und ikonischer ist als der Turingtest“, sagt KI-Experte Kevin Warwick von der University of Reading. Computer, die quasi menschliche Dialoge führen können, gibt es schon länger. Immer allerdings kamen sie bisher an einen Punkt, an dem sie sich durch „computeresische“ Ausrutscher verrieten, indem sie simple Fragen falsch verstanden. Denn nur wenn die Bedeutung einer Phrase klar ist, kann auch eine sinnvolle – menschliche – Reaktion darauf erfolgen.

„Ein echter Turingtest gibt weder die Fragen noch die Themen der Gespräche vor“, sagt Warwick. Seinen Angaben nach müssen für das Bestehen des Turingtests mindestens 30 Prozent der Gesprächspartner des Rechners überzeugt sein, mit einem Menschen zu kommunizieren. Dies ist allerdings genauso strittig wie die Frage, ob andere Chatprogramme diesen Test bereits bestanden haben.

Alan Turing - genialer Mathematiker und Computerpionier © National Portrait Gallery, London

Test mit fünf Programmen

Am Samstag, dem 7. Juni, fand bei der Royal Society in London erneut ein großer Turingtest statt –genau 60 Jahre nach dem Tod von Turing und ihm zu Ehren. Fünf Rechner traten dabei an, den Test zu knacken. 30 Juroren führten dabei über Tastatur jeweils fünfminütige Konversationen mit entweder einem Menschen oder aber einem der Rechner. Anschließend sollten sie raten, wer ihrer Meinung nach ihr Gegenüber war – Mensch oder Maschine.

Einer der Teilnehmer-Rechner war Eugene Goostman, ein Chat-Programm, das von dem russischen Forscher Vladimir Veselov und dem Ukrainer Eugene Demchenko entwickelt wurde. Das Programm simuliert einen 13-jährigen Jungen. „Sein Alter macht es absolut glaubhaft, dass er nicht alles weiß, gleichzeitig haben wir eine Menge Zeit damit verbracht, ihm eine glaubwürdige Persönlichkeit zu verleihen“, sagt Veselov.

Herbe Kritik

Das allerdings sorgt auch für Kritik: Denn durch diesen Trick lassen sich einige Schwächen und Dialog-Ausrutscher wegerklären, die normalerweise seine Computernatur verraten würden. Denn der Chatbot sollte zudem einen Jungen darstellen, der aus er Ukraine stammt und damit kein englischer Muttersprachler ist. Das werten viele als Schummeln. „Er hat den Turingtest geschlagen, indem er die Regeln verändert hat“, kritisiert Mike Machnick vom Magazin Techdirt.

Tatsächlich schaffte es Eugene als einziges Programm im Test, die Juroren in 33 Prozent der Dialoge davon zu überzeugen, dass sie mit einem Menschen kommunizieren. Für Warwick ist dies ein klarer Beleg dafür, dass das Programm den Turingtest bestanden hat. Andere KI-Experten sehen darin ein eher schwaches Ergebnis, andere Chatbots hätten bereits bessere Ergebnisse erzielt. „Es gibt in diesem Beispiel nichts, weswegen man beeindruckt sein müsste“, kommentiert der KI-Forscher Joshua Tenenbaum vom MIT im Magazin „Wired“. Denn einen Juror über kurze Zeit zu täuschen, sei einigen Rechnern bereits vor Jahrzehnten gelungen. Sie halten den Hype daher für absolut übertrieben.

(University of Reading / Wired, 10.06.2014 – NPO)