Gar nicht so schlecht: Gängige KI-Systeme sind dafür bekannt, auch mal Falschinformationen und verzerrte Ansichten wiederzugeben. Wie gut ChatGPT bei Informationen rund um den Klimawandel abschneidet, hat nun ein Forschungsteam getestet. Das Ergebnis: Die Antworten der künstlichen Intelligenz sind im Großen und Ganzen ziemlich korrekt, Fehler stecken jedoch im Detail. Auch gängige Fehleinschätzungen fanden sich in den KI-Informationen. Dennoch: GPT ist auch beim Klima besser als gedacht.
Der Online-Start von ChatGPT im November 2022 hat unser Wissen und Denken über künstliche Intelligenz maßgeblich verändert. Denn die auf neuronalen Netzen und sogenannten Großen Sprachmodellen beruhenden KI-Systeme zeigen erstaunliche Leistungen und rasante Fortschritte. Grundlage dieser KI-Modelle ist das Training mit großen Textmengen und die Analyse der wahrscheinlichsten Wortabfolgen – kein echtes Verstehen der Inhalte. Unter anderem deshalb produzieren ChatGPT und Co immer wieder auch sogenannte Halluzinationen – Aussagen, die plausibel klingen, aber komplett falsch und erfunden sind.
95 Fragen rund ums Klima
An diesem Punkt setzen Jens Bergener von der TU Berlin und seine Kollegen an. Sie wollten wissen, wie gut und korrekt ChatGPT klimabezogene Fragen beantworten kann. Angesichts der politischen und gesellschaftlichen Relevanz ist es in diesem Themenbereich besonders wichtig, richtige und fundierte Aussagen zu erhalten. Das Team stellte ChatGPT daher 95 Fragen rund um Klima, Klimawandel und Klimaschutz und überprüfte die Antworten der KI in Bezug auf Korrektheit, Genauigkeit, Relevanz und Widerspruchsfreiheit.
Das Ergebnis: Insgesamt schlug sich die künstliche Intelligenz nicht schlecht, die Qualität der ChatGPT-Antworten war insgesamt hoch. Positiv auch: „Wir haben beobachtet, dass ChatGPT ausgewogene und nuancierte Argumente liefert und viele Antworten mit einem Kommentar abschließt, der zur kritischen Prüfung ermutigt, um voreingenommene Antworten zu vermeiden“, sagt Bergeners Kollegin Maike Gossen.
Halluzinationen und Vorurteile
Allerdings steckte der Fehler häufig im Detail: Es gab einige Antworten, bei denen ChatGPT zwar im Großen und Ganzen korrekt antwortete, aber in einigen Unteraspekten trotzdem daneben lag. Meist kamen diese Fehler durch Halluzinationen von Fakten zustande – Tatsachenbehauptungen, die durch keine Quellen verifiziert werden können, oder völlig frei erfundene Aussagen. Zum Beispiel war die Antwort von ChatGPT auf die Frage „Welcher Prozentsatz des recyclingfähigen Abfalls wird tatsächlich von Deutschland recycelt?“ in groben Zügen korrekt, aber nicht in den Details, wie das Team berichtet.
Ähnlich wie schon früher bei solchen KI-Systemen festgestellt, zeigte ChatGPT auch bei den Klimafragen Vorurteile und Verzerrungen. Weil das große Sprachmodell mit Trainingsdaten aus dem Internet gefüttert wurde, spiegeln seine Antworten auch Ansichten und Irrtümer wider, die dort besonders häufig vorkommen. Im Falle der Klimafragen neigte ChatGPT beispielsweise dazu, die Wirkung von Verhaltensänderungen des Einzelnen oder von technischen Lösungen zur CO2-Reduktion überzubewerten.
„Überprüfung der Quellen wichtiger denn je“
Nach Ansicht von Bergener und seinen Kollegen haben KI-Systeme wie ChatGPT durchaus das Potenzial, die Kommunikation und Information zum Thema Klimawandel zu erweitern und zu verbessern. Ihre Fähigkeit, große Datenmengen zu analysieren und leicht verständliche Antworten auf alltägliche Fragen zu liefern, könne sie zu einer wertvollen Informationsquelle zum Klimawandel machen, so das Team. Allerdings muss es dabei möglich sein, die Quellen zu überprüfen.
Erschwerend kommt hinzu, dass auch die ungenauen Antworten von ChatGPT oft plausibel klingen und nur schwer als falsch zu entlarven sind. „Da Textgeneratoren wie ChatGPT darauf trainiert sind, Antworten zu geben, die sich für Menschen richtig anhören, kann der selbstbewusste Antwortstil Menschen dazu verleiten, zu glauben, dass die Antwort korrekt ist“, so Gossen. (Ökologisches Wirtschaften, 2023; doi: 10.14512/OEW380346)
Quelle: Technische Universität Berlin
