Zerstörerischer Kreislauf: Immer mehr Internet-Inhalte stammen von künstlichen Intelligenzen und bilden damit das Trainingsmaterial der nächsten KI-Generationen. Doch das könnte fatale Folgen haben, wie nun ein Experiment aufdeckt: Schon nach wenigen KI-Generationen führt dieser „Zirkelschluss“ zum Kollaps von Sprachmodellen. Die Resultate werden immer schlechter, bis die KI-Systeme schließlich nur noch Unsinn ausgeben, wie Forscher in „Nature“ berichten. Wie aber ließe sich das verhindern?
Künstliche Intelligenzen in Form großer Sprachmodelle oder Bildgeneratoren lernen, indem sie Wahrscheinlichkeiten von Text- oder Pixelabfolgen in großen Datenmengen auswerten. Bisher bestehen diese Trainingsdaten primär aus von uns Menschen erzeugten Inhalten. Dadurch lernen die KI-Systeme, sinnvolle und zum Prompt passende Texte, Bilder, Mathegleichungen oder auch Computerprogramme zu generieren. Sogar das Schummeln und Lügen haben GPT und Co schon gelernt.
KI lernt von KI
Doch es gibt ein Problem: Durch den Boom der künstlichen Intelligenz nimmt auch im Internet der Anteil der KI-generierten Inhalte zu – und damit im Pool der Trainingsdaten für künftige KI-Systeme: „Wenn dann die Trainingsdaten künftiger KI-Modelle weiterhin aus dem Web entnommen werden, trainieren diese KI-Systeme unweigerlich mit den Daten ihrer Vorgänger“, erklären Ilia Shumailov von der University of Oxford und seine Kollegen. Im Prinzip kommt es damit zu einer Art Zirkelschluss: KI lernt von KI.
Welche Folgen dies für künftige KI-Generationen haben könnte, haben Shumailov und sein Team nun erstmals systematisch untersucht. „Wir bewerten dabei die gängigste Trainingsform eines Großen Sprachmodells, bei der vortrainierte Modelle mithilfe neuer Trainingszyklen verbessert werden“, erklären sie. Im Experiment fütterten sie dafür das Sprachmodell OPT-125m von Meta anfangs mit einem Datensatz aus Wikipediatexten. Folgegenerationen dieses KI-Systems erhielten für ihr Fine-Tuning dann nur noch die von ihrem Vorgänger generierten Daten oder eine Mischung aus 90 Prozent KI-Daten und zehn Prozent menschengemachten Originaldaten.
Degradierung nach fünf, Kollaps nach neun Generationen
Das Ergebnis: Schon nach fünf KI-Generationen zeigte sich eine deutliche Verschlechterung der Antworten. „In den meisten Fällen bekommen wir einen Kaskaden-Effekt, durch den sich einzelne Ungenauigkeiten kombinieren und die Fehler insgesamt immer weiter zunehmen“, berichten die Forscher. So erzeugte die KI zunehmend Wort- und Satzwiederholungen. „Wenn man sie aber explizit auffordert, solche Wiederholungen zu meiden, werden ihre Ausgaben noch schlechter.“
Die degradierte künstliche Intelligenz antwortet nicht mehr auf die gestellte Frage oder ist auf nur noch einen kleinen Teilaspekt der Antwort fixiert. „Das Modell versteht die geforderte Lernaufgabe nicht mehr“, so Shumailov und seine Kollegen. Nach neun Generationen gab das Sprachmodell nur noch sinnlose Sprachbrocken und Zeichenfolgen aus – es war kollabiert.
„Das ungefilterte Lernen auf Basis von KI-generierten Daten bewirkt einen Kollaps der Modelle – einen degenerativen Prozess, bei dem sie mit der Zeit die wahre Verteilung der zugrundeliegenden Originaldaten vergessen“, erklärt das Team. Weil aber diese Häufigkeitsverteilung die Basis für das Lernen der künstlichen Intelligenz bildet, entwickelt sie sich zurück – sie wird immer dümmer.
Nur noch Golden Retriever
Die Auswirkungen eines solchen KI-Kollapses verdeutlicht die nicht an der Studie beteiligte KI-Forscherin Emily Wenger von der Duke University an diesem Beispiel: Nehmen wir an, ein Bildgenerator wird darauf trainiert, möglichst realistische Abbildungen von Hunden zu erstellen. Als Datenbasis dienen ihm dabei Fotos verschiedener Hunderassen aus dem Internet. Weil dort jetzt schon beliebte Rassen wie Golden Retriever häufiger vorkommen, wird auch der Bildgenerator diese Rassen bevorzugt als prototypisches Hundebild ausgeben.
Trainiert man nun die nächste Generation der Bildgeneratoren mit diesen KI-generierten Hundebildern, fehlen bereits einige seltenen Rassen, weil die Vorgänger-KI sie nicht dargestellt hat. „Nach genügend Zyklen wird das KI-Modell vergessen, dass es die seltenen Hunderassen überhaupt gibt und irgendwann nur noch Hundebilder mit Golden Retrievern ausgeben“, erklärt Wenger. Am Schluss ist die Datenbasis so schmal, dass das KI-System nicht einmal mehr diese Hunde korrekt darstellen kann – es kollabiert.
„Wir sollten dieses Problem ernst nehmen“
Im Experiment war dieser KI-Kollaps nahezu unvermeidbar, sofern die künstliche Intelligenz nicht ein gewisses Mindestmaß an menschengemachten Daten für ihr Training erhielt. „Anders ausgedrückt: Die Veröffentlichung von KI-generierten Daten im Internet kontaminiert die Datensammlung, die für das Training ihrer Nachfolger benötigt wird“, erklären Shumailov und seine Kollegen. „Wir sollten dieses Problem daher ernst nehmen, wenn wir auch künftig noch vom Internet als Trainingsmaterial für künstliche Intelligenz profitieren wollen.“
Nach Ansicht der Forscher droht diese allmähliche Degeneration mit anschließendem Kollaps nicht nur bei Textgeneratoren, sondern auch bei anderen generativen künstlichen Intelligenzen. Nicht getestet haben sie allerdings, was passiert, wenn ein KI-System nicht mit den eigenen Produkten gefüttert wird, sondern mit denen eines anderen KI-Modells. „Angesichts der Tatsache, dass das Internet von den Daten verschiedener KI-Modelle geflutet wird, wäre dies realistischer“, sagt Wenger. „Ob auch dann ein Kollaps droht, bleibt abzuwarten.“
Wasserzeichen für KI-Inhalte?
Sollte sich das Szenario der Forscher bestätigen, gibt es jedoch ein weiteres Problem: Inzwischen ist kaum noch erkennbar, welche Daten im Netz von GPT und Co stammen und welche von Menschen. Selbst ausgefeilte KI-Algorithmen scheitern regelmäßig daran, KI-generierte Texte oder Fotos zu erkennen. Wenn KI-Unternehmen automatisierte Datensammler einsetzen, um Trainingsdaten zu akquirieren, dürfte daher es schwer werden, die nichtmenschlichen Daten gezielt herauszufiltern.
Wie aber lässt sich der fatale KI-Kreislauf dann verhindern? Nach Ansicht von Shumailov und seinem Team wäre die beste Lösung, eine Art Wasserzeichen in alle von künstlicher Intelligenz erzeugten Texte, Bilder oder Videos einzubauen. Das allerdings erfordert eine konzertierte Aktion aller Hersteller von generativen KI-Systemen. Konkurrenten wie OpenAI, Meta, Google und Co müssten dafür zusammenarbeiten – ob das realistisch ist, bleibt vorerst offen. (Nature, 2024; doi: 10.1038/s41586-024-07566-y)
Quelle: Nature
