KI hat ein Inzestproblem: Warum unsere Zukunft in der Vergangenheit hängenbleiben wird

Es gehört inzwischen zum Grundwissen über grosse Sprachmodelle wie Open AI, Chat-GPT, Googles Gemini oder Elon Musks Grok, dass diese an Daten der Vergangenheit das «Denken» lernen. Weniger verbreitet ist die Sorge, die daraus folgt: dass es den sozialen Fortschritt behindert, wenn Sprachmodelle sich an Daten von gestern ausrichten. Wenn von den ethischen und sozialen Risiken der Sprachmodelle die Rede ist, hört man oft das Stichwort, es drohe ein «value lock-in».

Diese Klage ist nur zum Teil ehrlich. Sprachmodelle werden nach dem Training am Datensatz einem Finetuning unterzogen. Die aus den Daten erlernten Perspektiven, die so voller Vorurteile sind wie die Gesellschaft selbst, werden in diesem Prozess durch moralisch erwünschte Perspektiven überschrieben. Das lässt die Sprachmodelle, wie verschiedene Untersuchungen zeigen, nach links rücken. Da diese politisch korrekteren Perspektiven dann die Outputs der Sprachmodelle bestimmen und damit auch das Denken ihrer Nutzer beeinflussen, bewirken Sprachmodelle weniger eine Wertefixierung als einen Wertewechsel.

Inwiefern dieser Wertewechsel, der sich ohne öffentliche Diskussion in den Labs der KI-Unternehmen vollzieht, den Ansprüchen einer demokratischen Gesellschaft entspricht, bleibe hier dahingestellt. Vielmehr sei dem nachgegangen, was in der KI-Forschung als Inzestproblem oder Modellkollaps bekannt ist – und was dann doch für den Lock-in-Effekt spricht.

Angenommen, eine KI wird mit hundert Katzenbildern trainiert, von denen zehn Katzen mit einem blauen und neunzig Katzen mit einem gelben Fell zeigen. Die KI lernt, dass gelbe Katzen häufiger vorkommen, wird also, wenn sie das Bild einer Katze generiert, meistens eine gelbe Katze zeigen und nur ab und zu eine blaue, der sie dann aber etwas Gelb beimischt. Diese Farbverschiebung verstärkt sich mit jedem neuen Trainingszyklus, in den dann auch die von der KI generierten Katzenbilder eingehen: die gelben Katzen und die blauen mit Gelbstich. Bis die blauen Katzen weniger als ein Prozent ausmachen und von der KI ignoriert werden.

Bereits vor mehr als zwei Jahren warnte der Computerwissenschafter Ilia Shumailov vor diesem «Fluch der Rekursion». Während aber blaue Katzen, sofern es sie tatsächlich gibt, den Menschen im realen Leben weiterhin über den Weg laufen, fallen andere Phänomene, die nur noch über die KI vermittelt auftreten, ins statistische Aus: Unser Bild von Napoleon oder Gorbatschow, unsere Begriffe von Freiheit und Glück. In all diesen Fällen werden wir bald völlig davon abhängig sein, was unser Sprachmodell dazu sagt.

Befragen wir unser Sprachmodell zum Beispiel über Napoleon, erfahren wir, was die meisten Menschen über ihn denken: die meisten der Menschen, die im Datensatz des Sprachmodells präsent sind. Das sind natürlich nicht nur Historiker, denn zu Napoleon haben viele eine Meinung – zumal, wenn gerade einmal wieder ein Blockbuster über ihn in die Kinos kam.

Gegen diese Mehrheit kommen die Historiker selbst dann nicht an, wenn ihr Berufsverband sich zu einem gemeinsamen Communiqué über Napoleon durchringen sollte und lauter Fachaufsätze, Blogs und Tiktok-Videos produziert. Ganz zu schweigen von der Nachwuchswissenschafterin, die eine völlig neue Perspektive auf diesen kriegerischen Modernisierer anbietet. Wie soll sie dafür jemals eine Mehrheit im Datensatz der KI bekommen?

Aber es ist nicht nur so, dass die völlig neue Perspektive eines Nachwuchsforschers oder die etablierten Perspektiven der Gesellschaft für Geschichte nicht mehr gegen die Texte der Hobbyhistoriker und Kinogänger ankommen. Es kommen auch die Texte der Menschen nicht mehr gegen die der KI an, wenn diese in ihren Outputs ständig das wiederholt, was in ihrem Datensatz die Mehrheit auf ihrer Seite hat, und wenn diese Outputs dann zu den neuen Inputs der KI werden.

So verstärkt sich die gestrige Perspektive auf die Welt exponentiell im Datensatz der KI und immunisiert sich gegen jede Neubewertung. Liess die Gegenwart die Vergangenheit bisher nur so weit zu Wort kommen, wie es ihr selbst passte, bestimmt nun die Vergangenheit, was die Gegenwart über sie und sich selber denkt.

Was Informatiker Modellkollaps nennen und oft als «Textinzest» der KI bezeichnet wird, kann auch als «Ouroboros»-Effekt beschrieben werden. «Ouroboros» bedeutet im Altgriechischen «selbstverzehrend» und verweist auf das altägyptische Motiv der Schlange, die sich in den Schwanz beisst: ein in sich geschlossener Kreislauf, völlig autark gegenüber seiner Umwelt, da er sich von seinen eigenen Ausscheidungen ernährt.

In Friedrich Schillers «Briefen über die ästhetische Erziehung des Menschen» ist von einer Spannung zwischen Stoff- und Formtrieb die Rede. Der Stofftrieb steht für die sinnliche Offenheit des Menschen gegenüber der Welt: ein «Zustand der Selbstlosigkeit» gegenüber dem, was ist. Der Formtrieb steht für den Drang des Menschen, der Welt (dem Stoff) eine rationale Ordnung zu geben: So wie die Historikerin dem Material im Archiv einen Sinn gibt.

Stoff- und Formtrieb, so Schiller, müssen sich im Gleichgewicht befinden. Die Übermacht des Stofftriebs führt zur Aufhebung des Menschen, der in der absoluten Hingabe an die Welt dieser nicht mehr sich selbst entgegensetzt; die Übermacht des Formtriebs führt zum Ausschluss der Welt, wenn der Mensch gar keine neuen Aspekte mehr in seine Ansichten über sie aufnimmt: Im ersten Fall wird der Mensch «nie Er selbst, in dem zweyten wird er nie etwas Anders seyn».

Der Formtrieb des Menschen – seine Ansichten zu Napoleon etwa – führt zu neuem Datenstoff für die KI. Zu einem Stoff, den die in ihren eigenen Schwanz verbissene Inzest-KI allerdings ignoriert, weil er mengenmässig unter ihrer Wahrnehmungsschwelle liegt. Der Formtrieb des Menschen kommt gegen den Formtrieb der KI nicht an.

Die Welt – wie der Mensch sie sieht und formt – bleibt somit ausserhalb der KI, die nie mehr etwas anderes sein kann, als sie gestern war. Und insofern der Mensch kaum noch ohne KI auf die Welt schaut, bleibt auch er schliesslich im Gestern stecken. Ende der Innovation, Ende der Geschichte, ewige Wiederkehr des Gleichen.

Als mögliche Abhilfe empfahl Ilia Shumailov eine «Prestigekopie» des ursprünglichen, von Menschen erstellten Datensatzes, an der das Sprachmodell regelmässig aktualisiert wird. Ein solches «Reboot» gäbe zwar den blauen Katzen eine Überlebenschance, nicht aber der neuen Perspektive auf Napoleon.

Zudem müssten regelmässig «neue, saubere, von Menschen erzeugte Datensätze» in das Training der KI eingebracht werden. Diese «sauberen» Daten müssten jedoch nicht nur als solche klar identifizierbar sein. Es stellt sich auch die Frage, inwiefern sie ihrerseits bereits durch KI-Daten verschmutzt sind, wenn der Mensch keine Texte mehr ohne KI liest oder schreibt.

Ein weiterer Vorschlag zur Kollapsvermeidung läge darin, die von der KI generierten Texte einer menschlichen Bewertung zu unterziehen, um unsinnige Texte aus dem Datenpool der nächsten KI-Generation auszuschliessen. Aber wie definiert man Unsinn? Nach den Kriterien von gestern? Entscheidet dann die Gesellschaft für Geschichte, welche Aussagen zu Napoleon passieren dürfen? Die Wortführer der gesellschaftlichen Öffentlichkeit? Oder das breite Publikum?

Die fast verzweifelten Vorschläge der Experten zeigen, auf welch aussichtslose Lage wir zusteuern. Die Identifizierung synthetischer Texte verlangt eine lückenlose und letztlich bürokratische Aufdeckung der eingesetzten Hilfsmittel: Half die KI schon bei der Strukturierung des Textes oder nur beim Feinschliff? Oder half sie gar schon beim Lesen jener Texte, auf die sich der geschriebene Text bezieht? Die menschliche Prüfung synthetischer Texte wiederum weist auf eine zentrale Zensurbehörde, deren demokratischer Status völlig ungeklärt bleibt.

Der Modellkollaps der KI bedeutet zugleich den Kollaps des Vermessungsparadigmas der Moderne. Mit den Sprachmodellen verbleibt die Vermessung nun jedoch nicht länger beim Lesen bestehender Texte, sondern bestimmt auch das Schreiben neuer Texte – mit der Aussicht, dass die formende Verarbeitung der Welt in eine Art Selbstkannibalismus der KI kippt. Die Quantifizierung von Wissen führt dazu, dass die Gesellschaft nicht mehr besser über sich selbst Bescheid weiss, sondern immer schlechter: über blaue Katzen, neue Perspektiven auf Napoleon und über all das, was keine ausreichende Datenspur hinterlässt.

Der Kultur- und Medienwissenschafter Roberto Simanowski ist Distinguished Fellow of Global Literary Studies am Excellence-Cluster «Temporal Communities» der Freien Universität Berlin. Der Text ist ein Auszug aus seinem neuen Buch «Sprachmaschinen. Eine Philosophie der künstlichen Intelligenz», das bei C. H.Beck erschienen ist.