Gespräch mit Prof. Julian Schröter über Prinzipien, Chancen und Gefahren computergenerierter Literatur
Das Münchner Studentenmagazin Philtrat war Gewinner des Pro Campus Presse Awards 2015 und damit das beste Studentenmagazin Deutschlands. Noch Jahre später belegte es Platz zwei beim Award 2019 und 2020. Bereits seit 32 Ausgaben schreiben die Studierenden hier über die Universität in München, Politik, Kultur, das Großstadtleben – und Literatur und Sprache.
In der aktuellen Ausgabe legt die Redaktion Prof. Julian Schröter, einem Fachmann für Digitale Literaturwissenschaft, zwei in der Ausgabe abgedruckte Gedichte vor und spricht mit ihm über die Prinzipien und Möglichkeiten, aber auch über die Unzulänglichkeiten und Gefahren computergenerierter Literatur. Das Gespräch führten Christopher Bertusch und Samuel Kopp.
*
Wir haben Ihnen im Vorfeld dieses Interviews zwei Gedichte zugeschickt, eines geschrieben von einer studentischen Dichterin, das andere von ChatGPT. Haben Sie eine Vermutung, welches das menschengemachte ist?
Ich finde das erste Gedicht ein bisschen interessanter als das zweite. Ich würde vermuten, dass es von einem Menschen geschrieben wurde und das zweite von einem Computer. Grundsätzlich könnten aber nach dem jetzigen Stand der Technik beide von einem Computer sein.
ChatGPT wie auch die Dichterin sollten uns ein kurzes Gedicht zum Thema „Echt“ schreiben. Die KI hatte aber noch zusätzlich die Anweisung, im Stil von Paul Celan zu dichten, damit haben wir die überzeugendsten Ergebnisse erzielt. Heraus kam dabei das zweite Gedicht. Was halten Sie von dem Ergebnis?
Vielleicht hätte man ChatGPT zuerst ein paar Celan-Gedichte vorzeigen müssen. Erfahrungsgemäß funktioniert diese KI deutlich besser, wenn man ihr einen Kontext und direkte Eingaben bietet. Wir können auch davon ausgehen, dass das Sprachmodell im Englischen besser trainiert ist und eher Gedichte von Wordsworth als von Celan kennt. Es ist unwahrscheinlich, dass es viel Celan gelesen hat.
Wie funktioniert so eine textgenerierende KI wie ChatGPT?
Ein besonderer Trainingsschritt bestand für das Chatmodell von GPT darin, dass es aus positivem Feedback gelernt hat. Auch deshalb formuliert der Chatbot seine Antworten in der Regel so, dass sie zu größtmöglicher Zufriedenheit bei den User*innen führen, anstatt zu wahrheitsgetreuen Aussagen. Das große Problem ist aber, dass wir nicht genau wissen, anhand welcher Daten diese Modelle trainiert werden und was sie in ihren Arbeitsspeicher aufnehmen. Seitdem OpenAI, die Firma hinter ChatGPT, im Jahr 2020 realisiert hat, wie viel Geld da im Spiel ist, ist ihr Modell nicht mehr öffentlich und einsehbar. Vermutlich lernt – anders als viele Menschen annehmen – ChatGPT in der Konversation mit uns nicht weiter dazu. Das wäre bei einem so riesigen Modell viel zu aufwendig. Genau können wir das aber nicht sagen.
Inwiefern ist es überhaupt eine neue Entwicklung, dass Computer Gedichte schreiben?
Computerpoesie gibt es fast so lange, wie es Computer gibt. Im Unterschied zur aktuellen Entwicklung der Chatbots waren die früheren Versuche eine Sache einzelner Spezialisten, die Algorithmen programmieren konnten und das Glück hatten, sich einen der wenigen verfügbaren und teuren Computer leisten zu können. Die früheren Versuche waren insofern in erster Linie experimentell, als sie poetologisch mit Zufall und Determinismus gespielt haben. Dagegen ist die Poesie der heutigen Sprachmodelle einerseits für breite Massen verfügbar und andererseits – zumindest in der gängigen Anwendung, die auch Sie mit Ihrem Beispiel demonstriert haben – ein Spiel in der Logik von Nachahmung und Simulation lyrischer Stile.
Wo liegen aktuell noch die Schwächen der neuen Sprachmodelle wie ChatGPT, wenn es darum geht, Literatur – beispielsweise Gedichte – zu produzieren?
Ich habe mal versucht, das erste Gedicht, von dem ich schon vermutet hatte, dass es das menschengemachte ist, von der KI weiterschreiben zu lassen, und es schwenkte dann recht stark in Kitsch um. Noch ist dieses GPT-Modell nicht gut darin, originell zu sein, sondern es ist gut darin, Erwartungen zu befriedigen. Poetische Originalität wäre etwas, das man als emergente Eigenschaft bezeichnen würde, also eine Eigenschaft der KI, die nicht selbst in deren stochastischer Architektur steckt, sondern ungeplant infolge der Komplexität des Modells entstehen könnte. Ob es allerdings dazu irgendwann einmal kommt, ist Spekulation und im Moment Teil von Gedankenexperimenten.
Ließe sich KI also nach dem jetzigen Stand besser dazu verwenden, Literatur, die nach einem festen Schema funktioniert – wie etwa Drehbücher –, zu schreiben als kreativere Formen wie Lyrik?
Technisch gesehen ist es einfacher, Gedichte zu generieren, da ChatGPT besser mit kurzen Formen umzugehen weiß als mit großen und kausal strukturierten narrativen Bögen. Interessanterweise lässt sich das ältere GPT2-Modell über eine API bedienen, in der ein sogenannter ‚Temperaturregler‘ verfügbar ist, den man dort noch selbst verstellen kann: Niedrigere Temperaturen führen dazu, dass die KI immer das statistisch nächstliegende Wort benutzt. Bei höheren Temperaturen kommen hingegen unwahrscheinlichere und damit in der Regel unsinnigere, aber zugleich auch potenziell originellere Kombinationen zustande. Ich denke aber, und die Autor*innen in Hollywood befürchten es ebenfalls, dass Drehbücher mit hoher Wahrscheinlichkeit bald von KI verfasst werden könnten.
Sollte es nun bald möglich sein, sich regalmeterweise genau die Bücher generieren zu lassen, die man gerne lesen möchte, geht dann nicht der Aspekt von Literatur verloren, dass man auch mal überrascht wird, einem etwas zugemutet wird?
Es gibt seit mehr als 100 Jahren den Heftroman, das am meisten gedruckte und gelesene Medien- und Buchformat auf dem deutschen Markt, und der macht genau das; Liebesromane und auch Krimis sind immer genau die gleiche Geschichte, nur jedes Mal anders erzählt. Die KI könnte, wenn man etwas dystopisch spekulieren möchte, diese Marktlogik zuspitzen und dazu beitragen, dass Menschen mit sozusagen ‚personalisierten‘ Texten innerhalb ihres Erwartungs- und Geschmackshorizonts versorgt werden. Falls so ein Szenario eintritt, hätten wir es aber mit einem allgemeineren kulturellen Problem zu tun, in dem die Sprachmodelle lediglich ein Baustein, aber nicht der Kern des Problems wären.
Worauf sind Sie gespannt, was die Zukunft textgenerierender KI betrifft?
Es wäre interessant, zu sehen, ob wir nicht eine bessere Anwendung für diese Sprachmodelle finden können. Wir denken immer, wir müssen sie verwenden, um Texte zu generieren oder Wissen zu extrahieren. Die zweite Anwendung ist sicher falsch und die erste vielleicht nicht die beste. Vielleicht können die Modelle uns durch ein konsequenteres Training auf historische Semantiken oder gruppenspezifische Sprachpraktiken helfen, z. B. etwas darüber herauszufinden, wie Sprache in geschichtlichen oder sozialen Kontexten funktioniert. Ich glaube, da steckt noch Musik drin.
Gespräch mit Prof. Julian Schröter über Prinzipien, Chancen und Gefahren computergenerierter Literatur
Das Münchner Studentenmagazin Philtrat war Gewinner des Pro Campus Presse Awards 2015 und damit das beste Studentenmagazin Deutschlands. Noch Jahre später belegte es Platz zwei beim Award 2019 und 2020. Bereits seit 32 Ausgaben schreiben die Studierenden hier über die Universität in München, Politik, Kultur, das Großstadtleben – und Literatur und Sprache.
In der aktuellen Ausgabe legt die Redaktion Prof. Julian Schröter, einem Fachmann für Digitale Literaturwissenschaft, zwei in der Ausgabe abgedruckte Gedichte vor und spricht mit ihm über die Prinzipien und Möglichkeiten, aber auch über die Unzulänglichkeiten und Gefahren computergenerierter Literatur. Das Gespräch führten Christopher Bertusch und Samuel Kopp.
*
Wir haben Ihnen im Vorfeld dieses Interviews zwei Gedichte zugeschickt, eines geschrieben von einer studentischen Dichterin, das andere von ChatGPT. Haben Sie eine Vermutung, welches das menschengemachte ist?
Ich finde das erste Gedicht ein bisschen interessanter als das zweite. Ich würde vermuten, dass es von einem Menschen geschrieben wurde und das zweite von einem Computer. Grundsätzlich könnten aber nach dem jetzigen Stand der Technik beide von einem Computer sein.
ChatGPT wie auch die Dichterin sollten uns ein kurzes Gedicht zum Thema „Echt“ schreiben. Die KI hatte aber noch zusätzlich die Anweisung, im Stil von Paul Celan zu dichten, damit haben wir die überzeugendsten Ergebnisse erzielt. Heraus kam dabei das zweite Gedicht. Was halten Sie von dem Ergebnis?
Vielleicht hätte man ChatGPT zuerst ein paar Celan-Gedichte vorzeigen müssen. Erfahrungsgemäß funktioniert diese KI deutlich besser, wenn man ihr einen Kontext und direkte Eingaben bietet. Wir können auch davon ausgehen, dass das Sprachmodell im Englischen besser trainiert ist und eher Gedichte von Wordsworth als von Celan kennt. Es ist unwahrscheinlich, dass es viel Celan gelesen hat.
Wie funktioniert so eine textgenerierende KI wie ChatGPT?
Ein besonderer Trainingsschritt bestand für das Chatmodell von GPT darin, dass es aus positivem Feedback gelernt hat. Auch deshalb formuliert der Chatbot seine Antworten in der Regel so, dass sie zu größtmöglicher Zufriedenheit bei den User*innen führen, anstatt zu wahrheitsgetreuen Aussagen. Das große Problem ist aber, dass wir nicht genau wissen, anhand welcher Daten diese Modelle trainiert werden und was sie in ihren Arbeitsspeicher aufnehmen. Seitdem OpenAI, die Firma hinter ChatGPT, im Jahr 2020 realisiert hat, wie viel Geld da im Spiel ist, ist ihr Modell nicht mehr öffentlich und einsehbar. Vermutlich lernt – anders als viele Menschen annehmen – ChatGPT in der Konversation mit uns nicht weiter dazu. Das wäre bei einem so riesigen Modell viel zu aufwendig. Genau können wir das aber nicht sagen.
Inwiefern ist es überhaupt eine neue Entwicklung, dass Computer Gedichte schreiben?
Computerpoesie gibt es fast so lange, wie es Computer gibt. Im Unterschied zur aktuellen Entwicklung der Chatbots waren die früheren Versuche eine Sache einzelner Spezialisten, die Algorithmen programmieren konnten und das Glück hatten, sich einen der wenigen verfügbaren und teuren Computer leisten zu können. Die früheren Versuche waren insofern in erster Linie experimentell, als sie poetologisch mit Zufall und Determinismus gespielt haben. Dagegen ist die Poesie der heutigen Sprachmodelle einerseits für breite Massen verfügbar und andererseits – zumindest in der gängigen Anwendung, die auch Sie mit Ihrem Beispiel demonstriert haben – ein Spiel in der Logik von Nachahmung und Simulation lyrischer Stile.
Wo liegen aktuell noch die Schwächen der neuen Sprachmodelle wie ChatGPT, wenn es darum geht, Literatur – beispielsweise Gedichte – zu produzieren?
Ich habe mal versucht, das erste Gedicht, von dem ich schon vermutet hatte, dass es das menschengemachte ist, von der KI weiterschreiben zu lassen, und es schwenkte dann recht stark in Kitsch um. Noch ist dieses GPT-Modell nicht gut darin, originell zu sein, sondern es ist gut darin, Erwartungen zu befriedigen. Poetische Originalität wäre etwas, das man als emergente Eigenschaft bezeichnen würde, also eine Eigenschaft der KI, die nicht selbst in deren stochastischer Architektur steckt, sondern ungeplant infolge der Komplexität des Modells entstehen könnte. Ob es allerdings dazu irgendwann einmal kommt, ist Spekulation und im Moment Teil von Gedankenexperimenten.
Ließe sich KI also nach dem jetzigen Stand besser dazu verwenden, Literatur, die nach einem festen Schema funktioniert – wie etwa Drehbücher –, zu schreiben als kreativere Formen wie Lyrik?
Technisch gesehen ist es einfacher, Gedichte zu generieren, da ChatGPT besser mit kurzen Formen umzugehen weiß als mit großen und kausal strukturierten narrativen Bögen. Interessanterweise lässt sich das ältere GPT2-Modell über eine API bedienen, in der ein sogenannter ‚Temperaturregler‘ verfügbar ist, den man dort noch selbst verstellen kann: Niedrigere Temperaturen führen dazu, dass die KI immer das statistisch nächstliegende Wort benutzt. Bei höheren Temperaturen kommen hingegen unwahrscheinlichere und damit in der Regel unsinnigere, aber zugleich auch potenziell originellere Kombinationen zustande. Ich denke aber, und die Autor*innen in Hollywood befürchten es ebenfalls, dass Drehbücher mit hoher Wahrscheinlichkeit bald von KI verfasst werden könnten.
Sollte es nun bald möglich sein, sich regalmeterweise genau die Bücher generieren zu lassen, die man gerne lesen möchte, geht dann nicht der Aspekt von Literatur verloren, dass man auch mal überrascht wird, einem etwas zugemutet wird?
Es gibt seit mehr als 100 Jahren den Heftroman, das am meisten gedruckte und gelesene Medien- und Buchformat auf dem deutschen Markt, und der macht genau das; Liebesromane und auch Krimis sind immer genau die gleiche Geschichte, nur jedes Mal anders erzählt. Die KI könnte, wenn man etwas dystopisch spekulieren möchte, diese Marktlogik zuspitzen und dazu beitragen, dass Menschen mit sozusagen ‚personalisierten‘ Texten innerhalb ihres Erwartungs- und Geschmackshorizonts versorgt werden. Falls so ein Szenario eintritt, hätten wir es aber mit einem allgemeineren kulturellen Problem zu tun, in dem die Sprachmodelle lediglich ein Baustein, aber nicht der Kern des Problems wären.
Worauf sind Sie gespannt, was die Zukunft textgenerierender KI betrifft?
Es wäre interessant, zu sehen, ob wir nicht eine bessere Anwendung für diese Sprachmodelle finden können. Wir denken immer, wir müssen sie verwenden, um Texte zu generieren oder Wissen zu extrahieren. Die zweite Anwendung ist sicher falsch und die erste vielleicht nicht die beste. Vielleicht können die Modelle uns durch ein konsequenteres Training auf historische Semantiken oder gruppenspezifische Sprachpraktiken helfen, z. B. etwas darüber herauszufinden, wie Sprache in geschichtlichen oder sozialen Kontexten funktioniert. Ich glaube, da steckt noch Musik drin.