ChatGPT schreibt Geschichte(n). KI-generierte Texte als Grundlage linguistischer Analysen

von Robert C. Schuppe
Beitragsbild

ChatGPT ist überall. Seit der Erstveröffentlichung des Chatbots im November 2022 ist die Diskussion über Chancen und Risiken von Sprachgeneratoren als Gesprächsthema nicht mehr wegzudenken. Im akademischen Kontext ist das insbesondere in Bezug auf Prüfungsleistungen und schriftliche Arbeiten der Fall. Aus der Perspektive der Linguistik halte ich es jedoch auch für eine ausgesprochen wichtige Aufgabe, den Output von Generatoren wie ChatGPT zu analysieren. Dass diese Technologie unsere Gesellschaft nachhaltig verändern wird, dürfte außer Frage stehen. Was jedoch bei der Textproduktion durch Chatbots geschieht, ist nur bedingt nachvollziehbar.

Es gehört zu den Besonderheiten dieser Art der künstlichen Intelligenz, dass die genauen Parameter, die dafür sorgen, dass der Computer das eine oder das andere Ergebnis auswirft, nicht ausgelesen werden können. Es handelt sich sozusagen um eine „Blackbox“. Was zwischen Eingabe und Ausgabe geschieht, bleibt im Wesentlichen intransparent. Aber auch, wenn wir nicht die Generierung der Texte im Detail nachvollziehen können, sollten wir die Ergebnisse analysieren. Das möchte ich hier anhand eines kleinen Beispiels aus dem Bereich der Narratologie tun.

Im Folgenden werde ich untersuchen, welche prototypischen Erzählmuster sich in Geschichten, die von ChatGPT generiert wurden, finden lassen. Ich habe ChatGPT insgesamt 100 Kurzgeschichten erstellen lassen, wobei ich jeweils einen etwas anderen Prompt verwendete, um dafür zu sorgen, dass eine gewisse Vielfalt an Texten entsteht. Beispiele für verwendete Prompts sind etwa:

    • Schreibe eine Kurzgeschichte über Angst!
    • Schreibe eine Kurzgeschichte über einen alten Fischer!
    • Schreibe eine Kurzgeschichte, die in Shanghai spielt!

Verwendet wurde die Version GPT-3.5 über chatgptx.de.

Anschließend teilte ich jede einzelne Erzählung in fünf gleichgroße Teile und ermittelte die Wörter, die über das Korpus hinweg jeweils am signifikantesten (Signifikanz über einen Chi-Quadrat-Test bestimmt) in den Teilkorpora 1/5, 2/5, 3/5, 4/5 und 5/5 überrepräsentiert sind. Damit orientiere ich mich an einer von Noah Bubenhofer vorgeschlagenen Methode, um Sprachgebrauchsmuster zu identifizieren, die sich in bestimmten Textformen verfestigt haben und den prototypischen Aufbau dieser strukturieren. Etwas plakativ gesagt, können wir so herausfinden, welche Struktur ChatGPT auf Basis von Trainingsdaten als typisch für Kurzgeschichten ermittelt hat.

Für jeden der fünf Teile ergaben sich eine ganze Reihe an signifikanten Wörtern, die diese jeweils auszeichnen. Ich werde mich hier auf je ein Adverb pro Teil beschränken, da diese Wortart als besonders aussagekräftig für die Struktur der Erzählungen auffiel.

Teil 1 von 5 – Es war einmal

Im ersten von fünf Teilen taucht besonders häufig das Adverb einmal auf (χ²=135,51). Das folgende Diagramm zeigt, wie sich die Frequenz des Wortes in absoluten Zahlen über die fünf Teile hinweg entwickelt:

Einmal wird oft in Sätzen verwendet, die eine Szenerie etablieren. Das geschieht üblicherweise in der aus Märchen bekannten Floskel es war einmal. So beginnt eine Geschichte etwa mit: „Es war einmal ein kleiner Junge namens Tim, der in einem kleinen Dorf lebte.“ Über diesen tradierten Beginn von Geschichten wird eine Orientierung zu Handlungsort und Protagonist:in der Geschichte gegeben. Gleichzeitig zeigt dieser floskelhafte Anfang dem Lesenden sofort an, dass nun eine Erzählung folgt.

Teil 2 von 5 – Plötzlich geschieht etwas

Das Adverb, das am stärksten den zweiten von fünf Teilen auszeichnet, ist plötzlich (χ²=30,63), wie auch die Verlaufskurve zeigt:

Es markiert Sätze, in denen der/die Protagonist:in plötzlich aus der im ersten Teil beschriebenen Ausgangssituation herausgerissen wird und etwas Ungewöhnliches geschieht. In einer generierten Geschichte über Halloween heißt es: „Mia lief von Haus zu Haus und sammelte immer mehr Süßigkeiten. Doch plötzlich bemerkte sie ein unheimliches Haus am Ende der Straße.“ Dieses Haus ist dann der Ausgangspunkt der Handlung, die sich im Verlauf der weiteren Geschichte entspinnt.

Teil 3 von 5 – Hier am Ort des Geschehens

Nachdem die Handlung ins Rollen gebracht wurde, erreichen die Geschichten etwa in der Mitte meistens einen Punkt, an dem der/die Protagonist:in entweder einen Ort, zu dem er/sie sich aufgemacht hat, erreicht oder ein zentraler Ort, der zuvor eingeführt wurde, näher beschrieben wird. Das geschieht häufig mit dem Adverb hier (χ²=13,15). Der zentrale Handlungsort der Geschichte ist nun erreicht und damit im Normallfall auch das Kernstück der Handlung.

Ein Beispiel für diese nähere Beschreibung eines zentralen Ortes, ist folgendes Zitat: „Während Sarah sprach, konnte Emma die Energie und Leidenschaft spüren, die in diesem Café steckte. Sie wusste, dass sie hier arbeiten wollte, dass sie Teil dieser besonderen Gemeinschaft sein wollte.“ Die Handlung, die im zweiten Teil angestoßen wurde, wird hier weiterentwickelt.

Teil 4 von 5 – Schließlich die Auflösung

Im vierten Teil der Geschichten kommt es in den meisten Fällen zu einer Art Auflösung. In diesem Teil kommt das Wort schließlich häufiger vor als in jedem anderen Teil (χ²=5,96):

Mit Sätzen wie „Schließlich gelang es ihnen, den Dieb zu stellen“ wird die Handlung abgeschlossen. Die Probleme, die im Zentrum der Geschichte stehen, sind nun gelöst oder kurz davor, gelöst zu werden.

Teil 5 von 5 – Immer noch eine Moral

Wenn die Handlung im Wesentlichen schon im vierten Teil abgeschlossen wird, stellt sich die Frage, was noch im fünften und letzten Abschnitt geschieht. Das Adverb immer, das in diesem signifikant häufiger als in allen anderen auftritt (χ²=49,73), gibt einen Hinweis darauf: Es wird zusammenfassend beschrieben, was die Konsequenzen der erzählten Handlung sind. Dabei schwingt in aller Regel eine Moral mit, wie etwa bei: „Und obwohl er nicht mehr arm war, erinnerte sich Johann immer an die Zeiten, in denen er es war.“ Vergiss niemals, wo du herkommst und sieh die guten Dinge in deinem Leben nicht als Selbstverständlichkeit an, scheint die Moral zu sein, mit der diese Geschichte endet.

Aus dieser knappen Analyse der maschinell generierten Geschichten lassen sich mehrere Schlüsse ziehen:

Aus forschungspraktischer Perspektive ist bemerkenswert, dass sich trotz eines verhältnismäßig kleinen Korpus signifikante Belege ergeben. Die von ChatGPT erstellten Texte scheinen so musterhaft zu sein, dass hierfür eine geringere Menge Text nötig ist als in vielen anderen Fällen.

Diese Musterhaftigkeit schlägt sich unter anderem in einem typischen Handlungsaufbau nieder, dem die ChatGPT-Erzählungen immer wieder folgen. Sie beginnen mit einer Exposition, in der die Szenerie etabliert wird, bevor ein unvorhergesehenes Ereignis diesen Ausgangsstatus aufbricht. Nachdem im Mittelteil die zentralen Elemente der Handlung weitere Behandlung finden, kommt die eigentliche Handlung meist bereits im vierten von fünf Teilen zum Abschluss. Der letzte Teil enthält in der Regel ein Fazit, das nicht auf der Handlungsebene angesiedelt ist, sondern vielmehr einen Hinweis darauf gibt, wie die Geschichte zu interpretieren sei. Offensichtlich ist ein integraler Bestandteil der ChatGPT-Geschichten, dass sie mit einer plakativen Moral enden. Dieser Aufbau von Erzählungen ist bestens an Strukturmodelle von Erzählungen wie das von Labov/Waletzky oder das Drei-Akt-Modell von Syd Field anschlussfähig. Auf Basis der Daten, mit denen ChatGPT trainiert wurde, hat der Generator ein Textmuster extrahiert, das dieser als prototypisch für eine Kurzgeschichte einstuft.

Es ist nicht der Anspruch, dieses Beitrags, eine große, umfassende Schlussfolgerung, wie KI-generierte Geschichten funktionieren, zu ziehen. Aber ich bin mir sicher, ChatGPT hätte eine parat. Es gibt schließlich immer eine Moral am Ende.



Diesen Blogbeitrag zitieren
Robert C. Schuppe (2023, 18. Oktober). ChatGPT schreibt Geschichte(n). KI-generierte Texte als Grundlage linguistischer Analysen. Linguistische Werkstattberichte. Abgerufen am 22. Juni 2024, von https://lingdrafts.hypotheses.org/2609

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.

Suche in OpenEdition Search

Sie werden weitergeleitet zur OpenEdition Search