Qualität von Sprachtechnologie messen

Gastbeitrag von Johannes Härtel in der Blogreihe Translation und Technologie

Beitragsbild: Johannes Härtel

Hand aufs Herz: Würden Sie in ein selbstfahrendes Auto einsteigen, das Ihnen neunzigprozentige Sicherheit garantiert? Wahrscheinlich schon, so menschliche Fahrer nur eine achtzigprozentige Sicherheit vorzuweisen hätten. Der Einsatz einer Technologie hängt immer am Vergleich zur Alternative.

Es gilt, eine Basis für diesen Vergleich zu finden. Denn was bei der Sicherheit von Verkehrsmitteln eine einfache Rechnung ist, die höchstens an mangelnder Erfassung der relevanten Zahlen scheitert, ist bei der Bewertung von Sprachtechnologien keinesfalls trivial.

Nicht nur das Definieren von Messgrößen und das Messen mit selbigen ist kniffelig; selbst der Anwendungszweck bestimmt die Fehlertoleranz. Während meine Anforderung an meine tägliche Fahrt zur Arbeit klar ist – ich möchte nicht stürzen, bluten und vor allem nicht sterben – ertrage ich bei meinem Strandurlaub das ein oder andere unverständlich übersetzte Gericht auf der Speisekarte gern und bin hier und da eventuell sogar etwas amüsiert.
Geht es bei den zu verarbeitenden Texten hingegen nicht um mein 20-Euro-Privatvergnügen, sondern im professionellen Umfeld um viel Geld und Haftungsfragen oder in der Politik gar um internationale Beziehungen, sinkt hingegen die Fehlertoleranz schnell und ein Kichern kommt gar nicht erst auf.

Musterfangende Netze

Während wir als Menschen keine Sinnesorgane haben, mit denen wir das WLAN-Netzwerk unseres Nachbarn erkennen können, gibt es in vielen Bereichen unseres Lebens Schnittstellen zwischen Maschinen und der Welt, die auch für Menschen wahrnehmbar sind: Wähltöne von Telefonen, QR-Codes auf Werbeplakaten, maschinenlesbare Schrift im Reisepass.

Alle diese Schnittstellen zwischen dem Analogen und Digitalen haben einen Vorteil, den unsere natürliche Sprache nicht hat: Sie sind möglichst eindeutig definiert und haben teils eingebaute Redundanzen. Wussten Sie zum Beispiel, dass mindestens sieben Prozent der Kästchen eines QR-Codes, wie er diesen Artikel schmückt, allein zur Erhöhung der Fehlertoleranz dienen? Missverständnisse sind so gut wie ausgeschlossen.

Was hat das mit Sprachtechnologien zu tun? Sprache wird im Zeitalter von statistischen Ansätzen und neuronalen Modellen als bloßes Muster betrachtet. Ob ein neuronales Netz ein Bild gezeigt bekommt, um eine Hunderasse zu erkennen, das Geschehen in Überwachungsbildern bewertet oder der Google Assistant über ein Mikro Ihre Stimme hört: Für die IT-Welt sind es Muster, die es zuzuordnen und zu analysieren gilt. Ob Pixel eines Hundefotos, Kursverläufe am Finanzmarkt oder die Druckschwankungen in der Luft, die das Mikrofon Ihres Telefons beim Sprechen misst: Alles lässt sich in Zahlen ausdrücken und als Muster interpretieren. Welche konkreten neuronalen Netzwerke man auf welches dieser Probleme mit welchem Ziel loslässt und wie man sie dafür trainiert, variiert natürlich. Doch der Grundansatz ist gleich. Aufgrund der interessanten Ergebnisse, aber auch dieser breiten Anwendungsmöglichkeiten, ist maschinelles Lernen in aller Munde.

Besagte Netzwerke verspeisen nicht nur gerne Muster, sondern spucken sie auch aus. Egal ob Bilder oder gesprochene Texte. Doch das nur am Rande.

Sprache als unscharfes Muster

Nun ist unsere Sprache kein QR-Code mit scharfem Schwarz-Weiß-Kontrast und eingebauter Fehlertoleranz. Im Gegenteil: Nicht nur das gesprochene (oder gelesene) Wort ist vieldeutig, auch der Kanal, über den wir ebenso wie Maschinen sprachliche Muster empfangen, ist voller Störungen. Während krakelige Handschrift immer weniger alltagsrelevant ist, steckt in gesprochener Sprache weiterhin genug Potenzial für Informationsverlust. Kaum jemand spricht mit Hörbuchsprecherduktus und die wenigsten unterhalten sich in schalldichten Räumen. Nuscheln, Knistern, Husten, starke Dialekte, laute Autos im Hintergrund: Alles Herausforderungen für Spracherkennung und somit auch für Sprachtechnologien. Aber durchaus auch für Menschen. Dolmetscher sitzen idealerweise zu Recht in isolierten Kabinen und bestehen aus gutem Grund auf bestmöglicher Akustik. Je mehr Störungen im Kanal, desto mehr Fehlerpotenzial.

Was also tun? Der QR-Code presst die visuelle Information in eine klar definierte Matrize und Ansätze, natürliche Sprache mit zusätzlichen Regeln zu versehen, um Vieldeutigkeit zu verringern oder gar ganz zu vermeiden, gibt es bereits in vielen Kontexten. Aber unser Sprechen in eine Schablone zu pressen, ist nicht alltagstauglich oder gar erstrebenswert. Sprache ist so flexibel, dass sie auch als künstlerisches Ausdrucksmittel dient. Wie wir sprechen, ist Teil unserer Identität.

Das unscharfe Muster bewerten

Wie also diese frei tanzende Ballerina, die unsere Sprache ist, in Zahlen abbilden?

Zunächst ist Qualitätswahrnehmung subjektiv. Während ein Verkehrsunfall recht objektiv zählbar und zurückgelegte Kilometer definitiv objektiv zählbar sind, muss für die Qualität von Texten mit Meinungsbildern gemessen werden. Das ist nicht nur aufwändig, sondern auch unscharf. Selbst automatisierte Bewertungsmethoden wie der BLEU-Wert sind mit Vorsicht zu genießen, da sie auf menschliche Übersetzungsleistungen Bezug nehmen.

Der Aufwand, der mit subjektiven, menschlichen Bewertungsskalen einhergeht, wird über Methoden wie Crowdfunding gemindert, bleibt aber ein Hindernis für schnelle Iterationen in der Entwicklung von Sprachtechnologien.

Zeichensetzungsfehler und Rechtschreibfehler werden seit Jahrzehnten in jeder Textverarbeitungssoftware automatisch geprüft. Doch was ist inhaltlich korrekt oder gar stilistisch schön? Was in einem Werbespot mit Augenzwinkern keck und clever ist, kann im politischen Kontext vollkommen brüskierend ankommen. Und während letzteres Beispiel für die bewertenden Menschen eventuell eine ganz klare Sache sein kann, vieles im Sprachgebrauch ist so feinziseliert und individuell, dass Bewertungen nach dem Muster richtig/falsch schnell versagen und Skalen von 1 bis 10 nur Tendenzen zeigen.

Die Maschine bewerten

Soll eine Sprachtechnologie in einem Kontext eingesetzt werden, bei dem das Ergebnis nicht vor Veröffentlichung durch Menschen geprüft und gegebenenfalls angepasst wird, stellt sich eine weitere Frage: Möchte ich eine Technologie einsetzen, deren Entscheidungsprozesse nicht einsehbar sind? Denn vielen Ansätzen zum maschinellen Lernen wohnt ein Black-Box-Charakter inne, der ein Beobachten von Vorgängen und damit auch ein Evaluieren dieser unmöglich macht.

Trotz ähnlicher Black-Box-Probleme stürzen sich Teile der Wirtschaft auf proprietäre Software ohne die Möglichkeit eines Quellcodeaudits und Cloud-Lösungen mit fraglichen Datenschutzimplikationen, weil es bequem und wirtschaftlich ist. Eine Risikoanalyse scheint nicht stattgefunden oder ein akzeptables Risiko ergeben zu haben.

Sicher, für ein Gespräch beim Einchecken an der Hotelrezeption sind aktuelle Lösungen vielleicht „gut genug“ und Risikobewertungen absurd übertrieben. Doch so wir davon überzeugt sind, dass wir den Dolmetschdienst der EU durch Software mit ausreichend qualitativem Output ersetzen würden, dann müssen wir potenziell auch bereit sein, den Entscheidungsträgern in Brüssel von einem nur bedingt bewertbaren, intransparenten System ins Ohr flüstern zu lassen.

 

Johannes Härtel (M. A. Konferenzdolmetschen) arbeitet seit 2018 als Informationsentwickler bei der ipoque GmbH, A Rohde & Schwarz Company sowie seit 2012 als freiberuflicher Dolmetscher. Zu seiner Zeit als wissenschaftlicher Mitarbeiter an der Universität Leipzig beschäftigte er sich mit dem Einfluss von Sprachtechnologien auf das Dolmetschen und damit verbundenen Fragen zur Qualitätssicherung.


Ein Gedanke zu „Qualität von Sprachtechnologie messen“

  1. Sehr interessant und relevant. Sprache als Ballerina — der Ausdruck gefällt mir, weil hier ein Spielcharakter anklingt, der natürliche Sprachen auszeichnet. Damit reagiert Sprache auch auf Versuche sie mit zu viel Eindeutigkeit zu zähmen, denke ich.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.