Benchmarking der mehrsprachigen Datentranskription für ein globales KI-Unternehmen

Im Rahmen seiner Arbeit zur Entwicklung von KI-Modellen führte ein weltweit tätiges KI-Unternehmen einen formalen Vergleichstest zur Datentranskription durch, bei dem Anbieter in vier Sprachen getestet wurden. Acolad erzielte eine Fehlerquote von 0–1 % und belegte den ersten Platz. Dies verschafft unseren Kunden die Möglichkeit, eine skalierbare, mehrsprachige KI aufzubauen. Und so funktioniert es.

 


Industrie und Dienstleistungen

Über unseren Kunden
Ein weltweit tätiges Technologieunternehmen, das KI-gestützte Produkte entwickelt, für deren Modelltraining hochwertige mehrsprachige Audiodaten benötigt werden.

Da das Unternehmen in mehreren Märkten tätig ist, benötigte es einen kontrollierten, messbaren Anbietervergleich, um sicherzustellen, dass es über den besten mehrsprachigen Datentranskriptionsprozess für vier Sprachen – Französisch, Deutsch, Spanisch und Portugiesisch – verfügt, um das Training seines KI-Modells voranzutreiben.

Die Herausforderung

Wie man Trainingsdaten für Audio-KI sprachübergreifend zuverlässig skaliert

Bevor dieser Kunde seinen KI-Trainingsbetrieb auf verschiedene Sprachen und Märkte ausweiten konnte, musste er Vertrauen in seine mehrsprachigen Daten gewinnen. Ansonsten bestanden reale Risiken: uneinheitliche Qualität über die Sprachpaare hinweg, von verschiedenen Anbietern unterschiedlich angewandte Annotationsrahmen sowie eine Trainingspipeline, die später kostspielige Korrekturmaßnahmen erfordern würde.

Ein formeller Vergleichstest war der richtige erste Schritt – allerdings nur, wenn alle Anbieter nach denselben Regeln vorgingen. Für eine KI-Trainingspipeline bedeutet dies Konsistenz auf Segmentebene über alle Annotationsdimensionen hinweg. Der Kunde verlangte:

  • Präzise Abstimmung der Zeitstempel

  • Sprecherunterscheidung, die auch bei überlappenden Sprachströmen funktioniert

  • Eine konsistente Klassifizierung von Akzenten, die nicht vom Dolmetscher abhängt

  • Emotionskennzeichnung mit kalibrierten Intensitätswerten statt subjektiver Bezeichnungen

  • Standardisierte, nicht sprachbezogene Marker, die von allen Annotatoren einheitlich angewendet werden

Schon geringfügige Abweichungen bei diesen Faktoren hätten enorme Auswirkungen gehabt – sie hätten die Datensätze für das anschließende KI-Training unbrauchbar gemacht.

Anhand eines messbaren Vergleichs dieser Kennzahlen war der Kunde in der Lage, Anbieter zuverlässig zu bewerten, die ihm am besten dabei helfen konnten, das KI-Training in großem Maßstab auszubauen.

concept of fingers typing on keyboard with data streaming as abstract red orange waves

„Unsere Aufgabe besteht nicht nur darin, Daten zu liefern – wir wollen unseren Kunden das für die Skalierung notwendige Vertrauen geben. Wenn ein Kunde die Transkriptionsqualität in vier Sprachen gleichzeitig vergleicht, muss die Qualität von Anfang an in die Produktionsumgebung integriert werden und darf nicht erst im Nachhinein überprüft werden.“

 

Jennifer Nacinelli, AI Data Program Manager, Acolad

Stellen Sie Ihrer KI hochwertige, mehrsprachige Daten in großem Umfang bereit

Acolad liefert zielgerichtete, präzise und zuverlässige Datensätze, um die bestmögliche Leistung im Bereich KI und maschinelles Lernen zu gewährleisten.

square-56
Die Lösung

Ein maßgeschneiderter Workflow zur Datenannotation, der auf spezifischen Richtlinien basiert

Acolad hat für das Projekt ein maßgeschneidertes Transkriptions- und Tagging-Modul entwickelt und dabei die Vorgaben des Kunden direkt in die Produktionsumgebung integriert. Jede Funktion war auf einen bestimmten Ausfallmodus ausgerichtet:

  • Durch die Kontrolle der Zeitstempel auf Segmentebene wurden mögliche Abweichungen bereits an der Quelle behoben

  • Die Sprecherunterscheidung und die Akzentklassifizierung erfolgen über dieselbe Benutzeroberfläche, wodurch Fehler bei der Übergabe reduziert werden

  • Emotionskennzeichnung mit Intensitätsbewertung über strukturierte Eingabefelder, nicht über Freitext

  • Automatisierte Qualitätssicherungsprüfungen, die während der Verarbeitung und vor der manuellen Überprüfung ausgelöst werden

  • Abschließende Validierungsprüfung vor der Bereitstellung mit dokumentierten Ergebnissen für die Benchmarking-Analyse des Kunden

Die Vortranskription mittels automatischer Spracherkennung (ASR) wurde mit einer KI-gestützten Nachbearbeitung kombiniert, die sich an den Projektrichtlinien orientierte – ergänzt durch menschliche Überprüfung in allen Phasen, in denen die Auslegung der Richtlinien eine Ermessensentscheidung erforderte.

Der Kunde erhielt nicht nur die Daten, sondern auch den Prüfpfad, um diese unter denselben Bedingungen mit denen aller konkurrierenden Anbieter zu vergleichen.

Die Ergebnisse auf einen Blick

Nr. 1

Acolad schnitt besser ab als alle konkurrierenden Anbieter

4

Gleichzeitig angebotene Sprachen

0-1 %

Gesamtfehlerquote

Alle Zahlen stammen aus einer eigenen Benchmarking-Analyse des Kunden für Anbieter.
Das Ergebnis

Eine zuverlässige mehrsprachige Datenbasis für skalierbare KI

Acolad schnitt im Vergleichstest besser ab als alle anderen Anbieter. Die vom Kunden selbst durchgeführte Analyse ergab eine Fehlerquote von 0–1 % über den gesamten ausgewerteten Datensatz hinweg.

Die Ergebnisse zum Sprachniveau wurden transparent dokumentiert – bei Spanisch/Portugiesisch wurden keine Fehler festgestellt, bei Französisch/Deutsch gab es nur sehr wenige kleinere Fehler.

Der Kunde verfügt nun über eine Anbieterauswahl, die auf Fakten und nicht auf Annahmen beruht. Und über einen Produktionsworkflow, der sich innerhalb einer geregelten Annotationsumgebung skalieren lässt – mit denselben Qualitätskontrollen, die den Benchmark-Erfolg ermöglicht haben.

Nun ist der Kunde in der Lage, seine KI-Modelle anhand zuverlässiger mehrsprachiger Daten zu trainieren – und sein mehrsprachiges KI-Training im Produktionsmaßstab auszuweiten.

freelancer-avatars-centered 1

Suchen Sie nach einer zuverlässigen Lösung für die Datentranskription in großem Umfang?