Die Zahl hinter jeder Behauptung zur Transkriptionsgenauigkeit — wie sie berechnet wird, was sie verbirgt und wie Sie sie an Ihrem eigenen Audiomaterial messen.
Die Wortfehlerrate — WER — ist die Standardmethode, um die Leistung eines automatischen Spracherkennungssystems (ASR) zu messen. Sie vergleicht das maschinelle Transkript mit einem sorgfältig erstellten menschlichen Referenztranskript und zählt drei Arten von Fehlern: Ersetzungen, Auslassungen und Einfügungen. Die Messung ist kniffliger, als sie klingt, denn das ASR-Ergebnis kann eine andere Länge haben als die gesprochene Eingabe.
Hier ist ein einfacher Weg, um zu verstehen, wie die WER berechnet wird:
Eine WER von 5% bedeutet ungefähr einen Fehler pro zwanzig Wörter — andersherum ausgedrückt: 95% Genauigkeit. Zahlen sind allerdings abstrakt. Hier richtet jeder Fehlertyp echten Schaden an:
Ein ausgelassenes Wort, ein ganz anderer Nachmittag für die Rechtsabteilung.
1 Auslassung ÷ 5 Wörter = 20% WER — und 100% der Bedeutung
Dasselbe kleine Wort, ungebeten hinzugekommen. Anleger kurzzeitig am Boden zerstört.
1 Einfügung ÷ 4 Wörter = 25% WER
Ein einziger Buchstabe zwischen einer Party und einem Zwischenfall mit einem Wildtier.
1 Ersetzung ÷ 6 Wörter = 17% WER
Jetzt, da Sie wissen, was als Fehler zählt, rechnen Sie nach. Legen Sie die Länge Ihres Referenztranskripts fest, ziehen Sie die gefundenen Fehler hinein und beobachten Sie, wie sich die Wortfehlerrate verändert — genau diese Rechnung steckt hinter jeder Genauigkeitsangabe, die Sie je lesen werden.
≈ ein Fehler alle 50 Wörter
Sauberes Audio — ein kurzer Blick, und es ist bereit zur Veröffentlichung.
Die Rechnung, live: (6 + 3 + 1) ÷ 500 = 2.0%
Die Spracherkennung hat seit den 1950er-Jahren einen weiten Weg zurückgelegt — unsere kurze Geschichte der Spracherkennung zeichnet den Weg bis hierher nach. Bis 2017 lieferten sich die größten Technologiekonzerne öffentlich ein Rennen um die WER, gemessen an einem Standard-Benchmark aus aufgezeichneten Telefongesprächen:
Mär 2017: IBM gibt 5,5% Word Error Rate an
Mai 2017: Google gibt 4,9% Word Error Rate an
Aug 2017: Microsoft gibt 5,1% Word Error Rate an
Diese Ankündigungen waren wichtig, weil sie sich der Fehlerrate professioneller menschlicher Transkribenten beim selben Benchmark näherten — dem Moment, den die Branche „menschliche Parität" nannte. Doch das Rennen auf sauberen Benchmarks endete faktisch in einer Ansammlung ähnlicher Zahlen. Bei sorgfältig aufgenommenen Testdaten aus einer einzigen Domäne schneidet jede ernstzunehmende moderne Engine gut ab — genau deshalb hörte die Benchmark-WER auf, die interessante Frage zu sein.
Die echten Unterschiede zwischen Transkriptionssystemen zeigen sich inzwischen anderswo: bei Meeting-Audio aus der Ferne, überlappenden Sprechern, starken Akzenten, Fachvokabular und verrauschten Aufnahmen aus der Praxis. Zwei Engines mit nahezu identischen Benchmark-Werten können sich bei Ihrer Telefonkonferenz am Dienstag völlig unterschiedlich verhalten — deshalb ist der einzige Vergleich, der zählt, derjenige, den Sie an Ihrem eigenen Audiomaterial durchführen.
Die WER zählt Wortfehler und nichts sonst — und vieles, was ein Transkript brauchbar macht, ist für sie unsichtbar. Interpunktion und Groß-/Kleinschreibung fließen nicht in die Wertung ein: Eine Wand aus perfekt erkannten Wörtern ohne jede Interpunktion kann eine hervorragende WER erzielen und dabei miserabel zu lesen sein. Auch die Sprecherzuordnung wird nicht bewertet — die richtigen Wörter der falschen Person in den Mund zu legen, ist für die WER kostenlos. Zahlen, Daten und Namen werden genauso bewertet wie jedes andere Wort, obwohl es meist weit teurer ist, „MRSA" oder „Q3-Umsatz" falsch zu erfassen, als ein „der" zu verlieren.
Deshalb ist ein Transkript mit einer etwas höheren Fehlerrate, aber sauberer Interpunktion, Absätzen und Sprecherkennzeichnung oft nützlicher als ein technisch „genaueres" ohne Struktur. Wenn Sie die Transkriptionsqualität beurteilen, lesen Sie die Ausgabe als Dokument, nicht nur als Wortzählung — und gewichten Sie die Fehler danach, was sie Sie kosten würden, nicht danach, wie viele es sind.
Ignorieren Sie die Marketing-Zahl jedes Anbieters, auch unsere — der Test, der zählt, dauert etwa eine Stunde. Wählen Sie zehn Minuten Audio, das Ihre Arbeit wirklich repräsentiert: Ihre Besprechungsräume, Ihre Interviewpartner, Ihr Fachjargon. Erstellen Sie ein sorgfältiges Referenztranskript davon (das ist der langsame Teil — die Referenz muss stimmen). Lassen Sie dann denselben Clip durch jeden Dienst laufen, den Sie bewerten, und zählen Sie Ersetzungen, Auslassungen und Einfügungen gegen Ihre Referenz.
Zwei praktische Warnungen. Erstens: Normalisieren Sie, bevor Sie zählen. Legen Sie von vornherein fest, ob „OK" und „okay", Ziffern und ausgeschriebene Zahlen oder Füllwörter als Fehler zählen, und wenden Sie für jede Engine dieselben Regeln an — hier gehen die meisten Eigenvergleiche schief, nicht beim Zählen. Zweitens: Hören Sie nicht bei der Fehlerrate auf. Notieren Sie, welche Arten von Wörtern jede Engine verfehlt hat und wie viel Nacharbeit die Ausgabe tatsächlich erforderte. Eine Abkürzung, die fast genauso gut funktioniert: Transkribieren Sie den Clip überall, korrigieren Sie jedes Transkript auf Veröffentlichungsqualität und stoppen Sie die Zeit für die Nacharbeit. Die Engine, die Sie bei Ihrem Audiomaterial die wenigsten Korrekturen kostet, ist die genaue — egal, was die Benchmarks sagen.
Wenn Sonix von „bis zu 99% Genauigkeit" spricht, beschreibt diese Zahl klares, gut aufgenommenes Audio — nahe Mikrofone, minimale Hintergrundgeräusche, immer nur eine sprechende Person. Es ist unter diesen Bedingungen eine ehrliche Zahl, und die Schlagzeilen-Zahl jedes Anbieters trägt dasselbe Kleingedruckte, ob er es angibt oder nicht. Die Genauigkeit sinkt mit Störgeräuschen, Entfernung, Sprecherüberlagerung und starker Kompression; keine Engine ist davon ausgenommen, denn die Physik des Audios setzt die Obergrenze.
Behandeln Sie also jede Genauigkeitsangabe als Aussage über ideale Bedingungen und betrachten Sie Ihre eigenen Aufnahmen als den Maßstab, der zählt. Das Audio zu verbessern — ein näheres Mikrofon, ein ruhigerer Raum, immer nur eine Stimme — bringt Ihrer Wortfehlerrate mehr als der Wechsel zwischen zwei beliebigen modernen Engines. Und was danach noch übrig bleibt: Ein synchronisierter Editor, in dem Sie auf ein verdächtiges Wort klicken und das dahinterliegende Audio hören können, schließt die Lücke zwischen gemessener Genauigkeit und einem Transkript, das Sie veröffentlichen können.
Sonix transkribiert, versieht mit Zeitstempeln und organisiert Ihre Audio- und Videodateien, damit Sie Ihre Medien suchen, bearbeiten und teilen können.
Beinhaltet 30 minutes Minuten kostenlose Transkription
KI-Transkription und -Ãœbersetzung in 54+ Sprachen.
Durchsuchen Sie unser Hilfe-Center , Tutorials , und Video-Anleitungen .