Einführung

In diesem Leitfaden erfahren Sie, wie Sie die Genauigkeit verschiedener Modelle berechnen und die Genauigkeit der automatischen Transkription im Detail vergleichen können. Außerdem erfahren Sie, wie Sie die Genauigkeit eines Erkennungsmodells vergleichen können, das mit einem Beispielsatz Ihres spezifischen Materials ausgeführt wurde. 

Berechnung der Genauigkeit 

Sie können die Genauigkeit Ihres Modells auf bestimmten Seiten Ihrer Trainings- und Validierungssets mit der Funktion "Compute Accuracy" (Genauigkeit berechnen) auf der Registerkarte "Tools" messen. Dazu müssen Sie zunächst ein HTR-Transkript erstellen. 

Als "Referenz"Wählen Sie eine Seitenversion, die korrekt transkribiert wurde (Ground Truth: manuelle Transkription, die dem Originaltext so nahe wie möglich kommt). Um den aussagekräftigsten Wert zu erhalten, wäre es am besten, Seiten aus einem Beispielsatz zu verwenden, die noch nicht für das Training verwendet wurden und daher neu für das Modell sind. Die Verwendung von Seiten aus dem Validation Set ist ebenfalls eine Option, aber nicht so ideal wie die eben erwähnte. Die Verwendung von Seiten aus dem Trainingsset ist keine gute Idee, da dadurch CER-Werte ausgegeben werden, die niedriger sind als sie tatsächlich sind. 

Als "Hypothese"Wählen Sie die Version aus, die automatisch mit einem HTR-Modell erstellt wurde und an der Sie testen möchten, wie gut das Ergebnis ist. 

Sie können die zu vergleichenden Versionen ändern, indem Sie auf die graue Schaltfläche neben "Referenz" und "Hypothese" klicken. Mit einem Doppelklick können Sie die gewünschte Version des Dokuments im erscheinenden Fenster auswählen. Die Versionen, die für "Referenz" und "Hypothese" ausgewählt werden können, sind verschiedene Versionen Ihres Dokuments, die nach der Ausführung eines neuen Auftrags oder dem Speichern von Transkriptionen erstellt wurden. 

Optionen zur Überprüfung der Ergebnisse der automatischen Transkription

Textversionen vergleichen

Wenn Sie auf "Textversionen vergleichen" klicken, erhalten Sie eine visuelle Darstellung dessen, was das HTR-Modell richtig und falsch transkribiert hat.

Bitte beachten Sie, dass auch dann, wenn nur ein Zeichen falsch ist, das ganze Wort rot markiert ist. In Grün wird das Wort so dargestellt, wie es in der Ground Truth Transkription geschrieben ist. In den Passagen ohne Farbe ist der erkannte Text mit der Ground Truth identisch. 

Vergleichen Sie

Diese Genauigkeitsprüfung ist die schnellste Version. Um sie aufzurufen, klicken Sie auf "Vergleichen...".
Vergewissern Sie sich zunächst, dass im oberen Bereich des erscheinenden Fensters die richtigen Versionen ausgewählt wurden. Klicken Sie dann auf die Schaltfläche "Vergleichen". Das Ergebnis wird nach ein paar Sekunden im unteren Teil des Fensters angezeigt. 

Die Werte werden für die Seite berechnet, die Sie gerade im Hintergrund geladen haben. Im Beispielbild haben wir einen CER von 2,34% auf dieser Seite, was bedeutet, dass 97,66% der Zeichen in der automatischen Abschrift korrekt sind. 

Durch einen Doppelklick auf das Datum und die Uhrzeit in der Spalte "Erstellt" auf der Registerkarte "Einfacher Vergleich" gelangen Sie automatisch zum Fenster "Erweiterte Statistik". Hier erhalten Sie detailliertere Angaben und Werte, und die Ergebnisse können in eine Excel-Datei exportiert werden. 

In der Übersichtsanzeige werden zwei Tabellen angezeigt: eine mit dem "Gesamt"-Wert, das sind die Durchschnittswerte der Erkennung auf allen Seiten eines Dokuments. In der Tabelle darunter finden Sie die Werte für die einzelnen Seiten. Auf diese Weise können Sie die Ergebnisse auf verschiedenen Seiten vergleichen und durch einen Doppelklick auf die Zeile gelangen Sie zum Textvergleich, wo Sie überprüfen können, welche Wörter oder Textpassagen eine Herausforderung waren. 

Hinweis: Die Gewichtung der Seiten für den "Gesamt"-Wert wird auf der Grundlage der Anzahl der erkannten Wörter auf einer Seite berechnet. 

Erweitertes Vergleichen

Beim Öffnen des Fensters "Vergleichen" können Sie eine weitere Registerkarte mit der Bezeichnung "Erweiterter Vergleich" auswählen. 

Mit dem "Erweiterten Vergleich" können Sie die Genauigkeit für mehrere Seiten auf einmal überprüfen, indem Sie die Seiten hinzufügen, die Sie bewerten möchten (z. B. 1-6). Durch Klicken auf die Schaltfläche mit den drei Punkten ganz rechts können Sie einzelne Seiten auswählen. 

Nachdem Sie die Genauigkeitsprüfung durch Klicken auf "Vergleichen" gestartet haben, werden die Ergebnisse in der unten stehenden Tabelle angezeigt. Durch Doppelklicken auf den Wert in der Spalte "Erstellt" gelangen Sie wieder zum Fenster "Erweiterte Statistik". 

Muster vergleichen

Die Funktion "Muster vergleichen" ist nützlich, wenn Sie ein größeres Erkennungsprojekt planen und prüfen möchten, welches Modell Sie wählen sollten, bevor Sie es auf das gesamte Dokument anwenden. Diese Vergleichsfunktion wählt zufällige Zeilen aus dem Beispieldokument aus und testet die Leistung des Modells an diesen Zeilen. 

Es ist sinnvoll, zu Beginn einige Seiten beiseite zu legen, um sie als Musterdokumente zu verwenden. Dies hat den Vorteil, dass das Material, an dem das Modell getestet werden soll, noch nie zuvor gesehen wurde und das Bewertungsergebnis daher zuverlässiger ist. 

Die Funktion "Stichproben vergleichen" befindet sich ebenfalls auf der Registerkarte "Werkzeuge" im Abschnitt "Genauigkeit berechnen". Um sie zu öffnen, klicken Sie auf "Stichproben vergleichen" und geben Sie unter "Neue Stichproben erstellen" die erforderlichen Informationen ein. 

Unter "Anzahl der Zeilen für Probe" können Sie festlegen, wie viele Zeilen Sie testen möchten. 500 sind ein empfohlener Durchschnittswert. Je mehr Zeilen Sie hier angeben, desto geringer ist die Streuung des Ergebnisses und desto genauer ist die Prognose. Bei einem großen Projekt mit vielen Seiten sind vielleicht 1000 Zeilen sinnvoll, bei einem sehr kleinen Versuch reichen vielleicht schon 100 Zeilen. Auch hier gilt, wie bei so vielen Dingen, dass man am besten nach dem Prinzip "Versuch und Irrtum" vorgeht, denn es kommt immer auf das individuelle Ziel an.

Mit der "Baseline-Längenschwelle" können Sie die Länge von Zeilen kontrollieren, was praktisch ist, wenn Sie viele kurze Zeilen in Ihrem Material haben, was z. B. bei Tabellen in Zeitungen häufig vorkommt. So können Sie z.B. festlegen, dass eine Zeile mindestens 20% der Zeilenbreite betragen soll - bei handschriftlichem Material mit nur einer Spalte ist dieser Schritt wahrscheinlich nicht notwendig. Wenn Sie die Option "Zeilentext beibehalten" anklicken, können Sie den Text, den Sie bereits in Ihren Dokumenten haben, buchstäblich beibehalten und müssen nur die Zeilen nach der Erstellung der Probe korrigieren. 

Wählen Sie aus der Liste auf der linken Seite die Sammlung und das Dokument, aus denen die Probe bestehen soll, über die Schaltfläche "Zum Probensatz hinzufügen". Klicken Sie dann auf "Probe erstellen". Transkribus wählt nun zufällig die definierte Anzahl von Zeilen in den ausgewählten Dokumenten aus. 

Der nächste Schritt besteht darin, das Beispieldokument zu laden (Sie können es in Ihrer Sammlung finden) und die Zeilenausschnitte manuell zu transkribieren (wenn Sie den Text nicht wie oben beschrieben behalten haben). Da es sich nur um eine Zeile pro Seite handelt, wird die Transkription in den meisten Fällen schnell gehen. Wenn Sie mit einer Zeile fertig sind, springen Sie zur nächsten Seite des Beispieldokuments, um fortzufahren. 

Wenn Sie mit der Transkription fertig sind, lassen Sie das Modell, das Sie testen möchten, auf dem Beispieldokument laufen - um die Transkription zu erstellen, die Sie dann mit der Funktion "Muster vergleichen" vergleichen können. 

Öffnen Sie dazu im Fenster "Stichproben vergleichen" die Registerkarte "Stichprobenfehler berechnen" und wählen Sie das Dokument aus, das Sie auswerten möchten. Klicken Sie dann auf "Berechnen", um den Auftrag zu starten. Sobald in der Spalte "Status" "Abgeschlossen" erscheint, können Sie auf die Zelle in der Spalte "Erstellt" doppelklicken, um die Ergebnisse zu sehen.