Dokumente mit Smart Search durchsuchen

Einführung

Smart Search ermöglicht eine fortgeschrittenere und leistungsstarke Suche in mit Hilfe eines PyLaia-HTR- Modells erkannten Dokumenten. Diese Funktion ermöglicht es Ihnen, die automatisch generierten Transkriptionen genauer zu durchsuchen, ohne dass Sie sie manuell korrigieren müssen. Sie kann sich nicht nur bei Protokollen und Registern als sehr nützlich erweisen.

Während die Standardsuche die Transkription so durchläuft, wie sie im Texteditor erscheint, sucht Smart Search auch nach mehreren Alternativen für jedes erkannte Wort der automatischen Transkription. Die Alternativen erscheinen nicht im Texteditor, sondern sind zusätzlich zur Transkription gespeichert. Mit Smart Search können Sie Wörter auch dann finden, wenn sie vom HTR-Modell falsch transkribiert wurden. So kann Smart Search auch bei automatischen Transkriptionen mit einer hohen Fehlerrate (CER bis 30%) hochwertige Ergebnisse liefern.

Smart Search in Transkribus Lite

Vorbereitung: Erkennung von Text

Um die Smart-Search-Funktion zu nutzen, müssen Sie sie zunächst bei der Texterkennung aktivieren, damit alle möglichen Alternativen zu den Wörtern gespeichert werden und bei jeder Suche abgerufen werden können. 

Wählen Sie die Seiten oder das Dokument, das Sie automatisch erkennen möchten, und klicken Sie auf die Schaltfläche "Texterkennung" im Menü "Aktionen" auf der linken Seite. Wählen Sie dann das am besten geeignete PyLaia-Modell für Ihre Dokumente aus. Nur wenn Sie ein PyLaia-Modell ausgewählt haben, erscheint das Kontrollkästchen "Smart Search" über der grünen Schaltfläche "Erkennung starten" (Abb. 1). 
Aktivieren Sie das Kontrollkästchen, um Smart Search zu aktivieren, d. h. um nicht nur den besten Treffer zu speichern, sondern auch die anderen Alternativen, bei denen das HTR-Modell weniger Vertrauen in ihre Richtigkeit hat. Standardmäßig ist 100 die maximale Anzahl der berücksichtigten und gespeicherten Varianten.

Da die Generierung der Smart-Search-Daten während der Texterkennung einen enormen Rechenaufwand bedeutet und zusätzlichen Speicherplatz erfordert (10x mehr als normal), wird ein Credit-Aufschlag von 50% erhoben. Das heißt, dass Sie statt 1 Credit pro Seite, wie es bei PyLaia-HTR-Modellen normalerweise der Fall ist, 1,5 Credits pro Seite verbrauchen.
Bevor Sie die Texterkennung starten, müssen Sie daher abwägen, ob die Smart-Search-Funktion für Ihre Dokumente hilfreich ist, was davon abhängt, wie Sie die HTR-Transkripte verwenden wollen. Wenn Sie Smart Search zu einem späteren Zeitpunkt verfügbar machen wollen, müssen Sie die Texterkennung auf allen Seiten neu starten, was mehr Credits verbraucht, als wenn Sie Smart Search von vornherein implementieren.

Smart Search verwenden

Wenn die Texterkennung abgeschlossen ist, können Sie Ihre Seiten mit Hilfe der Suchleiste oben rechts in Transkribus Lite durchsuchen. In diesem Stadium müssen Sie keine Optionen auswählen: Geben Sie einfach den Begriff ein und starten Sie die Suche. Die Suche durchsucht automatisch sowohl die Wörter, die im Texteditor erscheinen, als auch alle gespeicherten Alternativen.  

Wenn Sie auf das Ergebnis klicken, wird die Seite geladen, auf der der Begriff gefunden wurde. Wenn der Begriff unter den Varianten gefunden wurde, erscheint er korrekt in der Suchergebnisliste (Abb. 2). Wenn Sie jedoch die entsprechende Seite öffnen, werden Sie feststellen, dass die Transkription ein anderes Wort enthält, nämlich das Wort, das das Modell bei der Erkennung als am besten bewertet hat. Wenn Sie das hervorgehobene Wort im Bild betrachten, sehen Sie, ob die von Smart Search gefundene Variante die richtige Transkription ist (sehr wahrscheinlich) oder ob es sich um eine falsche Vermutung handelt (Abb. 3).

Unterschied zwischen Smart Search und Fuzzy Search

Fuzzy Search und Smart Search mögen auf den ersten Blick ähnlich erscheinen, aber in Wirklichkeit sind die dahinter stehenden Techniken und damit auch die Ergebnisse unterschiedlich. Fuzzy Search ermöglicht es, neben exakten Treffern auch annähernd passende Wörter zu finden: Das ist nützlich bei Rechtschreibfehlern und unterschiedlichen Schreibweisen. Allerdings geht Fuzzy Search nur die Wörter in der Transkription durch und liefert Ergebnisse, die sich nur um ein oder zwei Buchstaben vom gesuchten Begriff unterscheiden. Im Gegensatz dazu führt Smart Search die Suche sowohl unter den transkribierten Wörtern als auch unter den verschiedenen weniger sicheren Varianten durch, die sich erheblich von dem Wort unterscheiden können, das als bester Treffer akzeptiert wurde. 

Nehmen wir zum Beispiel an, dass wir nach dem Namen "Tommaso" in einer Transkription suchen, die von einem PyLaia-HTR-Modell mit einer CER von 20% erzeugt wurde. Fuzzy Search liefert zwei Ergebnisse: Sie erkennt den Namen auch dann korrekt, wenn das HTR-Modell ihn als "Sommaso" (ein Buchstabe falsch) und "Sommato" (zwei Buchstaben falsch) transkribiert. Smart Search hingegen durchsucht sowohl die besten Treffer als auch deren Alternativen und findet eine neue Variante von "Tommaso", die in der Transkription als "Dominato" erscheint. Fuzzy Search ist nicht in der Lage, dieses Ergebnis zu finden, weil sich "Dominato" zu sehr von "Tommaso" unterscheidet; Smart Search hingegen findet es, weil "Tommaso" eine der weniger sicheren Varianten ist, die vom HTR-Modell erkannt und zum Zeitpunkt der Texterkennung gespeichert wurden.

Es ist auch möglich, sowohl Smart Search als auch Fuzzy Search auszuwählen, um beides zu kombinieren und eine Fuzzy Search innerhalb der Varianten durchzuführen.