Verwendung der Funktion "Structural Tagging" und deren Training mit P2PaLA

Diese Anleitung zeigt Ihnen, wie Sie Ihre Dokumente mit Struktur-Tags wie "Absatz", "Überschrift", "Bildunterschrift" oder "Fußzeile" anreichern können. Mit diesem Mark-Up ist es möglich, die Struktur Ihrer Dokumente zu definieren. Mittlerweile ist es auch möglich, die Struktur eines Dokuments in Transkribus mit dem P2PaLA-Training zu trainieren.

Falls Sie Informationen zu den wort- und phrasenbasierten Tags wie Personen, Orte usw. suchen, schauen Sie sich bitte die Anreicherung transkribierter Dokumente mit Mark-up | READ COOP und das Transkribus Transkriptionskonventionen Anleitungen an.

Einführung

Mit der strukturellen Tagging-Funktion können Sie die Struktur Ihrer Dokumente kennzeichnen.

Außerdem ist es möglich, Modelle zu trainieren, um die Struktur Ihrer Dokumente automatisch zu erkennen. Das Hinzufügen von Struktur-Tags erzeugt Trainingsdaten für diesen Prozess.

Sie müssen nicht jedes Merkmal Ihrer Dokumente kennzeichnen - konzentrieren Sie sich auf die Markierung der Abschnitte, die für Sie von Interesse sind.

Die strukturelle Tagging-Schnittstelle in Transkribus ermöglicht Ihnen

• die Gliederung Ihrer Dokumente in strukturelle Abschnitte wie Absätze, Überschriften oder Seitenzahlen.
• benutzerdefinierte Tag-Kategorien für Ihre individuellen Bedürfnisse hinzuzufügen.
• in Zukunft diese Strukturinformationen für das Training eines Modells zu verwenden.

Strukturelle Tagging-Schnittstelle

• Öffnen Sie zunächst Ihr Dokument in Transkribus
• Die Schnittstelle für die strukturelle Kennzeichnung finden Sie, indem Sie auf die Registerkarte "Metadata" und dann auf die Registerkarte "Structural" klicken.

Abbildung 1 Wo Sie die Optionen für die Strukturmarkierung finden

• In der Mitte der Registerkarte sehen Sie die verschiedenen vordefinierten Strukturtypen.

Erstellen Sie Ihre eigenen Tag-Kategorien

• Um eigene Tag-Kategorien zu erstellen, klicken Sie auf die Schaltfläche "Customize". Es öffnet sich das Fenster "Tag Configuration".

Abbildung 2 Schaltfläche "Customize

• Um eine neue Tag-Kategorie zu erstellen, geben Sie einfach den Namen in das leere Feld am unteren Rand des Fensters ein und klicken dann auf die grüne Plus-Schaltfläche.

Abbildung 3 Erstellen einer neuen Tag-Kategorie

• In diesem Fenster können Sie auch die Farben der Tags anpassen, indem Sie auf den farbigen Bereich neben einem Tag klicken und dann die gewünschte Farbe auswählen.

Abbildung 4 Anpassen der Farben

Abbildung 5 Farbe wählen

• Die neuen Tags, die Sie erstellt haben, sind automatisch auch für alle Ihre Dokumente in allen Ihren Collections verfügbar.

Zuweisen von Tags zu Elementen Ihres Dokuments

• Sie können Textbereichen und Zeilenbereichen auf jeder Seite Ihres Dokuments Tags zuweisen.
• Das System der automatischen Strukturerkennung ist regionenbasiert, daher ist es am sinnvollsten, Zeilen zu markieren.
• Hinweis: Sie müssen nicht jedes Merkmal Ihrer Dokumente markieren - das Ziel ist es, die Abschnitte zu markieren, die für Sie von Interesse sind.
• Um ein Tag zu platzieren, klicken Sie zunächst auf die Schaltfläche "Item Visibility" im Hauptmenü und stellen Sie sicher, dass Text- und Linienbereiche in Ihrem Dokument sichtbar sind.

Abbildung 6 Schaltfläche "Objektsichtbarkeit

• Klicken Sie auf einen Text- oder Linienbereich in Ihrem Dokument. Sie können mehrere Bereiche auf einmal auswählen, indem Sie die "STRG"-Taste auf Ihrer Tastatur gedrückt halten und dann in Ihr Dokument klicken.
• Sie haben dann zwei Möglichkeiten:
  • Sie können den Tag entweder hinzufügen, indem Sie auf die grüne Plus-Schaltfläche rechts neben der gewünschten Tag-Kategorie in der Registerkarte "Structural" klicken.

Abbildung 7 Zuweisen von Tags mit der grün-weißen Kreuztaste

• Oder klicken Sie mit der rechten Maustaste auf den markierten Abschnitt in Ihrem Dokument und wählen Sie dann unter "Assign structure type" den gewünschten Tag.

Abbildung 8 Zuweisen von Tags durch Rechtsklick

Link Formen

• Mit den Schaltflächen "Links" im Register "Structural" können Sie zwei Struktur-Tags miteinander verknüpfen, z.B. eine Verknüpfung zwischen einer Zeile und der mit dieser Zeile verbundenen Fußnote.
• Die erste Schaltfläche dient dazu, eine solche Verknüpfung zu erstellen, die zweite, sie zu entfernen.
• Bitte beachten Sie, dass für das Training die Verknüpfung von Formen nicht relevant ist.

Abbildung 9 Formen verknüpfen

Seitentyp

• Sie können jeder Seite Ihres Dokuments einen "Seitentyp" zuweisen.
• Mögliche Optionen sind:
  • Vorderseite
  • Rückseite
  • Titel
  • Inhaltsverzeichnis
  • Index
  • Inhalt
  • Leer
• Wenn Sie Ihre Seite geöffnet haben, wählen Sie die entsprechende Definition aus, indem Sie auf den Pfeil neben den Optionen "Page type" klicken und dann den gewünschten Typ auswählen.
• Auch der Seitentyp ist für das Strukturtraining nicht relevant.

Abbildung 10 Auswählen eines Seitentyps

Layout-Bereich

• Im Bereich "Layout" der Registerkarte "Structural" können Sie zwischen den verschiedenen Strukturtypen in Ihrem Dokument springen.
• In diesem Bereich finden Sie eine Übersicht über die Strukturtypen in Ihrem Dokument und Ausschnitte aus dem eventuell transkribierten Text. Möglicherweise finden Sie es schneller, diese Liste zu konsultieren, als nach einer bestimmten Zeile oder Textregion im Bild zu suchen.
• Um zum gewünschten Text- oder Zeilenbereich zu gelangen, doppelklicken Sie im Bereich "Layout" auf den Bereich. Das Bild und der Texteditor springen automatisch zu dieser Zeile.

Abbildung 11 Abschnitt "Layout"

• Die von Ihnen hinzugefügten Tags werden in der Spalte "Structure" angezeigt. Neben dem Strukturtyp befindet sich ein kleiner Abwärtspfeil. Wenn Sie darauf klicken, können Sie den Strukturtyp schnell ändern.

Abbildung 12 Ändern des Strukturtyps über den Bereich "Layout"

Mehr Optionen

Löschen von Strukturvariablen

• Um einen Struktur-Tag zu löschen, klicken Sie ihn in der Spalte "Structure" an und wählen in der Menüauswahl oben die Option "-delete-".

Abbildung 13 So löschen Sie Struktur-Tags

Draw struct type

• Wenn Sie diese Option wählen, werden in Ihrem Dokument Textbeschriftungen angezeigt, die jeden von Ihnen hinzugefügten Struktur-Tag beschreiben.
• Wenn Sie diese Option nicht wählen, werden die Textbeschriftungen ausgeblendet.

Abbildung 14 Bezeichnungen der Struktur-Tags im Bild anzeigen

Abbildung 15 Draw structure type Option

Draw default colours

• Den Struktur-Tags werden andere Farben zugewiesen als den Standardfarben für Text- und Linienbereiche.
• Wenn Sie Struktur-Tags zu Ihrem Dokument hinzufügen, ändern sich die Farben auf dem Dokumentbild.
• Wenn Sie zur Standardfarbdarstellung in Transkribus zurückkehren möchten, wählen Sie die Option "Draw default colours".
• Ihre Tags werden nicht gelöscht - aber die Standardfarben werden in Ihrem Dokument angezeigt, statt der Farben, die sich auf die Struktur-Tags beziehen.

Abbildung 16 Standardfarben anzeigen

Type of selected

• Wenn Sie in Ihrem Dokument auf einen Text- oder Linienbereich klicken, wird Ihnen in der Zeile "Type of selected" auf der Registerkarte "Structural" angezeigt, welcher Struktur-Tag ihm zugewiesen wurde.

Abbildung 17 Aktuell markierter Struktur-Tag

Struktur-Training

Mit der Funktion Strukturtraining erhalten Sie ein Modell, das die Struktur Ihrer Dokumente erkennen kann. Die Effizienz hängt, wie bei der Handschrifterkennung, von der Qualität der Trainingsdaten ab. Wenn Sie etwa 50 Beispiele jedes Strukturtyps markiert haben, die trainiert werden sollen, sollte dies für den Trainingsbeginn ausreichen. 50-100 Seiten Trainingsmaterial sollten also geeignet sein, um ein brauchbares Modell zu erstellen. Natürlich ist es möglich, mit dem Training früher zu beginnen, mit Abstrichen bei der Effizienz.

Nach Abschluss des Tagging-Prozesses können Sie mit dem Training beginnen. Öffnen Sie dazu die Registerkarte "Tools" und klicken Sie im Bereich "Other Tools" auf die Schaltfläche "P2PaLA". Das folgende Fenster wird geöffnet:

Abbildung 18 P2PaLA-Trainingseinstellungen

Relevante Einstellungen für das Training finden Sie hier:

• "Rectify regions": alle Regionen werden auf die Bounding Box der aktuell erkannten Form vereinfacht
• "Min area": Formen mit einer *Fläche*, die kleiner als dieser Bruchteil der Bild- *Breite* ist, werden nach der Erkennung entfernt. Verwenden Sie diesen Parameter, um kleine "Müll"-Bereiche zu entfernen. Der Standardwert ist 0.01

Wenn Sie auf "Train" klicken, öffnen sich die Trainingsparameter:

Abbildung 19 P2PaLA-Trainingsparameter

In den oberen Abschnitten müssen einige Details über das Modell hinzugefügt werden.

"Structures": Hier können Sie die Strukturtypen hinzufügen, die trainiert werden sollen. Achten Sie bei der Eingabe auf Groß- und Kleinschreibung und verwenden Sie nicht die Leertaste. Wir empfehlen, nur Kleinbuchstaben zu verwenden. Außerdem empfehlen wir, als einzige Sonderzeichen Bindestriche (-) und Unterstriche (_) zu verwenden.

• Beispiel: Absatzüberschrift Fußnote Seitennummer

"Merged Structures": werden verwendet, um bestimmte Strukturtypen beim Training gleich zu behandeln wie andere (z. B. 'footnote-continued' oder 'footer' wie 'footnote'). Erwartet wird eine Liste der Strukturtypen, getrennt durch einen Doppelpunkt mit den zu verschmelzenden Strukturtypen.

• Beispiel: footnote:footnote-continued,footer heading:header

"Training mode": Hier können Sie entscheiden, ob Sie nur Regionen, nur Linien oder beides trainieren möchten. Bitte beachten Sie, dass das Basislinien-Training nicht bedeutet, dass Strukturtypen auf Linienbasis trainiert werden. Es geht vielmehr um die Erkennung der Grundlinien.

"Edit status": Wenn Sie die neueste Version verwenden möchten, brauchen Sie nichts zu wählen, ansonsten können Sie wählen, welcher Status des Dokuments trainiert werden soll.

"Training set": Hier werden die Trainingsdaten ausgewählt.

"Analyze structure types": gibt einen Überblick über die Anzahl und Typen der Struktur-Tags im gewählten Dokument.

Um das Training zu starten, klicken Sie auf "Train".

Nachdem der Trainingsprozess abgeschlossen ist, steht das Modell für Ihre Collection zur Verfügung und kann auch für andere Collections freigegeben werden.

Anwenden eines Strukturmodells

Wenn Sie ein Strukturmodell auf ein Dokument anwenden möchten, um Strukturtypen erkennen zu lassen, öffnen Sie das "P2PaLA"-Feature im "Tools"-Reiter.

Abbildung 20 Anwenden eines P2PaLA-Modells

Wählen Sie, welche Seiten erkannt werden sollen.

"Model filter":

• "Collection": wenn sich das gewünschte Modell in Ihrer Sammlung befindet
• "User": wenn Sie das Modell trainiert haben
• "Public models": wenn Sie ein öffentliches Modell verwenden möchten.

Nachdem Sie eine der Optionen ausgewählt haben, werden die verfügbaren Modelle neben angezeigt: "Select a model for recognition". Wählen Sie das Modell, das Sie verwenden möchten. Eine Übersicht über alle Modelle erhalten Sie, wenn Sie auf "Models" klicken.

"Rectify regions": alle Regionen werden auf die Bounding Box der aktuell erkannten Form vereinfacht

"Min area": Formen mit einer *Fläche*, die kleiner als dieser Bruchteil der Bild- *Breite* ist, werden nach der Erkennung entfernt. Verwenden Sie diesen Parameter, um kleine "Müll"-Bereiche zu entfernen. Der Standardwert ist 0.01

Um die Erkennung zu starten, klicken Sie auf "Run".

Danksagung

Wir möchten uns bei den vielen Anwender*innen bedanken, die mit ihrem Feedback zur Verbesserung der Transkribus-Software beigetragen haben.