Bevor die eigentliche OCR erfolgreich durchgeführt werden kann, muss das Dokument zunächst gescannt werden. Dabei können bereits entscheidende Fehler passieren, die eine gute Texterkennung quasi unmöglich machen. Folgende Punkte sollten daher stets berücksichtigt werden:

• Die Dokumente sollten in ausreichender Qualität gescannt werden. Es wird eine Auflösung von mindestens 300-400 dpi für Seiten im DIN A4 empfohlen.
• Die Dokumente sollten sorgfältig gescannt werden, d. h. das Dokument sollte gerade ausgerichtet und vollständig sichtbar sein. Zudem sollte darauf geachtet werden, dass der Text keine Wellenbewegung macht, dies kann vor allem bei gebundenen Dokumenten am Falz passieren.
• Auf das Binarisieren des Textes sollte verzichtet werden. OCR-BW empfiehlt Farbscans oder zumindest Scans in Graustufen für die Texterkennung zu nutzen.
• Die Seiten des Dokuments sollten als einzelne Bilder gespeichert werden. Vorzugsweise sollten TIFF-Dateien erzeugt werden und kein zusammenhängendes PDF.

Für die Texterkennung von Drucken gibt es eine Reihe von Programmen, die sich gut dafür eignen.

• Frei verfügbar:
  • Tesseract
  • Kraken bzw. eScriptorium
  • OCR-D
  • PERO-OCR
• Kostenpflichtige Software:
  • Transkribus
  • ABBY Finereader

Im Projekt OCR-BW wurde vor allem Tesseract für die effiziente Erkennung von großen Datenmengen alter Drucke genutzt. In eScriptorium lässt sich dagegen unkompliziert Ground Truth für eventuell erforderliche Nachtrainings erstellen. Moderne Drucke lassen sich gut mit ABBY Finereader erkennen. PERO-OCR liefert sehr gute Universalmodelle für Hand- als auch Druckschriften.

Für Handschriften empfehlen wir vor allem Transkribus sowie eScriptorium als kostenfreie Open-Source Alternative, wobei wir für letzteres momentan noch kein universelles Handschriftenmodell bereitstellen können. Auch PERO-OCR bietet generische Handschriftenmodelle (v. a. für Kurrentschrift), die sehr gute Ergebnisse liefern.

Es gibt eine Vielzahl von kostenfreien Alternativen zu Transkribus, die alle ihre Vor- und Nachteile haben. Im Projekt OCR-BW wurde ein besonderes Augenmerk auf die Texterkennungs- und Transkriptionsplattform eScriptorium gelegt, aber auch das von der Universität Brünn (Tschechien) entwickelte PERO-OCR bietet gute Möglichkeiten.

Die UB Mannheim hat mit ubma_segmentation ein Segmentierungsmodell trainiert, das sowohl bei gedruckten als auch bei handschriftlichen Texten mit relativ einfachem Layout gute Ergebnisse liefert. Das Ergebnis der Segmentierung hängt jedoch von vielen Faktoren ab. Das Modell ist in der eScriptorum-Instanz der UB Mannheim verfügbar und steht außerdem zum Download bereit. Außerdem finden Sie verschiedene Kraken-Modelle auch auf Zenodo.

Für Texte in Frakturschrift v. a. aus dem 19./20. Jahrhundert eignen sich z. B. die Modelle german_print, Fraktur_2022-02-20, austriannewspaper_best oder digitue_best . Die Modelle sind in der eScriptorum-Instanz der UB Mannheim verfügbar und stehen außerdem zum Download bereit. Außerdem finden Sie verschiedene Kraken-Modelle auch auf Zenodo.

Für Texte und Behördendokumente v. a. aus dem 20. Jahrhundert, die mit einer Schreibmaschine erstellt wurden, eignen sich die Modelle typewriter oder german_print. Die Modelle sind auch auf der eScriptorum-Instanz der UB Mannheim verfügbar und stehen außerdem zum Download bei der UB bereit. Wenn das vorgeschlagene Modell keine zufriedenstellenden Ergebnisse erzielt, haben Sie die Möglichkeit, in eScriptorium selbst Trainingsmaterial zu erstellen, indem Sie die ausgegebene Transkription händisch korrigieren. Anschließend können Sie mit den korrigierten Seiten ein Nachtraining des Modells durchführen. Außerdem finden Sie verschiedene Kraken-Modelle auch auf Zenodo.

Für handschriftlich verfasste Dokumente v. a. in Kurrentschrift des 20. Jahrhunderts, eignet sich das Modell german_handwriting. Das Modell ist auch auf der eScriptorum-Instanz der UB Mannheim verfügbar und steht außerdem zum Download bei der UB bereit. Wenn das vorgeschlagene Modell keine zufriedenstellenden Ergebnisse erzielt, haben Sie die Möglichkeit, in eScriptorium selbst Trainingsmaterial zu erstellen, indem Sie die ausgegebene Transkription händisch korrigieren. Anschließend können Sie mit den korrigierten Seiten ein Nachtraining des Modells durchführen. Außerdem finden Sie verschiedene Kraken-Modelle auch auf Zenodo.

Wenn Sie Ground-Truth für frei verfügbare Dokumente haben und uns diese zur Verfügung stellen könnten, würden wir uns sehr freuen. Wenden Sie sich dafür an Larissa Will unter larissa.will(at)uni-mannheim.de.

Ja, eScriptorium wurde ursprünglich speziell für die Erkennung von nicht-lateinischen Schriften konzipiert. Auf Zenodo finden Sie eine Auswahl an verschiedenen Erkennungsmodellen für unterschiedliche Formen des Arabischen, die von OpenITI zur Verfügung gestellt werden. Weitere Layout- sowie Texterkennungsmodelle für arabische Handschriften und Drucke von OpenITI finden Sie auf Github.

Weiterführende Erläuterungen dazu finden Sie in der Dissertation von Benjamin Kiessling: https://www.theses.fr/2021UPSLP023.pdf

Modelle für die Layout- und Texterkennung finden Sie bei der UB Mannheim sowie auf Zenodo. In eScriptorium können Sie das gewünschte Modell ganz einfach unter: Meine Modelle → Modell hochladen importieren. Achten Sie darauf, dass Sie dem Modell außerhalb von eScriptorium bereits den gewünschten Namen geben, da es in eScriptorium selbst nicht mehr unbenannt werden kann. Eine detaillierte Anleitung zum (Nach-)Training von Modellen finden Sie au Github.

Modelle für die Layout- und Texterkennung lassen sich ganz leicht aus eScriptorium exportieren. Gehen Sie dafür unter Meine Modelle und klicken beim gewünschten Modell auf den grünen Download-Button.

Für die Nutzung von Tesseract haben wir jeweils eine detaillierte Anleitung für die Installation und Nutzung unter Linux und Windows auf Github bereitgestellt.

Nein, es besteht auch die Möglichkeit Tesseract über verschiedene graphische Oberflächen zu nutzen. Dazu gehört die vom ehemaligen Projektmitarbeiter Jan Kamlah entwickelte GUI TesseractXplore. Sie finden weitere Hinweise zum Download und zur Anwendung in der Dokumentation auf Github.

Für alte Texte gibt es momentan mehrere Modelle. So ist zum Beispiel deu_frak ein Modell, das von einem Benutzer für Tesseract 3 trainiert wurde. Die aktuellen Standardmodelle sind frk für deutsche Frakturschrift (enthält deutsches Wörterbuch) sowie script/Fraktur für Frakturschrift und historische Antiqua-Texte mit erweitertem Zeichenvorrat für alle westeuropäischen Sprachen.

Die Standardmodelle enthalten bekannte Probleme und Fehler. Das Modell deu-frak unterstützt nur die alte (musterbasierte) OCR-Engine, funktioniert also nicht mit einem neuronalen LSTM-Netz, mit dem normalerweise bessere OCR-Ergebnisse erzielt werden können. Das Modell frk hat einige Einschränkungen bezüglich des Zeichensatzes, den es erkennen kann. Es hat auch Probleme, insbesondere mit ch- und ck-Ligaturen. Das Modell script/Fraktur unterstützt einen größeren Zeichensatz als frk, hat aber ähnliche Probleme mit ch und ck.

Für Tesseract hat das Projektteam von OCR-BW bereits eigene Modelle trainiert, die sehr gute Ergebnisse bei der Texterkennung von Fraktur liefern und bei denen Fehler aus frk und script/Fraktur behoben sind. Die Modelle kennen außerdem die Varianten deutscher Umlaute. Zu diesen Modellen gehören vor allem Frak2021 und GT4HistOCR. Diese und weitere Modelle stehen bei der UB Mannheim zum Download bereit. Eine aktuelle Messung der Character Error Rate (CER) hat ergeben, dass das folgende Modell von Frak2021 die kleinste Fehlerrate erzeugt Frak2021_1.069_755545_3685930.

Dieses Modell gibt es auch mit Wörterbuch. Es liefert damit eine nochmals leicht verbesserte CER von 3,25 %. Das Modell steht für Sie zum Download bereit.

Prinzipiell lässt sich das Wörterbuch ergänzen oder austauschen, was im Einzelfall das OCR-Ergebnis weiter verbessern kann.

Das Herunterladen von zusätzlichen Tesseract-Modellen gestaltet sich einfach. Unter Windows laden Sie zunächst das gewünschte Modell hier herunter. Anschließend schneiden Sie es aus dem Download-Ordner aus und fügen es in dem entsprechenden Ordner zu den anderen Schrift- bzw. Sprachmodellen hinzu. (Standardpfad: C:\Program Files\Tesseract-OCR\tessdata)

Gehen Sie in Linux in den Ordner, indem die Schrift- bzw. Sprachmodellen abgelegt werden und laden Sie dann mittels dem Befehl wget und dem entsprechenden Link, das gewünschte Modell herunter. (Beispiel: wget https://ub-backup.bib.uni-mannheim.de/~stweil/tesstrain/frak2021/tessdata_fast/frak2021_1.069.traineddata)

Das Modell von Frak2021, das momentan die kleinste Fehlerrate erzeugt, gibt es auch mit Wörterbuch. Es liefert damit eine nochmals leicht verbesserte CER von 3,25 %. Das Modell steht für Sie zum Download bereit.

Prinzipiell lässt sich das Wörterbuch ergänzen oder austauschen, was im Einzelfall das OCR-Ergebnis weiter verbessern kann.

Qualitätsmängel kann es bei der Layoutanalyse (insbesondere der Zeilenerkennung) und bei der eigentlichen Texterkennung geben.

Tesseract hat bekannte Schwächen mit komplexen Seitenlayouts. Typische Probleme sind mangelhafte Trennung von Textspalten oder Textbereiche, die nicht als solche erkannt wurden, was zu fehlendem Text führt (relativ häufig bei Seitenzahlen). Im Extremfall kann es so passieren, dass eine Seite voller Text als leere Seite („Empty page“) gemeldet wird. Für solche Fälle helfen teilweise spezielle Aufrufparameter. Eine bessere Layoutanalyse erfordert aber andere Software, beispielsweise von OCR-D.

Die Qualität der Texterkennung hängt stark vom eingesetzten Modell ab. Möglicherweise kann es die Ergebnisse verbesseren, wenn zwei Modelle, die bereits gute Ergebnisse liefern kombiniert werden. Dafür müssen beide Modelle mit einem ‚+‘ bei der Eingabe in die Konsole verbunden werden (Beispiel: Frak2021+GT4HistOCR). Eine deutliche Qualitätssteigerung lässt sich mit werkspezifischem Training erzielen. Dazu wird ein gutes vorhandenes Modell mit ausgewählten Beispielen aus dem jeweiligen Werk nachtrainiert. Im Idealfall kann ein so erzeugtes neues Modell den Text im entsprechenden Werk dann fast perfekt erkennen.