Dopo il lancio della nuova e migliorata applicazione web, siamo in grado di rivelare qualcosa di più sulla nuova generazione di tecnologia dei tracciati ferroviari. Con la precedente introduzione della tecnologia Modelli di campoSarà molto più facile elaborare documenti con layout più complessi, come giornali, periodici, registri, documenti legali o moduli. 

Ma che dire della struttura unica delle tabelle?
Per affrontare la sfida del riconoscimento e della trascrizione delle tabelle, stiamo introducendo i Modelli di tabella addestrabili. Dopo i modelli di campo, i modelli di tabella rappresentano il passo successivo verso un riconoscimento migliore e più efficiente del layout dei documenti storici. Introdurremo prima il modello di tabella addestrabile e i suoi vantaggi, e poi spiegheremo come iniziare.

Il potere dei modelli di tabella

Quando si lavora con documenti che contengono o sono costituiti da tabelle, è spesso importante riconoscere e catturare la struttura del layout della tabella e il suo contenuto. Le tabelle sono un modo comune di organizzare i dati in documenti come registri, conti, documenti, inventari o cataloghi. Quando si ricercano questi documenti, i dati da estrarre di solito non si limitano a poche pagine, ma si estendono a un volume maggiore di pagine. Pertanto, lo strumento ottimale per aiutare i nostri utenti sarebbe un riconoscimento automatico ma affidabile del layout. 

Questo è l'obiettivo che Transkribus si è prefissato lavorando sui modelli di layout addestrabili: i modelli di campo e i modelli di tabella. Con i modelli di tabella addestrabili, i nostri utenti saranno ora in grado di addestrare un modello di riconoscimento del layout personalizzato, progettato specificamente per riconoscere il layout dei documenti su cui stanno lavorando e che può essere applicato per riconoscere automaticamente l'intera raccolta. La nuova funzione dei modelli di tabella addestrabili consentirà un riconoscimento più affidabile del layout, un processo di trascrizione più efficiente e un'analisi più semplice dei dati storici in un ambiente strutturato.

Il vantaggio dei modelli da tavolo

L'utilizzo del riconoscimento predefinito del layout non sempre produce risultati soddisfacenti. Tuttavia, con i nuovi Modelli di tabella addestrabili, potrete utilizzare questa tecnologia personalizzabile che può essere addestrata per riconoscere con precisione anche le tabelle irregolari e rilevare gli elementi di layout su larga scala. Questi modelli saranno particolarmente utili per i documenti con più regioni di testo, consentendo di ottenere una rappresentazione più accurata dei documenti. 

Per quanto riguarda le tabelle, le attuali funzioni standard di analisi automatica del layout e di riconoscimento del testo sono in grado di trascrivere il testo da diverse celle della tabella. Tuttavia, l'ordine di lettura del testo trascritto nelle regioni o nelle righe di testo spesso non corrisponde al layout originale della tabella, né viene rappresentato in formato tabellare. Sebbene ciò vada bene per la semplice ricerca di nomi o termini specifici, trasferire i dati in una forma strutturata è spesso molto difficile, se non addirittura possibile. Ci vorrebbe tempo per ristrutturare e organizzare la trascrizione in modo da renderla utile per la creazione di un database.

A differenza dei modelli P2PaLA attualmente disponibili, i modelli tabellari richiedono meno dati di addestramento e sono più precisi. I nuovi modelli di tabella sono progettati per essere addestrati efficacemente con una quantità limitata di materiale di formazione, semplificando il processo. Questo approccio può ridurre il tempo dedicato alla creazione o alla regolazione delle tabelle o alla marcatura di diversi elementi di layout su ogni pagina. Gli utenti possono invece concentrarsi sulla costruzione delle forme di layout corrette per addestrare il modello, lasciando che Transkribus si occupi del resto.

È importante notare che i modelli di tabella non sono una soluzione completa o pronta all'uso. Per ottenere risultati ottimali, i modelli devono essere addestrati in modo simile a un modello di riconoscimento del testo. Presto sarà possibile addestrare un modello di layout personalizzato non solo per i layout di campo complessi, ma anche per le tabelle in Transkribus.

Con un piccolo set di dati, è già possibile provare i modelli di tabella qui su beta.transkribus.eu.

Modelli di tabelle di addestramento 

La digitalizzazione delle tabelle presenta una serie di sfide uniche, che i nostri nuovi modelli di tabelle addestrabili sono stati progettati per affrontare. Le tabelle, che sono state una caratteristica standard nei documenti di tutti i secoli, dai libri contabili medievali ai moderni fogli di calcolo, sono disponibili in vari formati e possono contenere dati critici.

Questi nuovi modelli di tabella sono in grado di gestire una vasta gamma di tipi di tabelle, anche quelle con altezze o larghezze irregolari delle righe. Per addestrare efficacemente questi modelli, è essenziale creare una raccolta sufficiente di pagine di verità, per garantire che i modelli possano interpretare accuratamente le tabelle.

Nell'editor di documenti, gli utenti hanno la possibilità di personalizzare il riconoscimento delle tabelle. È possibile definire colonne verticali e orizzontali e specificare quali informazioni devono essere selezionate all'interno di una singola riga o colonna. Ad esempio, se il documento originale presenta solo separatori verticali o utilizza solo spazi tra voci come cognomi e nomi, è possibile adattare il processo di creazione delle tabelle di conseguenza. Aggiungendo o omettendo colonne, si garantisce che i modelli di tabella riconoscano il layout specifico e le informazioni necessarie.

Inoltre, questi modelli possono adattarsi ai cambiamenti nel tempo. Se la struttura delle tabelle all'interno di una collezione si evolve, è possibile aggiungere una seconda serie di dati Ground Truth per addestrare ulteriormente i modelli di tabelle, garantendo la costante accuratezza e utilità dei dati digitalizzati.

Cosa c'è dopo?

Poiché la versione attuale del riconoscimento dei layout presenta alcune difficoltà con i layout più complessi, abbiamo considerato questa opportunità non solo per migliorare l'attuale analisi dei layout, ma anche per fornire ai nostri utenti una soluzione più mirata. Con i modelli di layout addestrabili, Transkribus estende l'uso dell'analisi del layout a diversi formati di documenti e tipi di layout. I prossimi modelli di tabella addestrabili offrono flessibilità nella personalizzazione del riconoscimento del layout e possono adattarsi alle modifiche del layout, garantendo un'interpretazione accurata e un'estrazione completa dei dati, anche da tabelle con formati irregolari. 

La funzione Modelli di tabella di Transkribus è pronta per essere sperimentata su un piccolo gruppo di pagine qui su beta.transkribus.eu. Nelle prossime settimane i modelli di tabella addestrabili saranno aggiunti alla nostra interfaccia utente per uso generale. Questo aggiornamento consentirà a qualsiasi utente di addestrare il proprio modello di layout per le tabelle, rendendo più efficiente il processo di digitalizzazione dei documenti e liberando un potenziale ancora maggiore all'interno della nostra piattaforma.

Miniatura:Registro della Carnegie Corporation delle richieste delle istituzioni educative, 1911-1920. Via Carnegie Corporation di New York