Uit het netwerk: Dit nam Annemieke Romein mee van de Transkribus-conferentie in Passau

Transkribus-gebruikers uit de hele wereld ontmoetten elkaar onlangs in Passau. Annemieke Romein, onderzoeker bij Universiteit Twente en 'honorary' voorzitter/community director bij READCOOP/Transkribus, blikt terug.

Portretfoto van Annemieke Romein, zittend op een stoel

Annemieke Romein

Automatische handschriftherkenning

Transkribus is een AI-programma en -platform dat oude handschriften en historische documenten automatisch omzet in doorzoekbare tekst. Het is een van de programma’s voor automatische handschriftherkenning.

Het Netwerk Digitaal Erfgoed onderzoekt samen met partners in het netwerk hoe dit soort functionaliteit breed beschikbaar kan worden gemaakt voor het netwerk. Daarbij wordt ook gekeken hoe de data die hierbij ontstaat, goed beschreven en bewaard kan worden.

Stabiele basis

Annemieke Romein: ‘Wat mij als eerste opviel: deelnemers spraken hun waardering uit voor iets wat je als vanzelfsprekend zou verwachten. De tweehonderd mensen ter plaatse, plus meer dan driehonderd online, waardeerden dat de servers gewoon in Europa staan. Dat Transkribus vanuit Europa werkt. Dat de organisatie achter de tool zich bewust is van kleine taalgroepen die ervan afhankelijk zijn. Dat er ruimte is voor ondersteuning vanuit de gebruikersgemeenschap zelf.

De deelnemers zagen dit alles niet als iets vanzelfsprekends. Integendeel: het wordt steeds belangrijker.

Dit zegt meer over onze tijd dan we op het eerste gezicht zouden denken. We weten inmiddels wat het betekent wanneer grote technologiebedrijven gratis tools aanbieden. De gratis diensten zijn er niet voor ons, zij zijn er voor hen. Wat wij ervoor terugkrijgen is eerder beperkt.

Transkribus daarentegen positioneert zich als AI Cooperative. Winsten worden niet uitgekeerd. Alles gaat rechtstreeks terug naar het platform om dit steeds te verbeteren. Denk aan de fysieke infrastructuur, servercapaciteit en duurzame energie.

De servers staan onder eigen beheer, in de bergen van Tirol. Ze werken volledig op waterkracht. Dit is geen poëtische bijzaak. Dit is een bewuste keuze voor duurzaamheid en onafhankelijkheid op elk niveau: de techniek, de infrastructuur en de energie.

Niet onbelangrijk: de 270 leden van de coöperatie, waaronder Nederlandse archieven, universiteiten en erfgoedinstellingen, praten mee. Zij hebben zeggenschap over transparantie, verantwoording en de toekomst van het platform.’

Kwaliteit in beeld

‘Tijdens de conferentie spraken deelnemers over wat we eigenlijk bedoelen met “kwaliteit” van transcripties. De traditionele manieren om kwaliteit te meten zijn Character Error Rate en Word Error Rate. Dat betekent: hoeveel karakters per honderd zijn fout, en hoeveel woorden zijn verkeerd. Deze manieren blijken toch minder voor elke situatie geschikt dan lange tijd werd aangenomen. Niet elke onderzoeksdoelgroep stelt dezelfde eisen. Niet voor elk documenttype gelden dezelfde criteria.

Hoe kies je bijvoorbeeld welk tekstherkenningsmodel je inzet? Vroeger was het antwoord vaak pragmatisch. Gebruikers kozen wat de vorige keer werkte. Maar op deze conferentie werd duidelijk dat gebruikers meer handvatten nodig hebben. Welke factoren spelen een rol? Wat is het verschil tussen te gebruiken modellen? Hoe maak je verantwoorde keuzes?

Dit zal de komende jaren zeker een aandachtspunt blijven. En dat is goed. Het laat zien dat we het transcriberen serieus nemen.’

Creatieve gebruikers

‘Wat me ook opviel was de vindingrijkheid van gebruikers. Zij bouwen allerlei “pijpleidingen”, pipelines, na een transcriptie. Dus met de ruwe tekst als uitgangspunt. Sommigen gebruiken generatieve AI om de tekst achteraf systematisch te controleren en te verbeteren. Anderen bedenken interessante manieren om getranscribeerde gegevens te visualiseren. Bijvoorbeeld als genealogische databases, als interactieve kaarten of als doorzoekbare verzamelingen gegevens.

Generatieve AI helpt hierbij op een manier die niet meteen voor de hand ligt. Gebruikers met weinig programmeerervaring kunnen hun idee beschrijven en krijgen hulp om dit te programmeren. Of het nu gaat om tekst opschonen of stambomen maken: de drempel tussen “ik wil iets” en “ik kan iets” wordt lager.

Dit is een belangrijke verandering. We zien hier niet dat AI bepaalde vaardigheden overbodig maakt. Het maakt bepaalde vormen van deskundigheid juist beter toegankelijk. Iemand hoeft niet langer alles zelf te leren programmeren om toch ingewikkelde bewerkingen uit te voeren. Uiteindelijk gaat het erom wat ertoe doet: de historische vraag, het inzicht in de bron, de domeinkennis.’

Smart Extract Modellen

‘Transkribus heeft tijdens de conferentie Smart Extract Modellen gelanceerd. In de bèta-omgeving is dit te testen op tekst én zeker op tabellen. Deze modellen voeren drie stappen gelijktijdig in vijf seconden uit: lay-outherkenning, tekstherkenning en entiteitsextractie.

Het basismodel, Atlas, is nog niet perfect. Het geeft bijvoorbeeld niet weer waar de tekst zich op de pagina bevindt. De trainingsdata lieten dat niet toe. Toch is dit juist het interessante eraan: gebruikers kunnen deze modellen zelf trainen op hun eigen materiaal. Zodra je zelf een model traint op je eigen documenten, is herkenning per coördinaat gewoon mogelijk.

Atlas is dus geen eindstation maar een startpunt. Het geeft een indicatie van wat mogelijk is. En van wat gebruikers zelf kunnen trainen en verfijnen, in samenwerking met het team in Innsbruck.

Aan het eind van de conferentie werd vooruitgekeken. Er ligt veel werk klaar dat al in verschillende projecten wordt toegepast. De komende maanden en jaren wordt dit stap voor stap toegevoegd voor alle gebruikers. Named Entity Recognition bijvoorbeeld. Deze functie herkent automatisch personen, plaatsen en data uit teksten.’

Kritisch maar optimistisch

‘Passau was meer dan een conferentie vol presentaties. Het bracht een gemeenschap samen die kritisch kijkt naar technologie. Een gemeenschap die zelf bouwt, deelt en experimenteert. Het liet zien wat nodig is voor duurzaam digitaal erfgoed. En wat we samen kunnen bereiken met digitale bronnen.’