Erfgoed Gelderland ging aan de slag met beeldherkenning. Dit zijn de geleerde AI-lessen

1 juli 2021

Op CollectieGelderland staan collecties van zo’n zestig Gelderse erfgoedinstellingen, die tezamen een half miljoen objecten met afbeeldingen delen. Met een programma van Google, Vision AI, hebben die afbeeldingen automatisch gegenereerde trefwoorden gekregen. Daardoor kunnen sitebezoekers andere objecten uit de collecties ontdekken. Hoe werkt dat in de praktijk? Tim Stapel, digitaal-erfgoed-coach bij Erfgoed Gelderland, deelt de geleerde lessen.

Beeld: Gehuwde vrouw in Hindelooper dracht. Collectie: Nederlands Openluchtmuseum / CollectieGelderland

Wie als zoekopdracht ‘Hindeloopen’ intikt op CollectieGelderland, krijgt bijvoorbeeld een vrouw in Hindelooper dracht. Scroll je naar beneden, dan komen gerelateerde objecten uit de collectie tevoorschijn. Andere kledingstukken bijvoorbeeld, maar ook accessoires als hoeden en… een bloem: de echinacea purpurea oftewel de rode zonnehoed. Welkom in de wereld van automatische beeldherkenning.

Dwarsverbanden tussen collecties

Meestal zit het AI-programma wel goed met de trefwoorden die het toekent aan de afbeeldingen in CollectieGelderland, maar de betekenis ervan kan soms verschillen, zegt Tim Stapel lachend. ‘Het AI-programma analyseert een afbeelding en koppelt daar automatisch gegenereerde trefwoorden aan. Op basis van deze trefwoorden worden andere objecten uit de collecties aan onze sitebezoekers getoond. We willen zo bezoekers die browsen op de site, zonder een gericht doel, dwarsverbanden tussen de collecties in CollectieGelderland laten zien. Ook hopen ze zo te verrassen.’

Voorbeelden van afbeeldingen die via automatische beeldherkenning naar boven komen

Geen monnikenwerk

Ook al verloopt het automatisch genereren van trefwoorden voor een half miljoen afbeeldingen nog niet helemaal perfect, een ding weet Tim zeker: handmatig was dit niet te doen geweest, want een monnikenwerk. En dus is ervoor gekozen dit werk door het programma Vision AI te laten doen. ‘Het is een heel andere manier van kijken naar een afbeelding: een mens zou vanuit zijn kennis een object en diens geschiedenis beschrijven, vanuit het AI-programma wordt puur gekeken naar de vormen en kleuren op de afbeelding.’

Hoe werkt het?

Softwareleverancier Picturae heeft voor Erfgoed Gelderland het proces van afbeelding tot trefwoord ingericht. Zodra een erfgoedinstelling een nieuwe afbeelding aan de database van CollectieGelderland toevoegt, wordt deze naar het AI-programma van Google gestuurd. Het programma voert een analyse uit, kent trefwoorden toe en zendt deze terug. Vervolgens worden de trefwoorden opgenomen in de centrale verzamelbak van CollectieGelderland.

Via het collectiebeheersysteem Memorix Maior kunnen de collectiebeherende instellingen de trefwoorden zelf controleren en beheren. Driebit heeft ervoor gezorgd dat aan de voorkant van de site de gerelateerde objecten worden getoond.

Lessons learned

Op basis van de ervaringen wil Tim de lessons learned met de inzet van Googles AI-programma graag met erfgoedveld delen.

1.

‘Vertel zowel aan de deelnemende instellingen als aan de sitebezoekers waarom je bij de zoekresultaten gerelateerde objecten op basis van automatische beeldherkenning aanbiedt. Op de zoekresultatenpagina hebben we een heel korte uitleg toegevoegd en een verwijzing naar een uitgebreidere toelichting.’

2

‘We delen de trefwoorden die vanuit het AI-programma worden gegenereerd met de betreffende instellingen. Maak duidelijk wat je teruggeeft: het is geen objectieve beschrijving, maar een vrije interpretatie van een afbeelding. We merkten dat sommige instellingen hoopten op een nauwgezette beschrijving van het afgebeelde object; helaas is dat met deze programmatuur en de manier waarop wij die gebruiken nog niet mogelijk.’

3

‘Vraag je als organisatie af wat je met de trefwoorden gaat doen. Wij geven ze nu terug aan de instellingen, maar we zouden ook verbindingen kunnen leggen met andere collecties. Of de trefwoorden als linked data kunnen aanbieden. Als we hier een volgende keer mee door zouden gaan, kiezen we voor een andere aanpak. Namelijk door het proces zo in te richten dat het een nuttige en duurzame bijdrage levert aan het beschrijven van erfgoedobjecten. En waarmee we collectiebeheerders daadwerkelijk werk uit handen nemen. Voor nu is het een aantrekkelijke en eenvoudige manier om grote hoeveelheden beeldmateriaal te beschrijven.’

4

‘Tot slot nog een ethische kwestie. Je kunt je namelijk afvragen óf je wel een AI-programma van een bigtechbedrijf wilt gebruiken. Want ook al is deze dienst van Google gratis, we betalen met onze data. Je ziet niet alleen in de maatschappij maar ook in de erfgoedwereld stemmen opgaan om ons toch wat meer af te keren van bigtech. En daar zijn we het eigenlijk hartgrondig mee eens. Dus zouden we nu nog gekozen hebben voor dit programma? Waarschijnlijk niet; onze keuze gaat dan uit naar een verantwoord alternatief. Maar het is wel een leerzame oefening gebleken.’