Kun je met beeldherkenning de collectieregistratie versnellen? Naturalis onderzoekt de mogelijkheden

26 april 2022

Bij grote digitale erfgoedcollecties is het ondoenlijk om voor elk object te bepalen wat het precies is. Daarom heeft Naturalis in een pilotproject vijf beeldherkenningsmodellen met behulp van AI ontwikkeld om verschillende soorten collecties te benoemen en te registreren. De modellen zijn binnenkort voor iedereen beschikbaar. Coördinator Annika Hendriksen vertelt over de geleerde lessen.

Lade met papillotten, gevouwen vlinders in zakjes van pergamijn of oude kranten. Foto: Naturalis

Net zoals vele andere natuurhistorische musea beheert Naturalis omvangrijke collecties. ‘Alleen al in ons geval gaat om zo’n 42 miljoen objecten,’ vertelt Annika Hendriksen. Hoewel Naturalis de collecties planten, dieren en schimmels graag wil delen met haar publiek, zijn er te weinig specialisten om van alle objecten te bepalen tot welke soort ze behoren. Ook ontbreekt het aan tijd om dit vast te leggen in het collectiebeheersysteem.

Zo ontstond het idee om te onderzoeken of AI en automatische beeldherkenning hierbij een handje kunnen helpen. Dat bleek het geval te zijn. Er zijn vijf beeldherkenningsmodellen getraind op objecten waarvan de soort al door specialisten is bepaald. ‘Door deze modellen straks los te laten op een digitale collectie kun je niet alleen de registratie versnellen, maar ook de toegang tot de collectie en de vindbaarheid ervan,’ zegt Annika.

Pilotproject ‘Beeldherkenning als instrument voor museumcollecties’

Voor het pilotproject heeft Naturalis samengewerkt met Het Natuurhistorisch Museum Rotterdam, Natuurmuseum Brabant, Museon en het Rijksmuseum. Er zijn modellen ontwikkeld voor het herkennen van Zuidoost-Aziatische vlinders, eieren van in Nederland voorkomende vogelsoorten, huisjes van kegelslakken, roggen- en haaieneikapsels en maskers uit verschillende culturen.

Het pilotproject heeft financiële ondersteuning gekregen van het Mondriaan Fonds, het Prins Bernhard Cultuurfonds en NLBIF. De uitkomsten van de pilot en de beeldherkenningsmodellen worden binnenkort gedeeld met zowel (erfgoed)organisaties als het brede publiek, ook internationaal.

Vlinders op de foto

Voor de data met de Zuidoost-Aziatische vlinders heeft Naturalis geput uit haar eigen collectie. Het betreft niet-opgezette vlinders, die al tientallen jaren in zakjes opgeborgen zitten. Inmiddels is een eerste set vlinders gedigitaliseerd en is de soort ervan bepaald door specialisten. Met dit materiaal kon een eerste versie van het model worden getraind. Annika: ‘Deze vlinders kennen binnen hun soort niet veel variatie. Een geluk, want nu hadden we slechts twee foto’s per soort nodig om het beeldherkenningsmodel te trainen.’

Variatie binnen soorten

Kennen Zuidoost-Aziatische vlinders binnen een soort niet veel variatie, voor vogeleieren geldt het tegenovergestelde: ze zijn verre van eenduidig. ‘Doordat binnen vogelnestjes al meer variatie kan zitten dan tussen de vogelsoorten, heb je meer foto’s per soort nodig om het model te trainen. En omdat musea hun collecties op verschillende wijzen fotograferen, hebben we ervoor gekozen om nieuwe foto’s van de eieren te nemen. Denk bijvoorbeeld aan eieren op zowel een witte als een zwarte achtergrond of aan legsels, gegroepeerde eieren van één soort. Deze variatie verbetert zowel het model als de bruikbaarheid ervan,’ verduidelijkt Annika.

Hoe wordt de informatie opgeslagen?

Als een beeldherkenningsmodel de ingevoerde foto’s of links naar foto’s heeft doorgenomen, volgt een CSV-bestand. Dit bestand bevat niet alleen informatie over de soort van de getoonde objecten en de waarschijnlijkheid ervan, maar ook andere metadata, zoals de datum van vaststelling en de versie van het model. Deze informatie kan in een collectiebeheersysteem worden opgenomen in de daarvoor bestemde velden.

Belang van opgeschoonde data

‘In de collectiebeheersystemen kwamen we soms een plant of dier onder een verouderde naam tegen,’ vertelt Annika. ‘Zo heette de pimpelmees vroeger Parus caeruleus, nu Cyanistes caeruleus. Daarnaast bevatten de systemen verschillende schrijfwijzen voor de wetenschappelijke namen. We hebben dan ook veel tijd besteed aan het opschonen van termen in ons eigen collectiebeheersysteem en aan het gelijktrekken met die van de deelnemende organisaties en andere data-aanbieders in het project. Met een tool, de zogenaamde name resolver, hebben we van al die verschillende namen, synoniemen en notatiewijzen eenduidige klassen in de betreffende beeldherkenningsmodellen kunnen maken. Dat geeft maar weer eens het belang aan van eenduidige en opgeschoonde termen.’

Nog geen centrale plek voor modellen

Heeft Annika een tip voor erfgoedorganisaties die met beeldherkenningmodellen aan de slag willen gaan? ‘Bedenk vooraf goed met welk doel je een model zou willen ontwikkelen en kijk wat er allemaal al is gedaan of op komst is,’ adviseert Annika. ‘Er gebeurt nu wereldwijd zoveel op dit gebied! En deel vooral ook je opgedane kennis.’

De modellen komen te staan op een website die aan dit pilotproject is gewijd. ‘Maar nog mooier is een centrale plek waar je alle modellen kunt vinden die wereldwijd ontwikkeld zijn. Vervolgens kan iedereen ze zowel makkelijk gebruiken als ook hertrainen met nieuw materiaal dat beschikbaar komt.’

Het fotograferen van geïdentificeerde vogeleieren voor het trainen van een model. Foto: Naturalis

Beeldherkenning ook belangrijk voor onderzoek

AI en beeldherkenning zijn niet alleen interessant om in te zetten voor museumcollecties, maar ook voor onderzoek, besluit Annika. ‘Neem nieuwe slimme camera’s. Aangetrokken door het licht belandt zo’n beestje op een scherm en klik – het gaat op de foto. Vervolgens wordt met AI de soort van het insect bepaald. Fantastisch dat je op die manier kan nagaan welke dieren er in een bepaald gebied leven. En het gefotografeerde beestje? Dat vliegt daarna vrolijk weg, de wijde wereld in.’