HackaLOD 2023: dit zijn de toepassingen met erfgoeddata voor publiek én collega’s

Team Utrecht Time Machine

Rick Companje, Kathleen Verdult, Simon Dirks, Ivar Troost en Shannon van Muijden

Het project

‘Wie droomt er nou niet van om eens een schilderij binnen te stappen en een wandeling te maken door de omgeving? We hebben deze droom een stukje dichterbij gebracht. Hiervoor gebruikten we kunstmatige intelligentie en crowd-sourced gegevens van Wikidata om historische kunstwerken en stadsgezichten en verdwenen gebouwen, zoals de Mariakerk in Utrecht, te verkennen en tot leven te brengen in een 3D-wereld.

Met behulp van AI kregen de kunstwerken diepte, en werden herkenningspunten zoals bekende gebouwen georefereerd en geannoteerd en werden deze gegevens gekoppeld. Het resultaat is de virtuele game Trough the Looking Glass waarin je de werken van Saftleven, Saenredam en Jan de Beijer kunt verkennen.’

Het juryoordeel

‘We zijn enthousiast over het idee om te navigeren met 3D-kunstwerken. Het concept is goed doordacht en het prototype is zeer uitnodigend. De presentatie heeft ons echt overtuigd. Als jury geloven we dat de toepassing van Utrecht Time Machine het potentieel heeft om een waardevol product te worden.’

Team Per LOD ad Astra

Richard Zijdeman, Bob Coret, Wouter Beek, Ivo Zandhuis, Erwin Folmer en Mark Lindeman

Het project

‘We zien dat erfgoedorganisaties vanuit hun taakstelling vaak geen tijd en middelen hebben om hun collectie te verbinden met andere collecties. Hier is een rol weggelegd voor communities en vrijwilligers bij tijdmachines, aangezien daar de kennis zit om koppelingen te leggen tussen concepten en objecten in hun collectie en die van erfgoedinstellingen. Tijdens de HackaLOD hebben we de tool de Koppelaar gemaakt waarmee je een object kunt zoeken in twee verschillende bronnen.

Voor de HackaLOD hebben we ons beperkt tot organisaties. Neem bijvoorbeeld de Goudse Stearine Kaarsenfabriek, die zowel in de Gouda Tijdmachine als in de thesaurus van het IISG voorkomt. Vrijwilligers kunnen, gebaseerd op hun lokale kennis, vaststellen dat de twee concepten gelijk zijn, waarna er een “triple” gemaakt wordt om de twee concepten te vinden.

Deze “linksets” worden opgeslagen bij de community, zoals de Gouda Tijdmachine. Maar ook het IISG kan gebruikmaken van de links. We hebben diverse bronnen gekoppeld: IISG, KB corporatiethesaurus, RKDartists, Nieuwe Instituut, Nationaal Archief, Streekarchief Midden-Holland en ook FIZ Karlsruhe (bijvoorbeeld de Humbold Universiteit komt voor bij zowel IISG als FIZ).

De ontwikkelde tool is op dit moment nog vrij technisch. Wil je deze inzetten voor vrijwilligers, bijvoorbeeld in de crowdsourcingstoepassing van de Gouda Tijdmachine, dan moet de “interface” begrijpelijker worden gemaakt.’

De tool is te vinden op per-lod-ad-astra.nl, een Proof of Concept staat op lab.coret.org. Voor verdere informatie: github.com.

Het juryoordeel

‘Op naar de sterren! Wat een mooie en functionele manier om de silo’s te gaan doorbreken! De toepassing van dit team bouwt voort op wat we met elkaar al bereikt hebben op het gebied van linked open data in de erfgoedsector – en dat is al veel! Maar we kunnen nog meer bereiken, en deze tool zou de sector daarbij kunnen gaan helpen, zowel infrastructureel als ook in de context van crowdsourcingactiviteiten, zoals team Per LOD ad Astra ons liet zien in een voorbeeld met de Gouda Tijdmachine waar gekoppeld materiaal van IISG door de vrijwilligers van de Gouda Tijdmachine kan worden verrijkt.’

Team NA/TD

Ed de Heer, Martijn Arts, Simon Kemper, Jettro Coenradie en Egor Dmitriev

Het project

‘We zijn allemaal bekend met de beroemde ontdekkingsreizigers uit het verleden, zoals Cornelis de Houtman en Jacob van Heemskerk, die met hun schepen over de wereldzeeën voeren. Toch weten we weinig over de talloze anderen die zich aan boord van deze schepen bevonden, evenals die van vele schepen daarna. Onder de noemer “Geef het verleden een gezicht” wilden dit onzichtbare verleden zichtbaar maken.

Met behulp van kunstmatige intelligentie hebben we geprobeerd deze mensen, van wie vaak niet meer dan een korte beschrijving in een stamboek bekend is, een gezicht en een stem geven. We hebben suppletiefolio’s* gedigitaliseerd, gezichten gegenereerd op basis van deze gegevens, een tijdlijn van gebeurtenissen samengesteld en bijbehorende foto’s uit archieven verzameld, evenals een kaart van de reisroute.

Deze verzamelde informatie hebben we vervolgens gebruikt om een generatief AI-model te trainen, zodat het in staat is om te communiceren als de betreffende persoon. Je kunt er dus mee chatten. Dat laatste is zelfs gelukt met AI gegenereerde spraak.’

* Deze stamboeken worden ‘suppletiefolio’s’ genoemd, omdat de KNIL-militairen dienden als aanvulling (suppletie) op het leger in Oost-Indië.

Het juryoordeel

Het team NA/TD heeft een concept ontwikkeld dat, naast andere technologieën, verschillende soorten AI-toepassingen gebruikt. Hierdoor is het niet alleen mogelijk om een verhaal te “genereren” op basis van archiefmateriaal over historische personen, maar kan het publiek ook daadwerkelijk in gesprek gaan met betreffende personen. Op deze manier kan iedereen in feite ‘een gesprek voeren met archiefmateriaal’. Als jury vinden we dat heel bijzonder.’

Team FIZ

Etienne Posthumus, Mary Ann Tan, Sasha Bruns, Tabea Tietz en Mahsa Vafaie

Het project

‘Hoe kunnen we erfgoedprofessionals helpen bij het maken van zoekomgevingen voor het publiek? We kwamen tot deze vraag omdat we ons realiseerden dat spelfouten in de data een uitdaging kunnen vormen. Bijvoorbeeld, een straatnaam kan per abuis worden gespeld als “Fossenburg”, terwijl het eigenlijk “Vossenburch” hoort te zijn.

Of stel je voor dat je wilt zoeken naar een abstract concept als ‘vastberadenheid’. Zelfs als dit niet expliciet als term in de dataset voorkomt, dan wil je nog steeds afbeeldingen gerelateerd aan dit begrip vinden. Dit bracht ons op het idee om voor dit probleem een oplossing te ontwikkelen.

Onder de naam “Close enough! Introducing FIZZY SPARQL Queries” gingen we aan de slag. We bedachten een tool die professionals helpt om hun collecties op een gebruiksvriendelijkere, meer semantische manier doorzoekbaar te maken voor het publiek dan met strikte SPARQL-query’s, al blijven die laatste nog wel noodzakelijk. Het zoeken gaat zo losser oftewel fuzzy. Vandaar de naam fuzzy/fizzy, “sprankelend”, als woordgrapje op onze teamnaam FIZ.’

Meer informatie is te vinden op github.com.

Het juryoordeel

‘Het is geweldig dat het internationale team FIZ uit Karlsruhe speciaal voor de HackaLOD naar Gouda is afgereisd. Zij hebben Fizzy (een combinatie van sprankelend en fuzzy) SPARQL Queries ontwikkeld om erfgoedprofessionals te helpen bij het verbeteren van zoekomgevingen. Dit bereiken ze door een meer gebruiksvriendelijke en semantische aanpak mogelijk te maken, waardoor ze spelfouten en abstracte concepten beter kunnen verwerken dan met standaard SPARQL-queries.’

Team Memorix

Martien Nijdam, Raúl Ordóñez García, Tessa van Walstijn en Rogier Bom

Het project

‘Een opkomende standaard voor het delen van beeldmateriaal is IIIF, wat staat voor International Image Interoperability Framework. Dit is een structuur waarin metadata en bijbehorende digitale afbeeldingen kunnen worden gepubliceerd als een IIIF Manifest. Zou het niet handig zijn om een tool te ontwikkelen waarmee dergelijke erfgoeddata verrijkt kan worden met behulp van kunstmatige intelligentie (AI) en linked open data? Met die vraag zijn we aan de slag gegaan.

Het resultaat is een applicatie waarmee gebruikers een IIIF Manifest kunnen inladen en weergeven in een webapplicatie. Vervolgens kan AI (in dit geval een Google Vision API) objecten in de bijbehorende afbeelding herkennen, die de gebruiker van de applicatie dan makkelijk kan omzetten in annotaties. Zo kan op een schilderij bijvoorbeeld een hond, een vaas en een persoon worden herkend.

Wat is herkend, koppelt de applicatie aan een term in het Termennetwerk, zodat wat is geïdentificeerd, ook gekoppeld is aan een gemeenschappelijke thesaurus. Het eindresultaat is een nieuwe versie van het IIIF Manifest, verrijkt met annotaties die zijn gekoppeld aan termen uit het Termennetwerk. Hierdoor kan een volgende gebruiker de inhoud van een schilderij “zien” door middel van de annotaties op het schilderij. Zelfs als de originele metadata deze informatie niet bevatte.’

Het juryoordeel

‘Erfgoeddata op een handzame manier kunnen annoteren en labelen is een belangrijk onderwerp in het veld. Team Memorix maakt slim gebruik van enerzijds het IIIF Framework dat binnen het onderzoeksveld de standaard aan het worden is voor annotatie, en anderzijds AI die automatisch suggesties doet voor het labelen van personen, gebruik makend van vocabulaires in het Termennetwerk. Dit is een heel mooie, interessante combinatie waar toekomst in zit.’

Team Formelio

Daan Meijers, Jari Maijenburg, Sara Juhošová, Wouter de Bruijn en Wouter Polet

Het project

We wilden linked open data graag tastbaar en interactief maken voor het publiek. Omdat geen van ons thuis is in het erfgoedveld, hebben we gekozen voor een visueel krachtige applicatie: een 3D-museum, genaamd See-A-LOD. In dit museum zie je steeds een deur met een kunsthistorisch onderwerp erop vermeld, en je kunt telkens een deur openen om in een andere ruimte weer iets nieuws te ontdekken.

Aan de achterkant werkt het als volgt: elk vertrek in het museum vertegenwoordigt een onderwerp dat we hebben opgehaald als linked data, en elke deur is een link van het ene onderwerp naar een andere. Zo kan je van het vertrek “Johannes Vermeer” naar het vertrek “Delft” gaan via het deurtje genaamd “geboorteplaats”. Naast schilders en steden hebben we ook kunststromingen en gilden als mogelijk onderwerp gebruikt. Zo kun je bijvoorbeeld van een kamer met Leidse kunst naar een kamer met alleen maar werken van Rembrandt lopen, en van daaruit verder gaan naar een kamer met allerlei kunst uit de Barokperiode.’

Het juryoordeel

‘Een heel mooi project van een team dat verrassend niet uit het erfgoedveld komt. Het virtuele museum dat ze hebben gemaakt biedt een verrassingstoer. Door te werken met real-time data, krijg je telkens een volledig persoonlijk museum. En door het werken met verschillende kamers krijgt het ook een architecturale component.’

Team KBackers

Dorien Haagsma, Marc van der Meulen, Vera Provatorova, Mirjam Cuper en Marijn Biekart

Het project

‘Ons doel is om digitaal erfgoed breder toegankelijk te maken en de maatschappelijke rol van de bibliotheek daarmee te versterken. We willen erfgoed gebruiken om sociale verbindingen te bevorderen, eenzaamheid te bestrijden en ouderen te inspireren om hun verhalen te delen en te ontdekken wat er aan erfgoed (via linked open data) beschikbaar is.

Ons project, genaamd Vertel aLOD, creëert een digitaal dashboard met behulp van linked open data erfgoed als inspiratiebron of illustratie, vergelijkbaar met het boekje “Opa vertel eens” (bijvoorbeeld dit boekje). Het stelt mensen in staat om persoonlijke herinneringen te delen met anderen.

Dit dashboard biedt toegang tot diverse databronnen om een beeld te geven van een specifiek jaar of periode, bijvoorbeeld de muziek en het straatbeeld van die tijd. Mensen kunnen ook hun eigen ervaringen toevoegen, waardoor we van elkaar kunnen leren. Bovendien kan dit dashboard in het (basis) onderwijs worden gebruikt.’

Het juryoordeel

‘Het team van de Koninklijke Bibliotheek ontwikkelde een concept waarmee persoonlijke verhalen worden verbonden met gedigitaliseerd erfgoed. En waar kan je dit nou beter doen dan in de bibliotheek! Team KBackers maakte een eerste opzet op basis van verschillende erfgoedbronnen die ter inspiratie dienen om met elkaar in gesprek te gaan. Zo houden we erfgoed levend!’