HackaLOD 2023: dit zijn de toepassingen met erfgoeddata voor publiek én collega’s

9 november 2023


I

In de nacht van 3 op 4 november is het 15e-eeuwse stadhuis van Gouda het episch centrum geweest van de zevende HackaLOD, de hackathon voor het erfgoedveld. Zeven teams werken met erfgoeddata als ruwe diamant om apps, games en andere creatieve toepassingen te ontwikkelen voor een breed publiek. Dit jaar hebben de teams ook ruime aandacht voor erfgoedcollega’s, aangezien een paar ontwikkelde toepassingen de potentie hebben om hun werk te vereenvoudigen.


Waar de lichtjes branden

Wandelaars die die bewuste nacht een blik werpen op het oude stadhuis op de markt in Gouda, zien nog steeds de lichtjes branden. Het pand, een van de oudste gotische stadhuizen van Nederland, is sinds half 7 ’s avonds veranderd in een soort snelkookpan.

Zeven teams bestaande uit programmeurs, historici, designers en dataspecialisten zitten hier gebogen achter hun laptops, bezig met datasets van musea, archieven en andere erfgoedorganisaties. In vergelijking met het jaar ervoor zijn er nu nog meer datasets beschikbaar, wordt enthousiast opgemerkt. En hoe meer datasets, hoe groter de mogelijkheden om er coole toepassingen mee te ontwikkelen.

Trouwzaal

We hebben het over de HackaLOD, dé hackathon voor het erfgoedveld. Inmiddels een concept dat gepokt en gemazeld is. De succesfactor is en blijft de bijzondere locatie, van gevangenis, kerk tot zendstation. En deze keer dus een voormalig stadhuis waar de teams geheel vrijwillig een nacht hebben doorgehaald.

Wie toch slaap krijgt, vlijt zich neer op een van de veldbedden. Voor een van de deelnemers is dat een wel heel bijzondere ervaring want zijn slaapplek is in de majestueuze trouwzaal waar hij ooit het jawoord heeft gegeven.

Internationaal tintje

Dat de introductie voorafgaand aan de HackaLOD in het Engels is, zegt al veel over de diversiteit van de teams. Anders gezegd: deze hackathon krijgt een steeds internationaler karakter.

Dit jaar was er een Duits team, genaamd FIZ, dat speciaal naar Gouda was afgereisd. De teamleden werken bij het Leibniz Institute for Information Infrastructure, een instituut dat al jarenlang werkt aan het toepassen van AI en semantische technologie voor gebruik in wetenschappelijk onderzoek. Maar ook had zich het team Formelio aangemeld, waarvan de teamleden normaal gesproken met medische gegevens werken in plaats van erfgoeddata.

Vrij beschikbare data

‘Een van de dingen die we zo leuk vinden aan deze hackathon, is dat alles wat je gebruikt en maakt per definitie vrij beschikbaar is,’ vertelt Daan Meijers van team Formelio. ‘Dit biedt ontzettend veel mogelijkheden en is daarom erg interessant en inspirerend om mee te werken, iets wat veel beperkter is in onze eigen sector, gezondheids-IT.’

Daan ziet ook overeenkomsten: ‘De uitdagingen van het beschikbaar stellen van data en dit op een gestandaardiseerde manier uitwisselen, delen we als sectoren. Het lijkt me dan ook helemaal niet onwaarschijnlijk dat bepaalde oplossingen met linked data zowel voor erfgoed als voor gezondheid waardevol kunnen zijn.’

‘Sparkles’ van energie

En hoe vergaat het de teams de volgende morgen, het moment waarop ze hun ontwikkelde toepassing aan de vakjury laten zien? De sfeer is deze keer buitengewoon ontspannen en relaxt. Geen stress en tranen zoals bij de vorige editie. Marc van der Meulen, die met teamgenoten als KBackaLOD voor het eerst meedoet, vat de 2023-editie bondig samen: ‘De HackaLOD heeft mijn grenzen verlegd. Het geeft “sparkles” van energie. Iedereen verdient zo’n ervaring.’

Winnaars van HackaLOD 2023

Voor het tweede jaar op rij heeft het team Utrecht Time Machine de juryprijs gewonnen. Ze hebben de game Through the Looking Glass ontwikkeld, waarmee je als het ware in een kunstwerk kunt stappen. Het publiek heeft het team Per LOD ad Astra beloond met de publieksprijs. Ze hebben de erfgoedtool de Koppelaar gemaakt, waarmee je objecten kunt zoeken in twee verschillende bronnen.

De jury bestond uit Nienke van Schaverbeke, Miel vander Sande, Henk Schaap, Alina Saenko, Pieter van Everdingen en Roeland Ordelman.

Foto’s: Jacqueline van der Kort

Team Utrecht Time Machine tijdens Hackalod 2023

Team Utrecht Time Machine

Rick Companje, Kathleen Verdult, Simon Dirks, Ivar Troost en Shannon van Muijden

Het project

‘Wie droomt er nou niet van om eens een schilderij binnen te stappen en een wandeling te maken door de omgeving? We hebben deze droom een stukje dichterbij gebracht. Hiervoor gebruikten we kunstmatige intelligentie en crowd-sourced gegevens van Wikidata om historische kunstwerken en stadsgezichten en verdwenen gebouwen, zoals de Mariakerk in Utrecht, te verkennen en tot leven te brengen in een 3D-wereld.

Met behulp van AI kregen de kunstwerken diepte, en werden herkenningspunten zoals bekende gebouwen georefereerd en geannoteerd en werden deze gegevens gekoppeld. Het resultaat is de virtuele game Trough the Looking Glass waarin je de werken van Saftleven, Saenredam en Jan de Beijer kunt verkennen.’

Het juryoordeel

‘We zijn enthousiast over het idee om te navigeren met 3D-kunstwerken. Het concept is goed doordacht en het prototype is zeer uitnodigend. De presentatie heeft ons echt overtuigd. Als jury geloven we dat de toepassing van Utrecht Time Machine het potentieel heeft om een waardevol product te worden.’

Team Per LOD ad Astra tijdens Hackalod 2023

Team Per LOD ad Astra

Richard Zijdeman, Bob Coret, Wouter Beek, Ivo Zandhuis, Erwin Folmer en Mark Lindeman

Het project

‘We zien dat erfgoedorganisaties vanuit hun taakstelling vaak geen tijd en middelen hebben om hun collectie te verbinden met andere collecties. Hier is een rol weggelegd voor communities en vrijwilligers bij tijdmachines, aangezien daar de kennis zit om koppelingen te leggen tussen concepten en objecten in hun collectie en die van erfgoedinstellingen. Tijdens de HackaLOD hebben we de tool de Koppelaar gemaakt waarmee je een object kunt zoeken in twee verschillende bronnen.

Voor de HackaLOD hebben we ons beperkt tot organisaties. Neem bijvoorbeeld de Goudse Stearine Kaarsenfabriek, die zowel in de Gouda Tijdmachine als in de thesaurus van het IISG voorkomt. Vrijwilligers kunnen, gebaseerd op hun lokale kennis, vaststellen dat de twee concepten gelijk zijn, waarna er een “triple” gemaakt wordt om de twee concepten te vinden.

Deze “linksets” worden opgeslagen bij de community, zoals de Gouda Tijdmachine. Maar ook het IISG kan gebruikmaken van de links. We hebben diverse bronnen gekoppeld: IISG, KB corporatiethesaurus, RKDartists, Nieuwe Instituut, Nationaal Archief, Streekarchief Midden-Holland en ook FIZ Karlsruhe (bijvoorbeeld de Humbold Universiteit komt voor bij zowel IISG als FIZ).

De ontwikkelde tool is op dit moment nog vrij technisch. Wil je deze inzetten voor vrijwilligers, bijvoorbeeld in de crowdsourcingstoepassing van de Gouda Tijdmachine, dan moet de “interface” begrijpelijker worden gemaakt.’

De tool is te vinden op per-lod-ad-astra.nl, een Proof of Concept staat op lab.coret.org. Voor verdere informatie: github.com.

Het juryoordeel

‘Op naar de sterren! Wat een mooie en functionele manier om de silo’s te gaan doorbreken! De toepassing van dit team bouwt voort op wat we met elkaar al bereikt hebben op het gebied van linked open data in de erfgoedsector – en dat is al veel! Maar we kunnen nog meer bereiken, en deze tool zou de sector daarbij kunnen gaan helpen, zowel infrastructureel als ook in de context van crowdsourcingactiviteiten, zoals team Per LOD ad Astra ons liet zien in een voorbeeld met de Gouda Tijdmachine waar gekoppeld materiaal van IISG door de vrijwilligers van de Gouda Tijdmachine kan worden verrijkt.’

Foto: Team Nationaal Archief en Total Design tijdens Hackalod 2023

Team NA/TD

Ed de Heer, Martijn Arts, Simon Kemper, Jettro Coenradie en Egor Dmitriev

Het project

‘We zijn allemaal bekend met de beroemde ontdekkingsreizigers uit het verleden, zoals Cornelis de Houtman en Jacob van Heemskerk, die met hun schepen over de wereldzeeën voeren. Toch weten we weinig over de talloze anderen die zich aan boord van deze schepen bevonden, evenals die van vele schepen daarna. Onder de noemer “Geef het verleden een gezicht” wilden dit onzichtbare verleden zichtbaar maken.

Met behulp van kunstmatige intelligentie hebben we geprobeerd deze mensen, van wie vaak niet meer dan een korte beschrijving in een stamboek bekend is, een gezicht en een stem geven. We hebben suppletiefolio’s* gedigitaliseerd, gezichten gegenereerd op basis van deze gegevens, een tijdlijn van gebeurtenissen samengesteld en bijbehorende foto’s uit archieven verzameld, evenals een kaart van de reisroute.

Deze verzamelde informatie hebben we vervolgens gebruikt om een generatief AI-model te trainen, zodat het in staat is om te communiceren als de betreffende persoon. Je kunt er dus mee chatten. Dat laatste is zelfs gelukt met AI gegenereerde spraak.’

* Deze stamboeken worden ‘suppletiefolio’s’ genoemd, omdat de KNIL-militairen dienden als aanvulling (suppletie) op het leger in Oost-Indië.

Het juryoordeel

Het team NA/TD heeft een concept ontwikkeld dat, naast andere technologieën, verschillende soorten AI-toepassingen gebruikt. Hierdoor is het niet alleen mogelijk om een verhaal te “genereren” op basis van archiefmateriaal over historische personen, maar kan het publiek ook daadwerkelijk in gesprek gaan met betreffende personen. Op deze manier kan iedereen in feite ‘een gesprek voeren met archiefmateriaal’. Als jury vinden we dat heel bijzonder.’

Team FIZ tijdens Hackalod 2023

Team FIZ

Etienne Posthumus, Mary Ann Tan, Sasha Bruns, Tabea Tietz en Mahsa Vafaie

Het project

‘Hoe kunnen we erfgoedprofessionals helpen bij het maken van zoekomgevingen voor het publiek? We kwamen tot deze vraag omdat we ons realiseerden dat spelfouten in de data een uitdaging kunnen vormen. Bijvoorbeeld, een straatnaam kan per abuis worden gespeld als “Fossenburg”, terwijl het eigenlijk “Vossenburch” hoort te zijn.

Of stel je voor dat je wilt zoeken naar een abstract concept als ‘vastberadenheid’. Zelfs als dit niet expliciet als term in de dataset voorkomt, dan wil je nog steeds afbeeldingen gerelateerd aan dit begrip vinden. Dit bracht ons op het idee om voor dit probleem een oplossing te ontwikkelen.

Onder de naam “Close enough! Introducing FIZZY SPARQL Queries” gingen we aan de slag. We bedachten een tool die professionals helpt om hun collecties op een gebruiksvriendelijkere, meer semantische manier doorzoekbaar te maken voor het publiek dan met strikte SPARQL-query’s, al blijven die laatste nog wel noodzakelijk. Het zoeken gaat zo losser oftewel fuzzy. Vandaar de naam fuzzy/fizzy, “sprankelend”, als woordgrapje op onze teamnaam FIZ.’

Meer informatie is te vinden op github.com.

Het juryoordeel

‘Het is geweldig dat het internationale team FIZ uit Karlsruhe speciaal voor de HackaLOD naar Gouda is afgereisd. Zij hebben Fizzy (een combinatie van sprankelend en fuzzy) SPARQL Queries ontwikkeld om erfgoedprofessionals te helpen bij het verbeteren van zoekomgevingen. Dit bereiken ze door een meer gebruiksvriendelijke en semantische aanpak mogelijk te maken, waardoor ze spelfouten en abstracte concepten beter kunnen verwerken dan met standaard SPARQL-queries.’

Team Memorix tijdens Hackalod 2023

Team Memorix

Martien Nijdam, Raúl Ordóñez García, Tessa van Walstijn en Rogier Bom

Het project

‘Een opkomende standaard voor het delen van beeldmateriaal is IIIF, wat staat voor International Image Interoperability Framework. Dit is een structuur waarin metadata en bijbehorende digitale afbeeldingen kunnen worden gepubliceerd als een IIIF Manifest. Zou het niet handig zijn om een tool te ontwikkelen waarmee dergelijke erfgoeddata verrijkt kan worden met behulp van kunstmatige intelligentie (AI) en linked open data? Met die vraag zijn we aan de slag gegaan.

Het resultaat is een applicatie waarmee gebruikers een IIIF Manifest kunnen inladen en weergeven in een webapplicatie. Vervolgens kan AI (in dit geval een Google Vision API) objecten in de bijbehorende afbeelding herkennen, die de gebruiker van de applicatie dan makkelijk kan omzetten in annotaties. Zo kan op een schilderij bijvoorbeeld een hond, een vaas en een persoon worden herkend.

Wat is herkend, koppelt de applicatie aan een term in het Termennetwerk, zodat wat is geïdentificeerd, ook gekoppeld is aan een gemeenschappelijke thesaurus. Het eindresultaat is een nieuwe versie van het IIIF Manifest, verrijkt met annotaties die zijn gekoppeld aan termen uit het Termennetwerk. Hierdoor kan een volgende gebruiker de inhoud van een schilderij “zien” door middel van de annotaties op het schilderij. Zelfs als de originele metadata deze informatie niet bevatte.’

Het juryoordeel

‘Erfgoeddata op een handzame manier kunnen annoteren en labelen is een belangrijk onderwerp in het veld. Team Memorix maakt slim gebruik van enerzijds het IIIF Framework dat binnen het onderzoeksveld de standaard aan het worden is voor annotatie, en anderzijds AI die automatisch suggesties doet voor het labelen van personen, gebruik makend van vocabulaires in het Termennetwerk. Dit is een heel mooie, interessante combinatie waar toekomst in zit.’

Team Formelio

Daan Meijers, Jari Maijenburg, Sara Juhošová, Wouter de Bruijn en Wouter Polet

Het project

We wilden linked open data graag tastbaar en interactief maken voor het publiek. Omdat geen van ons thuis is in het erfgoedveld, hebben we gekozen voor een visueel krachtige applicatie: een 3D-museum, genaamd See-A-LOD. In dit museum zie je steeds een deur met een kunsthistorisch onderwerp erop vermeld, en je kunt telkens een deur openen om in een andere ruimte weer iets nieuws te ontdekken.

Aan de achterkant werkt het als volgt: elk vertrek in het museum vertegenwoordigt een onderwerp dat we hebben opgehaald als linked data, en elke deur is een link van het ene onderwerp naar een andere. Zo kan je van het vertrek “Johannes Vermeer” naar het vertrek “Delft” gaan via het deurtje genaamd “geboorteplaats”. Naast schilders en steden hebben we ook kunststromingen en gilden als mogelijk onderwerp gebruikt. Zo kun je bijvoorbeeld van een kamer met Leidse kunst naar een kamer met alleen maar werken van Rembrandt lopen, en van daaruit verder gaan naar een kamer met allerlei kunst uit de Barokperiode.’

Het juryoordeel

‘Een heel mooi project van een team dat verrassend niet uit het erfgoedveld komt. Het virtuele museum dat ze hebben gemaakt biedt een verrassingstoer. Door te werken met real-time data, krijg je telkens een volledig persoonlijk museum. En door het werken met verschillende kamers krijgt het ook een architecturale component.’

Team KBackers

Dorien Haagsma, Marc van der Meulen, Vera Provatorova, Mirjam Cuper en Marijn Biekart

Het project

‘Ons doel is om digitaal erfgoed breder toegankelijk te maken en de maatschappelijke rol van de bibliotheek daarmee te versterken. We willen erfgoed gebruiken om sociale verbindingen te bevorderen, eenzaamheid te bestrijden en ouderen te inspireren om hun verhalen te delen en te ontdekken wat er aan erfgoed (via linked open data) beschikbaar is.

Ons project, genaamd Vertel aLOD, creëert een digitaal dashboard met behulp van linked open data erfgoed als inspiratiebron of illustratie, vergelijkbaar met het boekje “Opa vertel eens” (bijvoorbeeld dit boekje). Het stelt mensen in staat om persoonlijke herinneringen te delen met anderen.

Dit dashboard biedt toegang tot diverse databronnen om een beeld te geven van een specifiek jaar of periode, bijvoorbeeld de muziek en het straatbeeld van die tijd. Mensen kunnen ook hun eigen ervaringen toevoegen, waardoor we van elkaar kunnen leren. Bovendien kan dit dashboard in het (basis) onderwijs worden gebruikt.’

Het juryoordeel

‘Het team van de Koninklijke Bibliotheek ontwikkelde een concept waarmee persoonlijke verhalen worden verbonden met gedigitaliseerd erfgoed. En waar kan je dit nou beter doen dan in de bibliotheek! Team KBackers maakte een eerste opzet op basis van verschillende erfgoedbronnen die ter inspiratie dienen om met elkaar in gesprek te gaan. Zo houden we erfgoed levend!’

Op de hoogte blijven?