Stap 3. Opschonen

Tijdens het registreren van objecten kun je per ongeluk een spatie toevoegen in je collectie-informatiesysteem. Die zie je vaak niet, maar de computer leest die onbedoelde spaties voor of achter een term als een andere term dan zonder spatie.

In OpenRefine verwijder je deze spaties met één druk op de knop. Spaties tussen de tekst, bijvoorbeeld tussen voor- en achternaam, worden niet aangepast.

Volg deze stappen om onbedoelde spaties in OpenRefine te verwijderen:

1. Open Edit cells.
2. Houd je muis boven Common transforms. Er verschijnt een uitklapmenu.
3. Klik op Trim leading and trailing whitespace. Termen die hetzelfde geschreven zijn, maar nul, één of meer spatie(s) voor of achter hebben staan, worden samengevoegd tot één term. In Text facet zie je de aanpassingen meteen plaatsvinden.

Soms weet je niet zeker wie de maker is, wanneer het object gemaakt is of uit welke materialen een object bestaat. Dan wordt aan een term al snel een woord als ‘vermoedelijk’ toegevoegd. Of bij een datumnotatie ‘ongeveer’, ‘circa’ of een vraagteken.

Wil je zoeken naar een datum in je collectie-informatiesysteem? Dan wordt bijvoorbeeld ‘circa 1975’ niet meegenomen omdat het niet als datum wordt herkend. Dit levert ook problemen op bij het presenteren van je data op een collectieportal.

Hetzelfde geldt voor een woord als ‘vermoedelijk’ als toevoeging aan een object-, materiaal-, of vervaardigersterm. Alle tekst in een veld ziet het collectie-informatiesysteem namelijk als een geheel. Het systeem zal de materiaalsoort of objectnaam er niet uit filteren.

Plaats woorden die een vermoeden of inschatting aangeven daarom altijd in het opmerkingenveld bij de term.

Volg deze stappen om woorden als circa en ongeveer in OpenRefine te verwijderen:

1. Klik op Edit cells.
2. Klik in het uitklapmenu dat verschijnt op Replace. Er opent een pop-upscherm.
3. Met Replace voer je een zoek- en vervangactie uit. Typ bij Find het woord in dat je weg wil halen. Laat het veld Replace with leeg. Het woord wordt dan verwijderd zonder iets terug te plaatsen.
4. Voer de actie uit met de knop OK.

Een object kan van verschillende materialen gemaakt zijn. Denk aan hout, metaal en plastic. Wanneer die termen als opsomming in één veld staan, ziet het collectie-informatiesysteem dit als één term. De termen worden niet onderscheiden van elkaar, ook al is er een komma (,), puntkomma (;) of slash (/) toegevoegd.

Zoek je in het collectie-informatiesysteem naar alle objecten van hout? Dan komt een object met verschillende termen in één veld niet naar boven. Gebruik daarom voor iedere term een eigen veld.

Volg deze stappen om meerdere termen te splitsen en iedere term een eigen veld te geven in OpenRefine:

1. Je klikt onder Edit column op Split into several columns.
2. Vul in het scherm dat opent bij How to split column het type separator in, bijvoorbeeld een komma, puntkomma of een slash. De kolommen worden gesplitst op basis van dat teken. Gebruik je meerdere separators door elkaar. Lees dan hieronder verder.
3. Druk op OK.

Meerdere separators gebruikt?

Staan er in een veldtype (een kolom) zowel een komma, puntkomma als een slash, dan ga je anders te werk. Je past deze varianten aan per soort separator.

In je Text facet van de kolom zie je terug welke separators er in die kolom gebruikt zijn. Om dit makkelijk te splitsen gebruik je de eerder gebruikte functie Replace.
Kies eerst welke separator je wil aanhouden. Dit is alleen om deze splitsing uit te voeren, en heeft dus verder geen waarde. De keuze is dus niet belangrijk, als die maar uniform is.

Bij Find noteer je de separator die je wilt vervangen. Noteer bij Replace with de separator die je gekozen hebt aan te houden.

De verschillende soorten separators zijn nu teruggebracht tot één. Voer nu de splitsactie uit. Dan heb je kolommen zonder meerdere waarden in een veld.

Een veelvoorkomende situatie is dat er door de jaren heen hoofdletters en kleine letters in de collectieregistratie door elkaar gebruikt zijn. Dat zorgt ervoor dat bijvoorbeeld ‘fiets’ en ‘Fiets’ als twee aparte termen worden gezien. Volgens de norm van minimale registratie worden objectnamen met kleine letters geschreven. Plaatsnamen krijgen weer een hoofdletter. In OpenRefine vind je een knop om dit gelijk te trekken.

Volg deze stappen om het gebruik van hoofdletters en kleine letters gelijk te trekken in OpenRefine:

1. Klik onder Edit cells op Common transforms.
2. Wil je alle termen in een kolom laten beginnen met een kleine letter? Klik de knop op To lowercase.
3. Wil je plaatsnamen of straatnamen laten beginnen met een hoofdletter? Klik op de knop To titlecase.

Datums worden in collectie-informatiesystemen vaak op verschillende manieren geschreven: dag-maand-jaar, jaar-maand-dag, uitgeschreven of met cijfers. OpenRefine herkent deze schrijfwijzen zo goed als allemaal. Eerder heb je al woorden als circa uit de datumvelden verwijderd. Nu ga je verschillend geschreven datums omzetten naar één schrijfwijze. Kies voor jaar-maand-dag; dit is ook de ISO 8601-norm die in de meeste collectie-informatiesystemen wordt gebruikt.

Volg deze stappen om datums naar jaar-maand-dag te veranderen in OpenRefine:

1. Is een periode vastgelegd als twee jaartallen met een streepje ertussen? Vul dan de begin- en einddatum in twee verschillende kolommen in. Het scheiden van deze jaartallen gaat op dezelfde manier als het scheiden van meerdere termen in een veld. De separator is in dit geval een liggend streepje.
2. Zoek onder Edit cells de knop Common transforms.
3. Druk op de knop To date.
4. Bestaat de ingevulde datum alleen uit een jaartal? Dan wordt deze met de To date-functie omgezet naar een volledige datumnotatie (1 januari van het genoteerde jaar). Dit moet je later handmatig verwijderen, via de edit-functie.
5. Aan de datum wordt in OpenRefine automatisch een tijdstip toegevoegd. Omdat dit in een collectie-informatiesysteem geen meerwaarde heeft, verwijder je het tijdstip. Splits de tijd van de datum door de eerdere stappen van Split column te volgen. De separator is de T (van tijdsaanduiding). Je krijgt dan een kolom met de datum en een met de tijd. Verwijder de laatste kolom door onder Edit column te klikken op Remove this column.

Wanneer je alle fietsen in je collectie-informatiesysteem wil zoeken, krijg je de exemplaren die met het synoniem ‘rijwiel’ zijn geregistreerd niet boven. Je kunt dit gelijk trekken door de minder gebruikte termen te vervangen door een term die vaker in de collectieregistratie voorkomt. Wanneer je later een soortgelijk object wil registeren, weet je meteen dat je voor ‘fiets’ kiest. Je raakt niet in verwarring door twee verschillende termen.

Het aanpassen kan op twee manieren.

Volg deze stappen om termen aan te passen in het betreffende veld in OpenRefine:

1. Houd je muis boven het veld met de term die je wil aanpassen.
2. In het veld verschijnt de knop Edit. Klik hierop.
3. Er opent een pop-up scherm. Typ de gewenste vervangende term in.
4. Voer met de knop Apply de bewerking door. Je kunt dit voor een veld doen, of je alle velden met deze tekst in een keer wijzigen. Klik na het aanpassen van de tekst op Apply to all identical cells.

Volg deze stappen om termen via Text facet aan te passen in OpenRefine:

1. Ga naar de Text facet-kolom.
2. Houd de muis boven de term die je wil wijzigen. De edit-knop komt tevoorschijn. Klik daarop.
3. Er opent een bewerkscherm. Via Text facet pas je alle gelijke termen in een keer aan.

Heb je in je collectie-informatiesysteem een schildersnaam die je op twee manieren beschrijft, bijvoorbeeld ‘Rijn, Rembrandt van’ en ‘Rembrandt’? Dan kan OpenRefine je helpen met het opsporen van deze twee varianten. Je krijgt suggesties te zien van termen die tekstueel op elkaar lijken.

Je kunt aangeven of de vergelijking klopt, of ze samengevoegd moeten worden en of de voorgestelde term akkoord is. Ben je het niet eens met de voorgestelde term, dan pas je deze aan. Neem waar nodig het beleid van je organisatie mee.

Volg deze stappen om overeenkomstige termen op te sporen en samen te voegen in OpenRefine:

1. Klik onder Edit cells op de knop Cluster and edit. Er opent een pop-upscherm.
2. Zet linksboven in het pop-upscherm Auto-update aan om alle resultaten direct te zien.
3. Het pop-upscherm staat standaard ingesteld op de method ‘Key collision’. Onder deze method vind je via de keying function meerdere manieren waarop je termen kunt vergelijken.
4. Switch je bij method naar ‘Nearest neighbor’, dan verandert het menu van keying function in ‘Distance function’. Beide hebben specifieke opties. Loop deze voor de zekerheid allemaal na.
5. Lijken er overeenkomstige termen in je data te zitten op basis van die matchingtechniek? Dan worden deze als cluster getoond. Loop eerst alle clusters door voordat je doorgaat naar de volgende functie.
6. Beoordeel het Cluster. Komen de termen overeen en wil je ze samenvoegen tot één term? Vink dan Merge aan. Klopt een term uit het Cluster niet, dan deselecteer je die onder Values in cluster. Die wordt dan niet meegenomen in de matching.
7. De geselecteerde Clusters en termen gaan worden samengevoegd. Check of je het eens bent met de New cell value: de nieuwe naam die alle samengevoegde termen krijgen. Pas deze waar nodig aan.
8. Heb je een paar Clusters beoordeeld, en moet je verder met de andere? Klik dan op Merge selected & re-cluster. Je bewerkscherm blijft openstaan tot je het zelf afsluit.
9. Staat alles klaar om samen te voegen? Klik dan op Merge selected & Close. Alle Clusters die je hebt aangevinkt worden samengevoegd en krijgen de New cell value als term. Je bewerkscherm wordt afgesloten.