Hoewel Kunstmatige Intelligentie (K.I.) inmiddels gemeengoed is en op vele gebieden wordt toegepast en onderzocht blijft het vaak ongrijpbaar. In de meeste gevallen is K.I. een black box waar je iets in kunt stoppen en waar vervolgens (meestal) iets bruikbaars uit komt. Een playlist op Spotify, de stemcommando’s van Siri en Alexa en een zelfsturende Tesla, ze werken vaak verassend goed. Maar K.I. is ook de gezichtsherkennings-software die zwarte vrouwen niet als persoon herkent of het algoritme van de bank dat steeds dezelfde mensen een lening weigert zonder dat iemand weet waarom. Vaak is het zelfs voor de ontwikkelaars onmogelijk te herleiden waarom een K.I. een beslissing nam. Een beslissing die werd genomen in één van de honderden onzichtbare lagen van het getrainde neurale net. We kijken naar K.I. met een mengeling van bewondering en angst. Wat is het knap! Als het zich maar niet tegen ons keert! Zonder het te begrijpen, zonder perspectief op begrip.

Ook binnen de erfgoedsector wordt K.I. al veelvuldig toegepast in het kader van automatisering van transcriptie, vertaling, annotatie en classificatie. Over het algemeen vinden deze ontwikkelingen plaats aan de achterkant, als assistent van de archivaris en de curator. Maar welke rol kan K.I. hebben aan de voorkant tussen het archief en het publiek? Hoe kan een K.I. zorgen voor een nieuwe publiekservaring die bovendien transparant is, zichzelf demystificeert en een gelijkwaardige relatie tussen Kunstmatige en Menselijke Intelligentie veronderstelt?

Dit onderzoek gaat over de vraag hoe het Archief van de toekomst eruit kan zien. Hoe kan K.I. bijdragen aan de ontsluiting van een digitaal archief en tegelijkertijd een nieuw perspectief bieden op de interactie met en beleving van digitale archieven in brede zin?

Binnen dit onderzoek zijn bestaande K.I. technieken zoals visuele object- en patroonherkenning, tekstanalyse en classificatie toegepast op de archieven van Tegenlicht en de Rijkscollectie voor Nederlandse Architectuur en Stedenbouw van Het Nieuwe Instituut. Daarbij is gekeken naar twee aspecten;

• Hoe draagt K.I. bij aan nieuwe vormen van publieksbeleving van het archief?
• Hoe kan de rol die K.I. speelt zichtbaar gemaakt of verbeeld worden?

Objectherkenning

De eerste stap in het onderzoek gaat in op objectherkenning. Met behulp van een reeds getraind model (COCO) kunnen objecten in 80 verschillende categorieënCategorien uit de COCO dataset zijn bijvoorbeeld: persoon, auto, trein, lepel, giraffe herkend worden. Hierbij wordt gebruik gemaakt van YOLO v3 (You Only Look Once)https://pjreddie.com/darknet/yolo/, een populair neuraal netwerk gericht op objectherkenning. Het algoritme bekijkt alle afleveringen van Tegenlicht uit seizoen 2018 en tekent een kader om ieder herkend object. In een gemiddelde Tegenlicht uitzending wisselen pratende mensen en meer cinematografische scenes elkaar af en het algoritme blijkt in staat om personen en algemene objecten te detecteren en te labelen.

Hier blijkt ook de beperking van de 80 categorieën die het model kan herkennen. De classificatie is weliswaar vrij nauwkeurig maar ook erg algemeen. Een vervolg stap hierop was een test met een breder getraind model dat op basis van ImageNet 9K 9000 verschillende classificaties omvat en daarmee meer onderscheid kan maken.

Tegelijkertijd blijkt dat het model met meer verschillende categorieën ook sneller fouten maakt. Zoals wanneer het bomen in een park aanziet voor broccoli. Ook worden classificaties soms ook te algemeen. Zo worden de bergbeklimmers in onderstaand beeld de ene keer als persoon herkend, maar ook als 'living thing' of 'organism'. 

Deze uitkomsten roepen de vraag op hoe het Neurale Netwerk tot een classificatie komt. Dit kan zichtbaar gemaakt worden met behulp van Class Activation Maps. Een Class Activation Map laat zien welke “neuronen” geactiveerd worden bij de herkenning van een beeld. Op een kleurschaal van blauw naar rood wordt zichtbaar welk deel van het beeld het netwerk het meest activeert, waarbij blauw het minst actief is en rood het meeste. In onderstaand beeld is te zien dat het Imagenet9K model het meest geactiveerd wordt door de drie meest rechtse figuren. Het landschap zelf activeert nauwelijks. Dit is te verklaren doordat het model getraind is op alledaagse objecten waarbij personen meer voor de hand liggen dan besneeuwde berglandschappen.

Telkens wanneer het model iets herkent wordt daaraan een zekerheidspercentage gekoppeld. Door de drempelwaarde van dit percentage heel hoog in te stellen 'ziet' het algoritme minder, door het laag in te stellen ziet het meer maar maakt het ook meer fouten. Uit deze eerste experimenten blijkt dat wat een K.I. in de vorm van een neuraal net ziet, sterk afhangt van de data waarmee het model getraind is. Door verschillende modellen te gebruiken kan een K.I. verschillende dingen 'zien'.

Een model trainen

Op basis van een selectie van 100.000 beelden uit de digitale collectie van de Rijkscollectie voor Nederlandse Architectuur en Stedenbouw van Het Nieuwe Instituut is onderzocht hoe een neuraal net getraind kan worden en een model gemaakt kan worden dat patronen uit de selectie kan herkennen.

De beelden uit de selectie zijn oorspronkelijk gesorteerd op architect en bevatten voornamelijk tekeningen en enkele foto’s. Voor dit experiment is gebruik gemaakt van een selectie van 11 architecten en werd het neuraal net getraind tot een foutmarge van 14% is bereikt. Dit wil zeggen dat van alle beelden die het neuraal net ziet 14% aan de verkeerde architect wordt toegeschreven en 86% aan de juiste. Hoewel de tekeningen visueel vaak vrij dicht bij elkaar liggen is de classificatie verrassend effectief. Door de trainingsdata verder op te schonen, in de vorm van foto’s verwijderen, kan die foutmarge nog verder worden verkleind.

In een zogenaamde Confusion Matrix is te zien welke architecten verkeerd geclassificeerd worden. Deze matrix maakt duidelijk dat af en toe een tekening van Cuypers voor een Berlage wordt aangezien of een Dudok voor een Blom. Te verwachten is dat een model op basis van foto’s in staat zou kunnen zijn om ook in foto’s of video het werk van een architect te herkennen.

Ordening

Een andere toepassing van beeldherkenning en analyse richt zich op het ordenen van het archief. Hiervoor is gebruik gemaakt van de selectie van 100.000 afbeeldingen waarbij het archief in twee stappen geordend wordt. In stap een werden alle beelden geclassificeerd (op basis van een algemeen model) en formeel geanalyseerd op basis van kleur. Vervolgens wordt een ordening gemaakt waarbij de meest gelijkende beelden bij elkaar in de buurt worden geplaatst doormiddel van een T-SNE algoritme (t-distributed Stochastic Neighbor Embedding) en in een grid geplaatst.De vertaling van T-SNE naar een grid gebeurt met behulp van RasterFairy van Mario Klingemann Het resultaat is een abstract beeld dat bestaat uit kleine afbeeldingen waarop ingezoomd kan worden om de individuele afbeelding te zien in haar nieuwe context. Doordat de organisatie is gebaseerd op zowel beeldherkenning en analyse kunnen er verrassende combinaties en verbanden ontstaan die op basis van metadata zoals jaartal, locatie of stijl niet gemaakt zouden worden.