AI-toets Suggesties bij het uploaden

A Collection of Interesting Ideas,

This version:
https://github.com/inside-out-time-machines/design
Editor:
Bob Coret (Gouda Tijdmachine)

Dit is een concept, opgesteld door een niet-jurist en nog niet juridisch gecontroleerd. Het beschrijft de toets die de DPIA voorschrijft vóór ingebruikname van deze functie.

1. Waarom deze toets

Jottem vult sinds augustus 2026 bij het uploaden drie velden voor: een titel, een categorie en steekwoorden. Die voorstellen komen van een eigen dienst die de foto bekijkt. Dat is de eerste plek waar het platform iets zegt over het materiaal in plaats van het alleen te bewaren, en dat vraagt om een verantwoording vooraf.

Twee dingen dwingen die af. De DPIA noemt bij het risico "suggesties verzinnen details die niet op de foto staan" als maatregel: AI-toets uitvoeren vóór ingebruikname. En risico’s en wet- en regelgeving zet de AI-verordening op de lijst met als actie: toetsen vóór inzet van AI-functies. Zolang deze toets er niet lag, stond de dienst in productie uit.

Er is ook een reden die niet uit een verplichting volgt. Het platform vraagt inwoners om hun herinneringen af te staan aan een archief. Dat vertrouwen verdraagt geen machine die ongevraagd meeschrijft zonder dat iemand kan nagaan wat die machine is, hoe vaak hij ernaast zit en wie hem kan overrulen.

2. Wat het systeem doet

Tussen stap 1 (je foto) en stap 2 (vertel erover) van het uploadformulier is het beeld al bekend. Op dat moment stuurt de backend het beeld naar een interne dienst, die drie voorstellen teruggeeft met elk een score. Die voorstellen staan als voorgevulde waarden in het formulier, met bij elk veld een regel waar het voorstel vandaan komt.

Veld Hoe het voorstel ontstaat
Titel Een beeldmodel maakt een Engelstalig onderschrift, een vertaalmodel maakt daar Nederlands van, en een korte regel maakt er een titel van (eerste letter groot, geen punt).
Categorie Een beeldmodel scoort zes categorieën (foto, menukaart, advertentie, folder, krantenartikel, vergunning) tegen het beeld. Alleen als de beste categorie een ruime voorsprong heeft op de tweede volgt er een voorstel.
Steekwoorden Hetzelfde beeldmodel scoort 109 termen uit de Cultuurhistorische Thesaurus en de Art & Architecture Thesaurus. Wat boven de drempel komt, wordt voorgesteld, met de term-URI erbij, tot maximaal vijf.

Komt het materiaal uit een beeldbank, dan gaat de eigen metadata van die beeldbank vóór: titel, beschrijving, datering en vervaardiger komen dan uit het IIIF-manifest en niet uit een model.

3. Wat het systeem niet doet

4. Plaats onder de AI-verordening

De AI-verordening (EU) 2024/1689 is sinds 1 augustus 2024 van kracht; de transparantieverplichtingen uit artikel 50 gelden sinds 2 augustus 2026.

Vraag Beoordeling
Is dit een AI-systeem? Ja. Het leidt uit invoer (een beeld) uitvoer af (tekstvoorstellen) op een manier die niet vooraf is uitgeschreven.
Welke rol heeft het platform? Beide: aanbieder (de dienst wordt zelf samengesteld en onder eigen naam ingezet) én gebruiksverantwoordelijke (hij wordt in het eigen product gebruikt).
Verboden praktijk (art. 5)? Nee. Geen biometrische identificatie op afstand, geen emotieherkenning, geen sociale scoring, geen ongerichte verzameling van gezichtsbeelden.
Hoog risico (bijlage III)? Nee. Het systeem raakt geen van de genoemde terreinen (biometrie, onderwijs, werk, essentiële diensten, rechtshandhaving, migratie, rechtspraak). Het stelt metadata voor bij erfgoedmateriaal, en een fout leidt tot een verkeerd woord in een formulier dat de inzender voor zich ziet.
Transparantieplicht (art. 50)? Het systeem maakt synthetische tekst, dus de plicht is het uitgangspunt. Twee uitzonderingen liggen hier voor de hand: de tekst is een hulpmiddel bij standaardbewerking (een voorstel in een formulier) en er is menselijke redactionele verantwoordelijkheid vóór publicatie. Wij doen de melding hoe dan ook, bij elk voorgevuld veld, want de lezer heeft er meer aan dan de discussie over de uitzondering.
AI-geletterdheid (art. 4)? Van toepassing sinds 2 februari 2025. Wie modereert moet weten dat een voorgestelde titel van een model komt en niet van een mens. Dat hoort in de instructie van moderatoren thuis; zie de handreiking moderatie.

5. De modellen

Taak Model Licentie Herkomst
Onderschrift Florence-2-base MIT Microsoft Research; hier gebruikt via de omgezette variant florence-community/Florence-2-base, zodat er geen modelcode van derden wordt uitgevoerd.
Vertaling opus-mt-en-nl Apache-2.0 (CC-BY-4.0 voor de modelkaart) Helsinki-NLP, getraind op het OPUS-corpus.
Categorie en steekwoorden SigLIP 2 base (patch16-224) Apache-2.0 Google; hier zero-shot toegepast tegen Nederlandse labels, dus zonder eigen training.

Alle drie zijn permissief gelicentieerd, wat de dienst zelf onder EUPL-1.2 laat vallen, dezelfde licentie als het platform.

Wat we niet weten, en dat is wezenlijk. Van geen van deze modellen is de trainingsdata volledig openbaar. We weten dus niet welke beelden erin zaten, hoe die zijn verzameld en of daar auteursrechtelijk of privacygevoelig materiaal bij was. Dat is de reden dat de uitvoer nergens als vaststelling wordt behandeld: het is een gok van een systeem waarvan we de opvoeding niet kennen. Wat we wél weten en kunnen aantonen is hoe vaak die gok klopt op ons eigen materiaal, en dat staat hieronder.

Bekende vertekening. Deze modellen zijn overwegend getraind op hedendaags, Engelstalig, westers beeldmateriaal. Historisch Nederlands materiaal, zwart-wit, gescand drukwerk en streekgebonden onderwerpen zijn ondervertegenwoordigd. Dat is in de steekproef ook terug te zien: de modellen zijn goed in het benoemen van wat er staat en zwak in het duiden van waar het is.

6. Wat we hebben gemeten

Steekproef van 22 archiefbeelden: zeven foto’s uit de beeldbank van het Streekarchief Midden-Holland, de rest historisch drukwerk uit Wikimedia Commons, verdeeld over de categorieën die de dienst kent.

Veld Uitkomst Wat dat betekent
Titel 16 van de 22 direct bruikbaar, 4 zwak of vaag, 2 fout. Ongeveer één op de tien voorstellen is onjuist. Een fout voorbeeld: "Een man met een masker" bij een kledingstuk op een paspop.
Categorie 20 voorstellen, waarvan 17 juist; 2 keer bewust geen voorstel. Bij twijfel zwijgt de dienst liever, en dat werkt: de misser die overblijft is een bronzen gedenkplaat die "folder" werd genoemd.
Steekwoorden 19 voorstellen over 10 beelden, waarvan 14 raak; de helft van de beelden kreeg er geen. Zuinig maar bruikbaar. Misslagen zijn van het type "postkantoren" bij een marktplein: verwant maar onjuist.

De steekproef legde ook een instelfout bloot die met redeneren niet te vinden was. De ondergrens voor de categorie stond op een absolute score, terwijl juist gewone historische foto’s absoluut laag scoren; vijf van de zeven echte foto’s kregen daardoor geen categorie terwijl de juiste wel met ruime voorsprong won. Dat is precies waarom een toets op echt materiaal hoort en een redenering niet volstaat.

22 beelden is een indruk, geen maat. Vóór livegang hoort deze meting herhaald te worden op materiaal dat de pilot zelf oplevert, met per veld hetzelfde onderscheid tussen bruikbaar, zwak en fout.

7. Menselijke tussenkomst

Er zitten twee mensen tussen een voorstel en een publicatie.

  1. De inzender ziet elk voorstel als voorgevulde waarde en kan het overschrijven of leeghalen. Wat niet wordt bevestigd, wordt niet opgeslagen: het platform bewaart alleen wat de inzender heeft ingediend, niet wat het model opperde.

  2. De moderator beoordeelt de bijdrage zoals altijd, inclusief de titel en de steekwoorden, en ziet daarbij de foto en alle metadata bij elkaar.

Daar komt bij dat de dienst een hulpsignaal is en geen schakel: ligt hij plat of duurt hij te lang, dan opent het formulier met lege velden en merkt de inzender daar niets van. Een suggestiedienst die uitvalt mag nooit een upload blokkeren.

8. Transparantie

9. Risico’s en maatregelen

Risico Kans Impact Maatregel
Een voorstel verzint een detail dat niet op de foto staat, en de inzender neemt het over zonder te kijken M L Voorstellen zijn zichtbaar als voorstel en herkomst staat erbij; de moderator beoordeelt de tekst; een fout is achteraf te corrigeren via een melding.
Voorgevulde velden maken inzenders luier, waardoor er minder eigen kennis wordt toegevoegd M M Alleen titel, categorie en steekwoorden worden voorgesteld, nooit de beschrijving of de herinnering: juist het deel waarvoor het platform bestaat blijft leeg. Bij de evaluatie van de pilot meten of ingezonden beschrijvingen korter worden.
Een categorie of steekwoord dat er systematisch naast zit, vervuilt de zoekindex en de open data L M Steekwoorden komen uit een gesloten lijst met term-URI’s, dus een misser is een verkeerde term en geen onzinwoord; de moderator ziet ze; de dienst zwijgt liever dan te gokken.
Functiesluip: de dienst wordt later ingezet om te publiceren zonder tussenkomst L H Deze toets legt vast dat het een hulpsignaal is. Een uitbreiding richting publicatie zonder tussenkomst vraagt een nieuwe toets, en het herzieningsmoment hieronder noemt dat expliciet.
Een model blijkt achteraf op onrechtmatig materiaal getraind L M Alleen permissief gelicentieerde modellen, uitwisselbaar achter één endpoint; de dienst kan worden uitgezet zonder dat het uploaden stopt. Gepubliceerde bijdragen zijn dan nog steeds door mensen bevestigd.

10. Gegevensbescherming

De dienst verwerkt beelden die persoonsgegevens kunnen bevatten (mensen op een foto), maar leidt daar niets over personen uit af en bewaart niets. Het beeld gaat van de eigen backend naar de eigen container en wordt na de aanroep vergeten; er is geen logregel met beeldinhoud en geen opslag van tussenresultaten. Daarmee blijft dit binnen de verwerking die de DPIA al beschrijft voor het uploaden zelf, en ontstaat er geen doorgifte buiten de EER.

11. Besluit

De suggestiedienst mag in gebruik worden genomen onder de volgende voorwaarden:

  1. Voorstellen blijven voorstellen: geen veld wordt zonder bevestiging opgeslagen, en er wordt niets gepubliceerd zonder moderatie.

  2. Bij elk voorgevuld veld blijft zichtbaar waar het voorstel vandaan komt.

  3. De meting uit dit document wordt vóór livegang herhaald op pilotmateriaal, met dezelfde indeling per veld, en de uitkomst wordt hier opgenomen.

  4. De moderatie-instructie vermeldt dat titel, categorie en steekwoorden voorgesteld kunnen zijn door een model.

  5. Wordt de dienst uitgebreid, krijgt hij een ander model, of gaat uitvoer zonder menselijke tussenkomst de open data in, dan wordt deze toets opnieuw gedaan vóórdat die wijziging live gaat.

In te vullen na bespreking: vastgesteld door [naam], op [datum]. Tot die vaststelling blijft de dienst in productie uit (JOTTEM_SUGGESTIES_URL leeg).