Bestuurlijke verantwoordelijkheid in het tijdperk van AI

Governance is niet wat u claimt. Het is wat u kunt bewijzen. Leesversie: hoofdstuk 1 en 2.

Alle rechten voorbehouden. Niets uit deze uitgave mag worden verveelvoudigd, opgeslagen in een geautomatiseerd gegevensbestand of openbaar gemaakt, in enige vorm of op enige wijze, waaronder fotokopieën, opnamen of andere elektronische of mechanische methoden, zonder voorafgaande schriftelijke toestemming van de auteur, behoudens korte citaten in kritieken en bepaalde andere niet-commerciële toepassingen die het auteursrecht toestaat. Voor toestemmingsverzoeken kunt u contact opnemen met de auteur via apparens.nl.

Disclaimer. Dit boek is uitsluitend bedoeld voor informatieve en educatieve doeleinden. Niets in deze publicatie vormt juridisch, regulatoir of compliance-advies. De AI Control Index en de bijbehorende frameworkmaterialen die in dit boek worden beschreven, zijn governance-ontwerpinstrumenten. De toepassing ervan op een specifieke organisatorische, juridische of regulatoire context vereist onafhankelijk professioneel oordeel. De auteur en uitgever aanvaarden geen aansprakelijkheid voor beslissingen die op basis van dit materiaal worden genomen.

Bij het schrijven en redigeren van dit boek is gebruikgemaakt van generatieve AI-tools, waaronder grote taalmodellen. Alle inhoudelijke beweringen, governance-ontwerpkeuzes, frameworkspecificaties en redactionele beslissingen zijn van de auteur. De AI-tools zijn ingezet als schrijfassistent, niet als inhoudelijke autoriteit. De auteur draagt volledige verantwoordelijkheid voor de gepubliceerde tekst.

Frameworktoelichting. Dit boek verwijst naar de Apparens AI Control Index, een governance-framework dat door de auteur is ontwikkeld en vrij beschikbaar is op apparens.nl/ai-control-index. Het boek is geen handleiding bij dat framework. Het bouwt de denkwijze op waaruit de controls volgen; de index blijft de plek waar die controls worden onderhouden. De auteur heeft een commercieel belang in Apparens en in de adoptie van het framework.

Deel I. Inleiding

1. $2.754

Van Deanna Amato’s belastingteruggave hield de Australische overheid A$1.709,87 in. Centrelink, de Australische uitvoerder van sociale uitkeringen, stelde dat zij A$2.754 te veel aan inkomensondersteuning had ontvangen uit de tijd dat zij studeerde.

Amato betwistte de schuld. Pas daarna vroeg Centrelink de gegevens op waarmee kon worden vastgesteld wat zij in de relevante perioden werkelijk had verdiend. Van de oorspronkelijke A$2.754 bleef A$1,48 over. Die restschuld werd kwijtgescholden.¹

De overheid had dus eerst een schuld vastgesteld en de invordering in gang gezet. Het bewijs waarmee kon worden bepaald of die schuld werkelijk bestond, werd pas verzameld nadat Amato bezwaar had gemaakt.

De schuld was niet met de hand berekend. Zij kwam voort uit een programma dat later de bijnaam Robodebt kreeg en begon met een vergelijking van twee administraties. Centrelink beschikte over de inkomsten die mensen per periode van veertien dagen hadden opgegeven toen zij inkomensondersteuning ontvingen. De Australische belastingdienst beschikte over het totale jaarinkomen dat hun werkgevers hadden gerapporteerd. Liepen die bedragen uiteen, dan kon dat erop wijzen dat iemand te veel ondersteuning had ontvangen.

Zo’n verschil bewees op zichzelf niet dat er een schuld bestond. Het was een reden om verder te kijken.

Voorheen deed Centrelink dat ook. Een medewerker vroeg gegevens op bij de betrokkene of diens werkgever en stelde vast wat iemand in de betrokken weken werkelijk had verdiend. Pas daarna kon worden berekend of in een bepaalde periode te veel was betaald.

Onder Robodebt verschoof dat werk naar de betrokkene. Die kreeg via een online systeem het verzoek om het verschil te verklaren en inkomensgegevens van soms jaren eerder te bevestigen of te corrigeren. Reageerde iemand niet, of niet met voldoende gegevens, dan kon het jaarinkomen uit de belastingadministratie gelijkmatig worden verdeeld over zesentwintig perioden van veertien dagen. Op dat gemiddelde werd vervolgens een schuld gebaseerd.

De stap waarin Centrelink zelf vaststelde wat iemand in de relevante perioden werkelijk had verdiend, hoefde daardoor niet meer te worden uitgevoerd voordat de schuld werd opgelegd.

Juist die stap was beslissend. Het recht op inkomensondersteuning hing niet af van het totale jaarinkomen, maar van het inkomen in iedere afzonderlijke periode van veertien dagen. Iemand die enkele maanden voltijd werkte en daarna geen inkomen had, kon over het hele jaar evenveel verdienen als iemand die iedere twee weken hetzelfde bedrag ontving. In de jaarlijkse belastinggegevens waren die twee situaties niet van elkaar te onderscheiden. Voor het recht op een uitkering waren zij fundamenteel verschillend.

Uit een juist jaarbedrag volgde dus niet wat iemand in een bepaalde periode had verdiend. En juist dat periodieke inkomen bepaalde of er een schuld bestond.

Robodebt gebruikte daarmee een administratief beschikbaar gegeven als vervanging voor het juridisch relevante feit. Centrelink stelde niet eerst vast wat iemand werkelijk had verdiend en berekende daarna de schuld. Het programma berekende eerst een schuld en vroeg vervolgens de burger om aan te tonen dat die niet klopte.

Wie de berekening niet kon weerleggen, zat aan de uitkomst vast. Mensen moesten loonstroken van jaren eerder opvragen, soms bij werkgevers die inmiddels niet meer bestonden. Het ontbreken van bewijs werd niet behandeld als een tekortkoming van de organisatie die de schuld oplegde. Het werd het probleem van degene die de schuld ontving.

Amato’s A$2.754 was daarom niet eenvoudigweg een fout in de optelling. Het bedrag was berekend zoals het systeem was ingericht. Het probleem was dat de berekening was uitgevoerd voordat iemand de gegevens had verzameld die haar konden dragen.

Amato was één zaak. Tussen 2015 en 2019 stelde de Australische overheid met dezelfde methode ongeveer 794.000 schulden vast bij circa 526.000 mensen.²

Achter die aantallen lagen geen administratieve correcties, maar jaren van brieven, telefoontjes en invordering. Mensen betaalden uit een uitkering die vaak al nauwelijks toereikend was, zagen hun belastingteruggave verdwijnen of werden door particuliere incassobureaus gebeld terwijl zij de schuld nog betwistten. Sommigen verhuisden terug naar hun ouders, stelden hun studie of andere toekomstplannen uit of ontwikkelden een blijvende angst voor iedere brief van Centrelink of een andere overheidsinstantie.

Parlementaire onderzoeken documenteerden depressie, slapeloosheid, lichamelijke klachten door stress, zelfbeschadiging en suïcidale gedachten. In ten minste twee onderzochte gevallen brachten families de suïcide van een jonge man in verband met de druk van Robodebt. Een overlijden laat zich niet zuiver tot één oorzaak terugbrengen; beiden hadden ook met andere problemen en kwetsbaarheden te maken. Maar de schulden, de herhaalde contacten en de invorderingsdruk maakten deel uit van de omstandigheden waarin zij terechtkwamen.³

Robodebt was niet de Australische versie van de toeslagenaffaire. Het was wel dezelfde soort bestuurlijke ontsporing: de overheid behandelde een onzekere berekening als een vaststaand feit, liet de burger het tegendeel bewijzen en gebruikte ondertussen haar volledige invorderingsmacht.

Dat de methode op deze manier werkte, was al vroeg bekend. In december 2014, voordat de aanpak op grote schaal werd geautomatiseerd, lag er intern juridisch advies dat een schuld op basis van gemiddeld jaarinkomen zich moeilijk verhield tot de wet. Die wet ging uit van het inkomen dat iemand werkelijk in de relevante perioden had verdiend.

De aanpak werd niettemin ingevoerd, eerst als proef en vanaf 2016 als geautomatiseerd online proces. Vrijwel meteen kwamen klachten binnen van mensen die een schuld ontvingen die zij niet herkenden. Welzijnsorganisaties waarschuwden voor de omgekeerde bewijslast en voor de praktische moeite om loongegevens van jaren eerder te achterhalen.

De Commonwealth Ombudsman onderzocht het programma en publiceerde in 2017 een kritisch rapport. De methode bleef in gebruik.

Ook uit de beroepspraktijk kwamen herhaaldelijk waarschuwingen. Tussen 2016 en 2022 oordeelde de Administrative Appeals Tribunal in eerste aanleg 431 keer dat een geheel of gedeeltelijk op income averaging berekende schuld onvoldoende was bewezen of niet kon worden ingevorderd. In ongeveer 114 andere zaken werd averaging in de omstandigheden van die zaak wel aanvaard.⁴

Die eerste-aanlegbeslissingen werden niet gepubliceerd. De overheid legde de centrale rechtsvraag evenmin via een hoger beroep voor aan een openbare, gezaghebbende uitspraak. Daardoor konden uitspraken waarin de juridische grondslag van de methode werd verworpen binnen afzonderlijke dossiers blijven, terwijl dezelfde methode elders werd voortgezet.

Pas in november 2019, na advies van de Solicitor-General dat gemiddeld jaarinkomen zonder aanvullend bewijs onvoldoende was, liet de overheid averaging als zelfstandige grondslag voor een schuld los.⁵

Kort daarna legde de Federal Court in Amato’s zaak, met instemming van de staat, vast dat de gebruikte gegevens haar schuld niet konden dragen.

Achteraf was de toets eenvoudig. Neem één schuld en haal het bewijs op van het werkelijk verdiende inkomen in de perioden waarop zij berustte. Bij Amato bleef van A$2.754 een bedrag van A$1,48 over.

Voor de honderdduizenden schulden die op dezelfde manier waren berekend, was die toets niet uitgevoerd voordat de brief werd verstuurd. Tegen de tijd dat de methode werd verlaten, hadden mensen bedragen betaald, waren incassobureaus ingeschakeld en waren belastingteruggaven ingehouden.

Robodebt gebruikte geen taalmodel en geen zelfstandig handelende agent. De automatisering was technisch eenvoudig. De bestuurlijke fout was dat niet. Een verschil tussen twee administraties werd behandeld als bewijs van een schuld. Een gemiddelde nam de plaats in van de feitelijke vaststelling die de wet vereiste. De gevolgen werden opgelegd voordat de organisatie kon aantonen dat de feiten waarop zij berustten werkelijk bestonden.

Een berekening, een goedkeuring, een document of een dashboard kan bestaan en kan worden overgelegd. Dat maakt het nog geen bewijs van wat de organisatie ervan zegt. De bestuurlijke toets begint een laag lager: welk feit is werkelijk vastgesteld, uit welke bron, door wie, en waarom mag juist dat feit deze gevolgen dragen?

Noten bij hoofdstuk 1

1. Amato v Commonwealth, Federal Court of Australia, consent orders van 27 november 2019. De Australische overheid had A$1.709,87 van Amato’s belastingteruggave ingehouden wegens een gestelde schuld van A$2.754. Na herberekening resteerde een werkelijke overbetaling van A$1,48; ook die restschuld werd geschrapt. Victoria Legal Aid, ‘I hope everyone gets the opportunity for justice: a win for Deanna Amato in her robo-debt test case’, 27 november 2019.

2. Royal Commission into the Robodebt Scheme, Report, 7 juli 2023. Onder de regeling werden ongeveer 794.000 schulden opgelegd aan circa 526.000 mensen. De ongeveer 470.000 schulden waarvan in 2020 werd aangekondigd dat zij zouden worden terugbetaald of op nul gezet, en de door de Federal Court als onrechtmatig aangemerkte averaging-schulden, betreffen kleinere en deels overlappende groepen.

3. Senate Community Affairs References Committee, Centrelink’s Compliance Program: Second Interim Report, september 2020, hoofdstuk 2, in het bijzonder paragrafen 2.7–2.14 en 2.38–2.45; Royal Commission into the Robodebt Scheme, Report, hoofdstuk 10. Voor de beschreven individuele gevolgen: Luke Henriques-Gomes, ‘Robodebt-related trauma: the victims still paying for Australia’s unlawful welfare crackdown’, The Guardian, 21 november 2020; ABC News, ‘Roughly 443,000 Australians received false Robodebt notices. These are some of their stories’, 8 juli 2023. De twee in de tekst bedoelde zaken betreffen Jarrad Madgwick (22) en Rhys Cauzzo (28), uit verschillende gezinnen, wier moeders (Kath Madgwick en Jennifer Miller) hun overlijden in verband brachten met de invorderingsdruk; zie SBS News, ‘Mothers whose sons took their lives after robodebts detail anguish in heartbreaking letters’, 18 augustus 2020. De Senaatscommissie benadrukte expliciet dat causale uitspraken over suïcide complex zijn.

4. Administrative Appeals Tribunal: tussen 2016 en 2022 werd in eerste aanleg 431 keer geoordeeld dat een geheel of gedeeltelijk op income averaging berekende schuld onvoldoende bewezen of niet invorderbaar was. In ongeveer 114 andere zaken werd averaging aanvaard. Deze eerste-aanlegbeslissingen werden niet gepubliceerd. Justice E. Kyrou, Federal Court of Australia, ‘Mechanisms in the ART Bill to thwart Robodebt-type maladministration’, toespraak van 18 maart 2024.

5. Het interne juridische advies van december 2014, het onderzoek van de Commonwealth Ombudsman uit 2017 en het advies van de Solicitor-General uit 2019 zijn beschreven in het eindrapport van de Royal Commission into the Robodebt Scheme uit 2023 en in Prygodicz v Commonwealth of Australia (No 2) [2021] FCA 634.

2. Wat ervoor doorging

In november 2022 wilde Jake Moffatt een vlucht boeken voor de begrafenis van zijn grootmoeder. Op de website van Air Canada vroeg hij de chatbot naar het rouwtarief. De chatbot vertelde hem dat hij het gereduceerde tarief ook achteraf kon aanvragen, binnen negentig dagen nadat het ticket was uitgegeven.

Het antwoord bleek niet te kloppen. Air Canada kende geen rouwtarief met terugwerkende kracht. Op een andere pagina van dezelfde website stond de juiste regeling.

Moffatt bracht de zaak voor het Civil Resolution Tribunal in British Columbia. Air Canada voerde aan dat het niet aansprakelijk kon worden gehouden voor wat de chatbot had gezegd. In de weergave van het tribunaal kwam dat erop neer dat de chatbot een zelfstandige partij was, verantwoordelijk voor zijn eigen woorden.

Het tribunaal wees dat argument af. De chatbot was onderdeel van de website van Air Canada. Voor een klant maakte het niet uit of informatie afkomstig was van een vaste pagina of uit een gesprek met een chatbot. Moffatt hoefde het ene deel van de website niet tegen het andere te controleren om te bepalen welk deel namens Air Canada sprak. De onderneming moest hem in totaal CAD 812,02 betalen.¹

De zaak was klein vergeleken met Robodebt. Eén reiziger, één verkeerd antwoord en een schadebedrag van enkele honderden dollars. De schaal, de techniek en de gevolgen verschilden. De overeenkomst lag in wat binnen de organisatie voor voldoende doorging.

Bij Robodebt was het beschikbare gegeven het totale jaarinkomen. Dat bedrag werd gebruikt alsof het ook liet zien wat iemand in iedere afzonderlijke periode van veertien dagen had verdiend. Bij Air Canada verscheen een antwoord op het eigen klantkanaal van de onderneming. Dat antwoord kreeg de functie van uitleg over de geldende regeling, zonder dat was vastgesteld dat het daarmee overeenkwam.

In beide gevallen was er informatie beschikbaar. Wat ontbrak, was een expliciet oordeel over wat die informatie mocht bewijzen.

Daar ligt ook het verschil tussen de twee zaken. Robodebt gaat over bewijsgrondslag: welk feit moet zijn vastgesteld voordat een gevolg mag worden opgelegd? Air Canada gaat over bewijsoordeel en bevoegdheid: wie heeft bepaald dat dit antwoord de regeling juist weergaf, en namens wie sprak het systeem toen het die uitleg gaf?

Een organisatie kan twee fouten maken voordat zij handelt. Zij kan het verkeerde feit gebruiken. En zij kan nalaten expliciet vast te stellen wie bepaalt dat het beschikbare bewijs voldoende is.

De tweede fout is moeilijker te zien. Er ontbreekt immers niets wat direct opvalt. Er is een antwoord, een score, een verklaring, een geregistreerde melding of een eerder besluit. Het dossier is niet leeg. Juist daardoor kan het proces verder zonder dat zichtbaar wordt welk oordeel nog niet is gegeven.

Een modelscore laat dat zien. Een evaluatie meet hoe een systeem presteert op een bepaalde dataset, bij een bepaalde populatie en grenswaarde. In de besluitvorming gaat die score vervolgens een andere vraag beantwoorden: is dit systeem geschikt voor deze toepassing? Dat volgt niet uit de score alleen. Daarvoor moet iemand vaststellen dat de test voldoende overeenkomt met de mensen, omstandigheden en gevolgen van het werkelijke gebruik, welke fouten aanvaardbaar zijn, en wat er gebeurt wanneer het systeem zich buiten de geteste omstandigheden bevindt. Zonder dat oordeel verandert een meetresultaat ongemerkt in een gebruiksbesluit.

Die vervanging ontstaat zelden in één zichtbaar moment. Zij ontstaat in gewone werkhandelingen. Iemand selecteert een bron. Een ander neemt het resultaat op in een beoordeling. Een verklaring wordt aan het dossier toegevoegd. Een commissie ziet een ingevuld veld of een groen onderdeel van een dashboard. Het proces gaat verder zonder dat afzonderlijk is vastgesteld wat die bron, score of verklaring precies mag bewijzen.

Een leveranciersverklaring kan doorgaan voor voldoende zekerheid over een product. De verklaring legt vast wat de leverancier beweert. Zij bepaalt niet welk bewijs de afnemende organisatie zelf nodig heeft om die bewering te kunnen aanvaarden.

Een eerder besluit kan doorgaan voor actuele goedkeuring. Dat ooit toestemming is gegeven, zegt nog niet dat het systeem, het gebruik en de omstandigheden sindsdien gelijk zijn gebleven. Het zegt evenmin wie nu bevoegd is om die goedkeuring opnieuw te geven.

Een geregistreerde melding kan doorgaan voor een opgelost probleem. Dat de melding is gesloten, laat alleen zien dat de werkstroom is beëindigd. Het zegt nog niet wat is onderzocht, wat is besloten en of de oorzaak is weggenomen.

Het systeem gaat live. De leveranciersbeoordeling wordt afgerond. De melding wordt gesloten. Geen van die uitkomsten bepaalt zelf of verdergaan verantwoord is. Tussen wat beschikbaar is en wat de organisatie ermee doet, hoort nog een oordeel te liggen.

Dat oordeel moet twee dingen doen. Het moet vaststellen wat het beschikbare materiaal werkelijk bewijst. En het moet zichtbaar maken wie bevoegd is om op die grond de volgende stap toe te staan.

In een grote organisatie liggen bronkeuze, beoordeling en besluit zelden bij dezelfde mensen. De ene medewerker bepaalt welke gegevens worden gebruikt. Een andere beoordeelt het resultaat. Een commissie verleent goedkeuring en een operationeel team voert het besluit uit. Bij iedere overdracht kan een document verder reizen alsof het oordeel over zijn betekenis al eerder is gegeven.

Iedere betrokkene ziet dat er iets ligt. Niemand stelt nog vast of het genoeg is.

Daar ontstaat het risico. Niet doordat de organisatie zonder informatie handelt, maar doordat zij verdergaat op basis van informatie waaraan onderweg meer betekenis is toegekend dan iemand expliciet heeft verantwoord.

Bij Air Canada stond het antwoord op het eigen klantkanaal. Voor Moffatt was het daarmee een mededeling van de onderneming. Air Canada probeerde pas achteraf afstand te creëren tussen de organisatie en het systeem dat namens haar had gesproken.

Voor een organisatie is die afstand misschien technisch voorstelbaar. Voor degene die met de gevolgen wordt geconfronteerd, bestaat zij niet. Een klant ziet geen modelarchitectuur, contentbeheer of interne bevoegdheidsverdeling. Hij ziet één organisatie die antwoord geeft.

De vraag is daarom niet alleen wat er in het dossier, de evaluatie of het dashboard staat. Het gaat erom wie heeft vastgesteld wat het beschikbare mocht bewijzen, op welke grond en met welk mandaat.

Noten bij hoofdstuk 2

1. Moffatt v. Air Canada, 2024 BCCRT 149, Civil Resolution Tribunal, British Columbia, 14 februari 2024. Het tribunaal gaf Air Canada’s verweer weer als de impliciete suggestie dat de chatbot ‘a separate legal entity that is responsible for its own actions’ was. Het verwierp die redenering: ‘It makes no difference whether the information comes from a static page or a chatbot.’ Moffatt kreeg CAD 650,88 aan schadevergoeding, CAD 36,14 aan rente en CAD 125 aan proceskosten toegewezen, samen CAD 812,02. De zaak keert terug in hoofdstuk 8, waar niet de bewijsfunctie van het antwoord centraal staat, maar de bevoegdheid die de organisatie aan een sprekend systeem heeft gegeven.

Hier eindigt deel I.

Het volledige boek is verkrijgbaar als e-boek en hardcover, in het Nederlands en het Engels.

Naar het boek →