Beoordeeld door een machine

Het vorige stuk ging over gestuurd worden, een kracht gericht op wat je ziet en gelooft, en het liet je nog altijd een hoop ruimte. Dit stuk laat je minder, want hier ben je helemaal niet de gebruiker van de machine. Jij bent het onderwerp ervan. Een score, een vlag, een rangschikking wordt over jou gegenereerd, vaak zonder dat je het weet, door een systeem dat je niet kunt inzien, met een logica die niemand je zal uitleggen, en met een bezwaarroute die er ofwel niet is ofwel voor de vorm. Dit is de meest geconcentreerde vorm van de vraag die de hele reeks stelt. Niet wat jij met een tool kunt doen, maar of je terug kunt praten tegen een tool die al iets over jou heeft besloten.

Als het fout gaat, gaat het voor iedereen tegelijk fout

Twee zaken vertellen je wat er echt op het spel staat, en geen van beide is een storinkje. In Nederland gebruikte de Belastingdienst een risicosysteem om fraude met kinderopvangtoeslag op te sporen, en het behandelde dingen als een tweede nationaliteit of een buitenlands klinkende naam als grond voor verdenking. Rond de zesentwintigduizend gezinnen, veel van hen met een migratieachtergrond, werden ten onrechte tot fraudeur bestempeld en gesommeerd tienduizenden euro's terug te betalen, vaak in één keer. Levens werden verwoest, kinderen werden uit huis geplaatst, en de toeslagenaffaire was zwaar genoeg om in 2021 de landelijke regering te doen vallen. Jaren later zeggen toezichthouders dat het nog steeds niet goed is opgelost.

In Australië heeft een regeling die nu bekendstaat als Robodebt met grof geautomatiseerd inkomensgemiddelde schulden opgelegd aan zo'n vierhonderdvijftigduizend mensen, van wie velen niets schuldig waren. Een koninklijke onderzoekscommissie noemde het grof en wreed, niet eerlijk en niet rechtmatig, en bracht het in verband met echte sterfgevallen, en de overheid heeft sindsdien voor miljarden moeten terugbetalen en compenseren. Lees die twee samen en het patroon is duidelijk. Dit waren geen computers die zeldzame fouten maakten. Dit waren instellingen die een harde beslissing achter een machine verstopten en er stilletjes op gokten dat bijna niemand de kennis of de kracht zou hebben om terug te vechten.

Dat is het gevaar dat uniek is voor geautomatiseerd oordeel. Een menselijke ambtenaar die het mis heeft, heeft het mis over één persoon tegelijk. Een model dat het mis heeft, heeft het mis over iedereen die het raakt, identiek en direct, en de ene foute aanname die erin zit schaalt naar honderdduizenden voordat iemand het merkt.

Het komt het hardst neer op de mensen met de minste ruimte

En het komt niet gelijk neer. Toen journalisten het daadwerkelijke bijstandsfraudemodel in handen kregen dat een Nederlandse stad gebruikte, scoorde het je als riskanter omdat je een vrouw was, een alleenstaande ouder, of iemand die de taal niet vloeiend sprak, en de stad legde het uiteindelijk stil. Vergelijkbare systemen zijn elders in Europa opgedoken met dezelfde scheefte. In de Verenigde Staten vond een langlopend gevecht over een tool die verdachten in strafzaken scoort dat zwarte verdachten die niet opnieuw de fout in gingen bijna twee keer zo vaak als hoog-risico werden gemarkeerd als witte verdachten die dat wel deden.

Bij die laatste zaak is het de moeite waard om af te remmen, want die is echt betwist in plaats van een net verhaaltje met een duidelijke schurk. De makers van de tool konden aantonen dat het, volgens een andere redelijke maatstaf, even accuraat was voor alle rassen. Het blijkt dat wanneer twee groepen om te beginnen al in verschillende mate worden gearresteerd, het wiskundig onmogelijk is dat een scoresysteem in elk opzicht tegelijk eerlijk is. Dat is geen excuus, het is een dieper probleem, het betekent dat "is dit algoritme bevooroordeeld" vaak geen schoon ja of nee heeft, en dat een bedrijf zijn tool oprecht eerlijk kan noemen terwijl het toch oneerlijk op jou neerkomt. Eerlijkheid is geen knopje dat iemand vergat aan te zetten. Het is een echt dilemma, en dat is precies waarom het overlaten aan een model waar niemand op aan te spreken is de verkeerde zet is.

De stille gok dat je geen bezwaar maakt

De scherpste rand is het bezwaar, of het gebrek eraan. Een collectieve rechtszaak in de Verenigde Staten stelt dat een zorgverzekeraar een algoritme gebruikte om revalidatiezorg voor oudere patiënten te weigeren, en dat wanneer weigeringen werden aangevochten ze ongeveer negen van de tien keer werden teruggedraaid, terwijl slechts een piepklein deel van de patiënten, in de orde van één op de vijfhonderd, ooit bezwaar maakte. Blijf even bij die vorm hangen. Als bijna elk bezwaar wint en bijna niemand bezwaar maakt, dan voorspelt het systeem eigenlijk niets. Het draait op de zekerheid dat jij het oordeel zult accepteren. De verzekeraar zegt dat de tool zijn medewerkers alleen begeleidt, en deze cijfers zijn nog altijd aantijgingen waarover in de rechtbank wordt gestreden, maar het is de structuur die je moet zien, want die herhaalt zich overal. Kluswerkers worden "gedeactiveerd", ontslagen door software, zonder een mens om te vragen waarom. Het hele model is gebouwd op jouw stilzwijgen.

Beide kanten, eerlijk

Nu de andere helft, want de oplossing is niet zo simpel als "verbied de machines". De menselijke systemen die deze vervingen waren ook slecht, en vaak op hun eigen stille manier bevooroordeeld. Een klantmanager met dertigduizend dossiers past vermoeid, ongelijk, soms bevooroordeeld oordeel toe, en de onderbuikgevoelens van een kredietverstrekker hadden gedocumenteerde raciale patronen lang voordat er een algoritme bestond. Geautomatiseerde scoring kan consistenter zijn, kan in principe worden gecontroleerd, kan sneller zijn, en kan de toegang verbreden, een direct besluit klopt voor een hoop mensen beter dan drie weken wachten. Het probleem is niet dat instellingen modellen gebruiken om op grote schaal beslissingen te nemen. Dat moeten ze, en dat deden ze altijd al. Het probleem is dat ze het doen zonder verhaalsmogelijkheid. En zelfs pogingen te goeder trouw om een eerlijke te bouwen zijn mislukt, wat je vertelt dat dit moeilijk is, niet dat het hopeloos is.

Wat van jou blijft

Dus je zeggenschap is hier kleiner dan de techoptimisten toegeven en groter dan het doemverhaal toelaat. Je kunt je meestal niet onttrekken aan het gescoord worden, dat schip ligt niet in jouw haven. Maar je kunt weten dat het gebeurt, je kunt de uitleg eisen waar de wet steeds vaker zegt dat je recht op hebt, en je kunt bezwaar maken, want deze systemen zijn stilletjes gebouwd op de gok dat je dat niet zult doen.

En de wet begint langzaam jouw kant te kiezen. Europa's hoogste rechter heeft geoordeeld dat een geautomatiseerde kredietscore zelf een beslissing is waar je rechten over hebt, de dataregels geven je een recht om niet te worden onderworpen aan puur geautomatiseerde beslissingen die je zwaar raken, en de nieuwe AI-wet plaatst tools voor werving, krediet, uitkeringen en justitie in de categorie met de zwaarste toetsing, met verplicht menselijk toezicht. De adder onder het gras, en het is een echte, is dat deze bescherming grotendeels Europees is. In een groot deel van de wereld, waaronder de Verenigde Staten, is er geen federaal equivalent, en is de verhaalsmogelijkheid dunner. Dus de eerlijke instructie luidt zo. Leer opmerken wanneer een machine, en niet een persoon, zojuist iets over je geld, je baan, je gezondheid of je vrijheid heeft besloten, en behandel dat als het sein om te vragen hoe, en om je te verzetten, met je ogen open, want het hele apparaat gaat ervan uit dat je dat nooit zult doen.

Dat was een beslissing die recht op jou was gericht, één persoon tegelijk. Het laatste van deze naar buiten gerichte stukken trekt helemaal terug, naar de kosten die op niemand in het bijzonder gericht zijn, de kosten die de hele wereld betaalt of ze er nu ooit om vroeg of niet.