Alisina NawabiAP publiceert het besluit zelf: overtredingen liepen van 2018 tot 2022
De AP publiceerde het boetebesluit op 21 augustus alsnog zelf, en dat corrigeert twee details in dit bericht: de boete bedraagt exact 824.990.000 euro en de automatische deactivaties speelden tussen 2018 en 2022, niet tussen 2020 en 2022. Uber heeft de overtredingen inmiddels beeindigd en kondigde bezwaar aan tegen de boete, die binnen het Europese maximum van 4 procent van de wereldwijde jaaromzet valt: bij een omzet van ongeveer 44,5 miljard euro in 2025 komt 825 miljoen neer op krap 2 procent. Het is de vierde AP-boete voor Uber, na 600.000 euro in 2018, 10 miljoen in 2023 en 290 miljoen in 2024, waarbij tegen de laatste twee nog procedures lopen. Het onderzoek begon nadat 171 Franse chauffeurs zich meldden bij mensenrechtenorganisatie Ligue des droits de l'Homme, die namens hen klaagde bij de Franse toezichthouder; via het eenloketmechanisme belandde de zaak bij de AP, die het besluit afstemde met de andere Europese toezichthouders. "Een computer mag niet zelfstandig besluiten nemen die grote gevolgen voor jou hebben. Hier had eerst een mens naar moeten kijken", zegt AP-vicevoorzitter Monique Verdier, die de werkwijze ernstige overtredingen noemt.
Voor elke organisatie die software over mensen laat oordelen maakt de toezichthouder er meteen de norm bij expliciet: een bedrijf mag zo'n ingrijpend besluit maar in drie situaties volledig automatisch nemen, namelijk als het nodig is om een contract te sluiten of uit te voeren, als de betrokkene uitdrukkelijk toestemming gaf, of als een wet het toestaat. Ook dan moet je mensen om een menselijke beoordeling kunnen laten vragen, hun kant van het verhaal laten geven en het besluit laten aanvechten, kunnen uitleggen op welke gegevens en welke logica het besluit rust, en je systemen regelmatig testen op foute uitkomsten. Kun je voor je blokkeer-, weiger- of afwijslogica geen van die drie grondslagen aanwijzen, dan is het geen kwestie van betere uitleg achteraf: dan draait het systeem buiten de wet.
De Autoriteit Persoonsgegevens beboet Uber met 825 miljoen euro omdat het bedrijf chauffeursaccounts liet stopzetten door geautomatiseerde systemen, blijkt uit een besluit van 17 augustus dat persbureau Reuters inzag.
Daarmee hangt er voor het eerst een prijskaartje van deze orde aan artikel 22 van de AVG, het artikel dat een besluit met ingrijpende gevolgen verbiedt zolang dat volledig op een geautomatiseerde verwerking rust. Dat raakt veel meer organisaties dan taxiplatforms. Wie software zelfstandig accounts laat sluiten, sollicitanten laat afwijzen of leveranciers laat weren, moet kunnen laten zien dat een mens dat besluit ook echt had kunnen terugdraaien, dat de betrokkene vooraf wist dat het zo werkte, en dat er een route was om bezwaar te maken.
Wat Uber tussen 2020 en 2022 deed
De zaak gaat over chauffeurs die het systeem van fraude verdacht: onnodig omrijden om een rit duurder te maken, of ritten aannemen zonder ze af te maken. Die accounts werden automatisch geschorst. Chauffeurs met een lage klantbeoordeling raakten hun account soms permanent kwijt. Volgens de toezichthouder wisten die chauffeurs vaak niet dat er een geautomatiseerd besluit achter zat, en was er geen betekenisvolle menselijke beoordeling.
Uber bestrijdt de omvang. Het bedrijf stelt dat er in 2021 in heel Europa 126 chauffeurs zijn gedeactiveerd op basis van lage beoordelingen en dat er in het huidige beleid wel mensen bij zulke besluiten betrokken zijn. "We zijn het zeer oneens met deze beslissing en deze disproportionele boete", laat Uber weten, en het bedrijf gaat in beroep.
De zaak begon met klachten uit Frankrijk en belandde bij de Nederlandse toezichthouder omdat het Europese hoofdkantoor van Uber in Amsterdam staat. Het is de op een na hoogste AVG-boete tot nu toe, na de 1,2 miljard euro die de Ierse toezichthouder Meta in 2023 oplegde. Houdt de boete stand in beroep, dan gaat het bedrag naar de Nederlandse schatkist. Voor Uber is het niet de eerste keer: de AP legde het bedrijf in augustus 2024 al 290 miljoen euro op voor het doorsturen van gegevens van Europese chauffeurs naar Amerikaanse servers. De AP heeft de boete zelf nog niet gepubliceerd; ze bevestigde het bedrag aan Nederlandse media nadat Reuters het besluit had ingezien.
De regel achter de boete
Artikel 22 AVG is smal geformuleerd en breed toepasbaar. Het gaat over besluiten die uitsluitend op geautomatiseerde verwerking berusten en die rechtsgevolgen hebben of iemand in vergelijkbare mate treffen. De toezichthouder noemt zelf twee alledaagse voorbeelden: een lening die wordt geweigerd, en een sollicitant die geen uitnodiging krijgt. Wie zo'n besluit krijgt, heeft recht op een nieuw besluit waarbij een mens de gegevens beoordeelt, en de organisatie moet daar binnen een maand op reageren.
Het woord dat zo'n zaak beslist is "betekenisvol". Een medewerker die de uitkomst van het systeem doorklikt telt niet als menselijke tussenkomst. Het moet iemand zijn met de bevoegdheid en de informatie om er iets anders van te maken.
Wat je nu moet kunnen laten zien
Drie dingen bepalen of je aan de goede kant van artikel 22 staat, en het zijn alle drie ontwerpkeuzes in je systeem, geen beleidsstuk in een map.
- De poort. Bepaal per soort besluit of het systeem het zelf mag afhandelen of dat het stilvalt tot een mens kijkt. Dat is dezelfde afweging als bij het ontwerpen van goedkeuringspoorten voor AI-agents, waar je per actie bepaalt wat doorrolt en wat wacht op akkoord.
- De uitleg vooraf. De betrokkene hoort te weten dat er geautomatiseerd wordt beoordeeld en op welke logica. In werving betekent dat concreet dat je per stap vastlegt wat een model doet en wat een mens doet, van vacaturetekst tot eerste selectie.
- Het spoor. Zonder logboek van wie wat wanneer beoordeelde blijft "er zat een mens bij" een bewering zonder bewijs. Precies dat bewijs vroeg de AP hier.
Met deze zaak verschuift de handhaving van vraag. De grote AVG-boetes gingen tot nu toe over waar data stond en hoe lang die bewaard bleef; deze gaat over de vraag of een systeem over mensen mocht oordelen. Dezelfde vraag ligt inmiddels ook bij de rechter in de Verenigde Staten, waar zesentwintig oud-medewerkers van Meta aanvoeren dat AI-software bij een ontslagronde mensen met een medische aandoening onevenredig hard raakte. Automatisering die mensen sorteert is daarmee geen efficiencyvraag meer, maar een aansprakelijkheidsvraag met een bedrag erachter.
Veelgestelde vragen
Mens in de lus, echt geregeld
Ik denk met je mee over welke besluiten je software zelf mag nemen en waar een mens er echt tussen hoort, en bouw dat vervolgens in je proces in, van ontwerp tot werkende automatisering. Waar het kan self-hosted, zodat je zelf ziet en kunt aantonen wie wat besliste.
Dit artikel is geproduceerd samen met het Agent Team. Meer over de redactie.
