Recht op beslissingen
Van Eck sprak de afgelopen jaren verschillende toezichthouders over computerbesluiten. “Ze zeiden tegen me: ‘We hebben de kennis nog niet, we zijn nu druk bezig om dat in te halen.’ En inderdaad: inmiddels zie je wel steeds meer toezichthouders die zich klaarmaken voor toezicht op AI.” Toch is de context rondom die besluiten volgens Van Eck ook belangrijk. “Wanneer een toezichthouder alleen bezig is met algoritmen, wordt misschien de context waarin zo’n systeem opereert ook gemist.”
Toch ziet Van Eck duidelijk grote gaten in het toezicht. “Ik heb zelf nog nooit toezichthoudende activiteiten gezien bij de ‘gewone’ automatisering van menselijke taken. Mijn proefschrift ging over hoe de Sociale Verzekeringsbank kinderbijslag uitkeert en hoe de Belastingdienst beslissingen neemt. Daar komt meestal geen mens meer aan te pas. Ik wil dan weten: hoe zit die programmatuur in elkaar? Welke keuzes worden daarin gemaakt, en kan ik die aanvechten bij de rechter? En hoe zijn begrippen uit de wet gedefinieerd?”
Toezicht op computertaal
Diezelfde vragen heeft Van Eck rondom de inmiddels veelbesproken toeslagenaffaire, waarbij burgers onterecht als fraudeurs werden aangewezen. Ze wil al met al graag zien hoe mensentaal naar ‘computertaal’ is vertaald en vice versa. “Een individuele burger of een rechter alleen kan dat niet. Er moet toezicht op komen en dat zie ik niet terug, terwijl de ontwikkeling van computerbesluiten al twintig of misschien wel dertig jaar aan de hand is. Dat maakt mij niet zo optimistisch voor de toekomst.”
Vergrootglas op algoritmen
In de afgelopen maanden was er veel aandacht voor het antiracismedebat. Van Eck ziet dat als een belangrijke aanjager in het onder de loep nemen van geautomatiseerde processen binnen de overheid. “Er komt steeds meer debat over die processen. Het racismedebat draagt eraan bij dat we anders kijken naar geautomatiseerde beslissingen bij de overheid. De technologische leveranciers van de Amerikaanse overheid bijvoorbeeld, vinden dat er daar zo veel fout is in de organisatie, dat zij weigeren de technologie voor gezichtsherkenning nog te leveren omdat die ongelijkheid versterkt.”
Onderscheid maken met technologie komt nóg meer onder een vergrootglas te liggen, vertelt Van Eck. De bewustwording neemt toe, maar concrete stappen lijken nog te ontbreken. “Het rapport van de Autoriteit Persoonsgegevens over het gebruik van dubbele nationaliteiten in het risicomodel van Toeslagen laat zien dat het erg moeilijk en tijdrovend kan zijn onderzoek te doen naar gedragingen bij de overheid. Als de overheid vanaf nu alle stappen en afspraken gestructureerd vastlegt, scheelt dat de toezichthouder alvast veel werk.”
