Kunstmatige intelligentie (AI) brengt beide risico’s met zich mee, maar biedt ook een unieke kans om impliciete systematische discriminatie te bestrijden.
In het publieke discours over AI en de bijbehorende risico’s van discriminatie wordt vaak over het hoofd gezien dat menselijke beslissingen onbewust gebaseerd kunnen zijn op niet-objectieve criteria.
Als gevolg hiervan komen vormen van impliciete systematische discriminatie voor in de meeste grote organisaties. HR-beslissingen die ‘op instinct’ worden genomen, kunnen bijvoorbeeld gebaseerd zijn op ondoordachte voorkeuren. Onderzoek heeft aangetoond dat we de neiging hebben om meer vaardigheden toe te schrijven aan mensen die we aantrekkelijk vinden. Dit en andere besluitvormingstools kunnen leiden tot vooroordelen die discriminerende resultaten veroorzaken.
Bovendien kunnen irrelevante criteria zoals onze eigen huidige staat van welzijn ook van invloed zijn op onze besluitvorming. Zo kunnen de vonnissen van rechters in strafrechtbanken variëren, afhankelijk van of ze vóór of na de lunch worden uitgesproken. Deze niet-objectieve factoren, bekend als ‘ruis’, dragen bij aan discriminerende resultaten.
Het risico is dat AI-gestuurde automatisering van besluitvormingsprocessen kan leiden tot de proliferatie van dergelijke discriminerende effecten als de AI-systemen worden getraind met gegevens van eerdere menselijke beslissingen. Tegelijkertijd kan dit risico worden gecompenseerd door de enorme kans om menselijke discriminatie in al zijn vormen aanzienlijk te verminderen door middel van een goede kwaliteitscontrole van de trainingsgegevens. In de regel neemt de mate van statistische onjuistheid af (wordt steeds meer “genormaliseerd”) met het volume en het aantal trainingsgevallen.
Om het doel van het verminderen van menselijke discriminatie te bereiken, is het noodzakelijk om de impliciete discriminatie die ten grondslag ligt aan de trainingsgegevens transparant te maken. Hiervoor is vaak het verzamelen van gevoelige gegevens over de betrokkenen vereist, waarvan de gegevens deel uitmaken van de trainingsgegevens. Dit omvat onder andere de religieuze overtuiging of seksuele geaardheid van de betrokkenen.
Het verwerken van gevoelige gegevens met het oog op de bestrijding van discriminatie roept echter juridische zorgen op onder de Algemene Verordening Gegevensbescherming (AVG). Dit komt omdat de AVG nog steeds uitgaat van de veronderstelling dat discriminatie op basis van gevoelige gegevens zoals seksuele geaardheid of etniciteit voorkomen kan worden door in de eerste plaats geen gevoelige gegevens te verzamelen, wat grotendeels een “ik zie geen kleur”-benadering is. We bespreken dit onderwerp uitgebreider in ons artikel.
Met de AI Act heeft de EU-wetgever voor het eerst erkend dat deze veronderstelling onjuist is. De wet staat uitdrukkelijk het gebruik van gevoelige gegevens toe voor zover dit absoluut noodzakelijk is om discriminerende vooroordelen in AI-systemen met een hoog risico tegen te gaan. Deze AI-systemen met een hoog risico omvatten met name AI-systemen die werkgerelateerde beslissingen ondersteunen, bijvoorbeeld door werknemers te evalueren.
De AI Act staat de verwerking van gevoelige gegevens alleen toe onder strikte aanvullende voorwaarden. Deze voorwaarden geven prioriteit aan het beschermen van de belangen van de betrokkenen onder de wetgeving inzake gegevensbescherming.
Meer specifiek moet het gebruik van gevoelige gegevens noodzakelijk zijn voor het detecteren en corrigeren van vooroordelen. Synthetische of geanonimiseerde gegevens zijn hiervoor niet voldoende. Bovendien moeten gevoelige gegevens worden beschermd door de hoogste veiligheidsmaatregelen. Dit omvat strikte toegangscontrole en documentatie van alle toegangen. Bovendien moeten de gevoelige gegevens gepseudonimiseerd worden, zodat de betrokkenen niet direct geïdentificeerd kunnen worden. Tot slot mogen de gevoelige gegevens niet aan derden worden overgedragen en moeten ze worden verwijderd zodra ze niet langer nodig zijn voor het detecteren en corrigeren van vooroordelen. Dit alles moet op de juiste manier worden gedocumenteerd. De AI-wet maakt het gebruik van gevoelige gegevens mogelijk om discriminatie te bestrijden. Deze paradigmaverschuiving is een uiting van een fundamenteel optimisme dat onze maatschappelijke realiteit op een duurzame manier kan worden verbeterd door middel van goed gereguleerde AI. In het bijzonder zal de AI-wet toestaan dat AI-systemen met een hoog risico die worden gebruikt bij werkgerelateerde beslissingen, worden getraind met behulp van gevoelige gegevens binnen de bovengenoemde grenzen om niet-discriminerende beslissingen mogelijk te maken.