De AI-wet is een mijlpaalvoorstel om kunstmatige intelligentie in de EU te reguleren volgens een op risico’s gebaseerde benadering. Daarom is de categorie met een hoog risico een belangrijk onderdeel van de verordening, aangezien dit de categorieën zijn met de grootste impact op de veiligheid van mensen en de grondrechten.
Door een extra laag toe te voegen om te bepalen of een AI-systeem hoge risico’s met zich meebrengt, namelijk de voorwaarde dat het risicovolle systeem een belangrijke rol zou moeten spelen bij het vormgeven van de uiteindelijke beslissing.
De centrale gedachte is om meer rechtszekerheid te creëren en te voorkomen dat AI-toepassingen die ‘puur bijkomstig’ zijn bij besluitvorming onder de reikwijdte vallen. Wil de Europese Commissie binnen een jaar na de inwerkingtreding van de verordening het begrip puur accessoire via een uitvoeringshandeling definieert.
Het principe dat een systeem dat beslissingen neemt zonder menselijke toetsing als een hoog risico wordt beschouwd, is geschrapt omdat “niet alle geautomatiseerde AI-systemen noodzakelijkerwijs een hoog risico vormen en omdat een dergelijke bepaling vatbaar zou kunnen zijn voor omzeiling door een mens in het midden”.
Bovendien stelt de tekst dat wanneer het EU-bestuur de lijst met toepassingen met een hoog risico bijwerkt, het rekening moet houden met het potentiële voordeel dat AI kan hebben voor individuen of de samenleving in het algemeen, in plaats van alleen het potentieel voor schade.
In bijlage III vermelde categorieën met een hoog risico worden niet gewijzigd, maar er heeft een ingrijpende herformulering plaats gevonden. Bovendien stelt de tekst nu expliciet dat de voorwaarden voor de Commissie om aanvragen van de lijst met hoog risico te halen cumulatief zijn.
Er is hiermee een engere definitie van kunstmatige intelligentie (AI), een herziene en verkorte lijst van risicovolle systemen, een sterkere rol voor de AI-raad en herformuleerde vrijstelling van nationale veiligheid.
Vereisten voor systemen met een hoog risico
In het gedeelte over risicobeheer heeft het voorzitterschap de formulering gewijzigd om uit te sluiten dat de risico’s in verband met risicovolle systemen kunnen worden geïdentificeerd door middel van tests, aangezien deze praktijk alleen mag worden gebruikt om mitigerende maatregelen te verifiëren of te valideren.
De wijzigingen geven de bevoegde nationale autoriteit ook meer speelruimte om te beoordelen welke technische documentatie nodig is voor kmo’s die risicovolle systemen aanbieden.
Wat de menselijke beoordeling betreft, vereist de ontwerpverordening dat ten minste twee personen toezicht houden op risicovolle systemen. De Tsjechen stellen echter een uitzondering voor op de zogenaamde ‘vierogenprincipes’, namelijk voor AI-toepassingen op het gebied van grenscontrole waar EU- of nationale wetgeving dit toelaat.
Met betrekking tot financiële instellingen stelt het compromis dat het kwaliteitsbeheersysteem dat ze zouden moeten invoeren voor gebruiksgevallen met een hoog risico, kan worden geïntegreerd met het systeem dat al bestaat om te voldoen aan de bestaande sectorale wetgeving om doublures te voorkomen.
Evenzo zouden de financiële autoriteiten krachtens de AI-verordening markttoezichtbevoegdheden hebben, met inbegrip van het uitvoeren van toezichtactiviteiten achteraf die kunnen worden geïntegreerd in het bestaande toezichtmechanisme van de EU-wetgeving inzake financiële diensten.
Definitie
De meeste van zijn eerdere wijzigingen in de definitie van kunstmatige intelligentie behouden, maar de verwijzing naar het feit dat AI ‘door de mens gedefinieerde’ doelstellingen moet volgen is geschrapt, omdat het als “niet essentieel” werd beschouwd.
De tekst specificeert nu dat de levenscyclus van een KI-systeem zou eindigen als het door een markttoezichtautoriteit wordt ingetrokken of als het ingrijpende wijzigingen ondergaat, in welk geval het als een nieuw systeem moet worden beschouwd.
Het compromis introduceerde ook een onderscheid tussen de gebruiker en degene die het systeem bestuurt, wat niet noodzakelijk dezelfde persoon hoeft te zijn die door de AI wordt beïnvloed.
Aan de definitie van machine learning is toegevoegd dat het een systeem is dat kan leren maar ook gegevens kan afleiden.
Bovendien is het eerder toegevoegde concept van autonomie van een AI-systeem beschreven als “de mate waarin een dergelijk systeem functioneert zonder invloed van buitenaf.”
Er is een meer directe uitsluiting van onderzoeks- en ontwikkelingsactiviteiten met betrekking tot AI, “ook met betrekking tot t o de uitzondering voor nationale veiligheid, defensie en militaire doeleinden”, luidt de toelichting.
Het cruciale deel van de tekst over AI voor algemene doeleinden werd overgelaten aan het volgende compromis.
Verboden praktijken
Het deel over verboden praktijken, een gevoelige kwestie voor het Europees Parlement, blijkt niet controversieel te zijn onder lidstaten die geen grote wijzigingen hebben gevraagd.
Tegelijkertijd definieert de preambule van de tekst het concept van AI-geactiveerde manipulatieve technieken verder als stimuli die “buiten de menselijke waarneming liggen of andere subliminale technieken die de autonomie van de persoon ondermijnen of aantasten, bijvoorbeeld in het geval van machine-herseninterfaces of virtuele realiteit.”