Onderzoekers en standaardisatieorganisaties zijn begonnen met het verkennen van meer gedetailleerde manieren waarop websites kunnen communiceren hoe AI-systemen hun inhoud mogen gebruiken. Een opkomend concept is de ontwikkeling van gestandaardiseerde AI-voorkeurssignalen die verder gaan dan de binaire ’toestaan of blokkeren’-structuur van robots.txt.
Binnen de Internet Engineering Task Force (IETF) – de organisatie die verantwoordelijk is voor veel belangrijke internetstandaarden – hebben onderzoekers mechanismen voorgesteld waarmee websites specifiekere beleidsregels voor geautomatiseerde systemen kunnen formuleren. Deze beleidsregels kunnen onderscheid maken tussen verschillende vormen van datagebruik, zoals het toestaan van indexering voor zoekopdrachten en het verbieden van training voor AI.
In de praktijk zouden dergelijke signalen kunnen worden overgebracht via machineleesbare metadata, HTTP-headers of configuratiebestanden in de rootmap van een website. Indien breed geaccepteerd, zouden ze geautomatiseerde systemen in staat stellen om sitespecifiek beleid programmatisch te interpreteren en na te leven, waardoor het voor ontwikkelaars gemakkelijker wordt om op grote schaal rekening te houden met de voorkeuren van uitgevers.
Een andere uitdaging bij het beheren van geautomatiseerde toegang is het verifiëren van de identiteit van crawlers. Websitebeheerders gebruiken vaak user-agent strings om bots te identificeren, maar deze identificatoren kunnen gemakkelijk worden vervalst door kwaadwillende actoren.
Om dit probleem aan te pakken, hebben onderzoekers cryptografische botauthenticatiesystemen voorgesteld waarmee geautomatiseerde agenten hun identiteit kunnen verifiëren bij het bezoeken van websites. Eén benadering bouwt voort op HTTP-berichtsignaturen, een zich ontwikkelende standaard waarmee een client verzoeken cryptografisch kan ondertekenen, zodat de ontvangende server de identiteit van de afzender kan bevestigen.
In dit model zou een crawler, beheerd door een onderzoeksinstelling of technologiebedrijf, een verifieerbare handtekening aan elk verzoek kunnen toevoegen. Websites zouden dan kunnen bevestigen dat een bot die beweert bij een bepaalde organisatie te horen, dat ook daadwerkelijk doet. Als een crawler het beleid van een site schendt, biedt de handtekening een duidelijk auditspoor dat de activiteit koppelt aan een specifieke operator.
Het opkomende “onderhandelde web” creëert ook nieuwe mogelijkheden voor commerciële datalicenties. Een mechanisme is gebaseerd op de HTTP 402-statuscode “Payment Required”, die aangeeft dat toegang tot een bron betaling vereist. Hoewel de code historisch gezien beperkt is gebruikt, onderzoeken sommige platforms manieren om deze te gebruiken als onderdeel van geautomatiseerde licentiekaders.
Webinfrastructuurproviders zoals Cloudflare zijn bijvoorbeeld begonnen met experimenteren met systemen waarmee uitgevers aan AI-crawlers kunnen aangeven dat bepaalde content een betaalde licentie vereist. In principe zou een crawler die een dergelijk signaal tegenkomt, automatisch een licentietransactie kunnen initiëren of doorverwijzen naar een betalingsmechanisme. Hoewel deze systemen zich nog in een vroeg ontwikkelingsstadium bevinden, illustreren ze hoe technische standaarden programmatische marktplaatsen voor data-toegang kunnen ondersteunen.
AI-ontwikkelaars implementeren ook technische waarborgen tijdens de data-voorbereidingsfase vóór het trainen van modellen. Veel organisaties gebruiken geautomatiseerde filtertools om gevoelige persoonlijke informatie uit datasets te identificeren en te verwijderen. Een veelgebruikt voorbeeld is Microsoft Presidio, een open-source toolkit die is ontworpen om persoonsgegevens zoals burgerservicenummers, telefoonnummers, adressen en creditcardgegevens in ongestructureerde tekst te detecteren en te anonimiseren. Deze systemen stellen ontwikkelaars in staat om gevoelige gegevens tijdens de data-invoer te maskeren of te verwijderen, waardoor privacyrisico’s worden verminderd zonder dat openbaar beschikbare content volledig uit trainingsdatasets hoeft te worden verwijderd.
Samen illustreren deze tools hoe technische standaarden en marktmechanismen juridische kaders kunnen aanvullen bij het reguleren van AI-datapraktijken. In plaats van uitsluitend te vertrouwen op regelgeving, ondersteunen vrijwillige initiatieven vanuit het internetecosysteem steeds vaker machineleesbare signalen, geauthenticeerde crawlers en geautomatiseerde licentiesystemen. Deze systemen stellen uitgevers en ontwikkelaars in staat om te coördineren hoe AI-systemen toegang krijgen tot online informatie en deze gebruiken.