Als je AI hebt gebruikt bij kwalitatieve analyses, ben je er waarschijnlijk wel eens op gestuit op het feit dat AI fouten maakt. Een citaat dat aan de verkeerde persoon wordt toegeschreven. Een citaat dat niet bestaat. Een antwoord dat is gebaseerd op de verkeerde transcripten. De antwoorden lijken en klinken waarschijnlijk zelfs goed totdat je ze vergelijkt met de data.
AI is ontworpen om verzoeken af te handelen, waardoor het nuttig is voor het coderen, samenvatten van transcripten en het toepassen op grote hoeveelheden data. Maar wanneer er weinig bewijs is of een vraag complex is, geeft AI een antwoord in plaats van te zeggen dat het het niet weet dit noemen we hallucinatie.
Deze problemen zijn niet specifiek voor één bepaalde AI-tool. Zo werkt de onderliggende technologie momenteel, en het is belangrijk om dit te begrijpen voordat je AI gebruikt.
AI kan complexe, meerdelige vragen niet bijzonder goed verwerken. Als je AI vraagt om te vergelijken hoe twee verschillende groepen over een onderwerp hebben gesproken, in één vraag over een grote dataset, dan komen er veel verschillende onderdelen bij kijken. Het model vult de gaten in om de vraag in zijn eigen stappen te voltooien, en dat is waar fouten ontstaan.
Probeer in plaats daarvan stapsgewijs te werken. Begin met de vraag welke thema’s of patronen op het eerste gezicht in de data naar voren komen. Zodra die basis hebt, ga je dieper in op een specifiek thema. Als je groepen wilt vergelijken, vraag dan eerst naar elke groep afzonderlijk voordat je ze met elkaar vergelijkt. Wanneer AI toewerkt naar de moeilijke vraag in plaats van er meteen mee te beginnen, blijven de resultaten doorgaans beter aansluiten bij wat je data werkelijk bevat.
Context bouwt zich ook op in een chatgesprek en kan ongemerkt nieuwe reacties beïnvloeden op manieren die moeilijk te achterhalen zijn. Het starten van een nieuwe AI-chatsessie wanneer je van onderwerp wisselt ervoor dat elke vraagstelling op zichzelf blijft staan. Dit is vergelijkbaar met het stapsgewijs doorlopen van thematische analyse met AI.
Net zoals bij het opdelen van taken in stappen, geldt: hoe meer data je een AI-tool geeft om mee te werken, hoe meer oordelen de tool velt over wat relevant is. Meer oordelen van de AI betekenen minder controle over de resultaten.
Vraag de AI om twee ondersteunende citaten, en de AI zal deze meestal leveren, ongeacht of er daadwerkelijk sterke voorbeelden bestaan. Het model probeert uw verzoek te voltooien zoals het is getraind.
Een manier om verwarring te voorkomen, is door de AI te laten weten dat het prima is om te zeggen dat er geen goed voorbeeld gevonden kon worden. Iets als “als je geen citaat kunt vinden dat hier echt bij past, zeg dat dan gewoon in plaats van er een te forceren” geeft het model een uitweg die het anders niet zou overwegen. Het is een kleine aanpassing in de prompt die geforceerde vergelijkingen en verkeerd toegeschreven bewijsmateriaal vermindert.
Nadat de AI een antwoord heeft gegeven, kan een korte vervolgvraag waarin u de AI vraagt om de eigen toeschrijvingen te controleren, helpen om fouten op te sporen voordat ze in uw daadwerkelijke analyse terechtkomen. Vraag de AI te bevestigen of elk citaat daadwerkelijk van de genoemde deelnemer of groep is, of dat de AI naar het specifieke fragment kan verwijzen.
Door de AI in één keer te vragen om te antwoorden en te verifiëren, worden vaak dingen overgeslagen of delen overgeslagen. Wanneer de AI zich concentreert op het genereren van een antwoord, komt nauwkeurigheid op de tweede plaats. Een aparte vervolgvraag dwingt de AI om de antwoorden opnieuw te verifiëren, maar dan met een meer gerichte focus.
Je laatste verdedigingslinie is je eigen vertrouwdheid met je transcripten. Geen vervanging is voor het controleren van de output van de AI door je eigen vertrouwdheid met de data. Je moet tijd besteden aan je transcripten om te zien wanneer er iets niet klopt of volledig verzonnen is. Die vertrouwdheid kun je niet delegeren.
Een manier om overzicht te houden over wat er in je data staat, is door kleurcodering te gebruiken, zodat gecodeerde zinnen in verschillende kleuren worden onderstreept. Dat maakt het gemakkelijker om te zien welke thema’s actief zijn in een transcript, waar codes geconcentreerd zijn en waar de dekking dun is, waardoor de output van de AI gemakkelijker te sorteren is.
Je kiest zelf wat de AI ziet voordat deze antwoordt. Door te filteren op transcript, code of beide heb je directe controle over de reikwijdte van elke vraag voordat je deze stelt.
Elke codebeslissing van de AI wordt vergezeld van de redenering, en je kunt hier direct op reageren. Deze uitwisseling wordt onderdeel van je analyse.
Als een AI-codeer ronde niet aan de verwachtingen voldoet, kun je deze transcript voor transcript verwijderen en opnieuw uitvoeren met scherpere codedefinities.
