Een strandtenthouder die een AI-chatbot vraagt om de winterverkoop te voorspellen op basis van de zomerresultaten, kan zich al snel geconfronteerd zien met een vriezer vol onverkochte lekkernijen.
Dat komt niet doordat algoritmes altijd foute voorspellingen doen. Het komt doordat kunstmatige intelligentie vaak zelfverzekerd klinkende antwoorden geeft, zelfs als het niet over de benodigde informatie beschikt voor betrouwbare reacties.
Het idee is om managers te leren hoe ze de AI-tool moeten gebruiken wanneer deze waarschijnlijk een goede aanbeveling geeft misschien zelfs beter dan hun eigen aanbeveling.
Daarom moeten bedrijven erkennen dat AI er soms naast kan zitten en de aanbevelingen in twijfel trekken of er zelfs van afzien wanneer de resultaten niet kloppen.
“AI kan niet alles, toch? We willen dat mensen zelf kunnen kiezen wanneer ze een algoritme wel en niet willen volgen,”
Nu bedrijven steeds meer op AI vertrouwen voor beslissingen zoals het voorspellen van de klantvraag, lijkt een waarschuwing om niet te veel op AI te vertrouwen op zijn plaats. Richtlijnen voor hoe bedrijven de samenwerking tussen mens en AI kunnen vormgeven, zodat werknemers beter in staat zijn om slecht advies van algoritmes te herkennen en te corrigeren.
Een simpele verbetering in het AI-ontwerp kan een groot verschil maken: het toevoegen van korte, goed getimede waarschuwingen aan chatbotreacties hielp gebruikers te begrijpen wanneer ze AI-voorspellingen konden vertrouwen en wanneer ze deze moesten aanpassen of negeren. Met name door mensen te laten weten wanneer AI met gezag reageerde in bekend terrein en hen te waarschuwen wanneer dat niet het geval was werden gebruikersfouten met bijna de helft verminderd.
Het inbouwen van waarschuwingen zal ons beter toerusten met de gezonde dosis scepsis die nodig is bij het evalueren van AI-aanbevelingen, zodat we uiteindelijk betere beslissingen kunnen nemen.
Het idee, is om ons te leren hoe we de AI-tool moeten gebruiken en wanneer die waarschijnlijk een goede aanbeveling geeft, misschien zelfs beter dan onze eigen aanbeveling. Of, als alternatief, om op ons gevoel te vertrouwen, om onze intuïtie en kennis te gebruiken wanneer de AI-tool het waarschijnlijk mis heeft.
Toen AI voor het eerst opdook, zorgde de afkeer van algoritmes ervoor dat veel gebruikers de output ervan met scepsis benaderden. Sindsdien is de slinger in veel organisaties de andere kant opgeslagen, naar ongeremd enthousiasme. Maar in sommige gevallen accepteren we de aanbevelingen van AI nu te gemakkelijk en stellen algoritmes niet kritisch in twijfel, zelfs niet als iets niet helemaal klopt.
Een reeks online experimenten om te onderzoeken hoe we presteren wanneer ons wordt gevraagd de vraag naar een product te voorspellen met behulp van alleen een door AI gegenereerde prognose en een paar basisproductdetails.
Met het voorbeeld van een strandtent kan een algoritme leren dat de verkoop stijgt op warme dagen (inlier-informatie), maar kan het nog steeds moeite hebben om te begrijpen hoe de strandtent het in de winter zou doen (outlier-informatie).
“Een echt goede trainingsset met representatieve gegevens leidt tot AI-voorspellingen van hoge kwaliteit”. “Als die trainingsset verouderd, beschadigd of gebrekkig raakt, zullen de AI-voorspellingen falen.”
We presteerden het slechtst wanneer we tegelijkertijd met zowel bekende als ongebruikelijke gegevens te maken hadden, omdat we te veel corrigeerden voor bekende patronen en te weinig voor ongebruikelijke patronen. Hun extreem onnauwkeurige voorspellingen waren veel slechter dan als we ons alleen op ongebruikelijke gegevens concentreerden.
Signalen die gebruikers lieten weten dat de gegevens bekend waren en waarschijnlijk accurate antwoorden zouden opleveren en “waarschuwingen” signalen dat het algoritme mogelijk niet bekend was met de informatie, waardoor de antwoorden mogelijk niet betrouwbaar waren. Verbeterde de kwaliteit van de voorspellingen.
Eenvoudige ontwerpverbeteringen, zoals het toevoegen van waarschuwingen en aanbevelingen, maken algoritmen nauwkeuriger.