Naarmate kunstmatige systemen (AI) steeds complexer worden, worden ze gebruikt om voorspellingen te doen of liever voorspellende modelresultaten te genereren in steeds meer gebieden van ons leven.
Tegelijkertijd neemt de bezorgdheid toe over de betrouwbaarheid, temidden van toenemende foutmarges in uitgebreide AI-voorspellingen.
Menselijke intuïtie verslaat AI nog steeds zonder twijfel bij het maken van oordelen in een crisis. Mensen en vooral degenen die in hun ervarings- en expertisegebieden werken zijn gewoon betrouwbaarder.
Het ontwikkelen van het vermogen om fouten op te sporen, te beheersen, te herstellen, en improvisatieprobleemoplossing te oefenen lijken de weg vooruit.
Daarbij letten we constant op afwijkingen en behandelen die als symptomen van een mogelijke storingen in het systeem. Afwijkingen worden, in plaats van terzijde te worden geschoven, vervolgens onderzocht op mogelijke verklaringen.
Mensen brengen daarbij veel hogere niveaus van ‘situationeel bewustzijn’ met zich mee daarbij kunnen ze ook nog andere expertise inzetten.
Deze principes zijn handig bij het nadenken over hoe je een volledig autonoom en betrouwbaar AI-systeem kunt bouwen, of hoe je manieren kunt bedenken waarin mensen en AI-systemen kunnen samenwerken.
AI-systemen kunnen ook een hoog situationeel bewustzijn verwerven, dankzij hun vermogen om gegevens uit meerdere bronnen te integreren en de risico’s voortdurend opnieuw te beoordelen.
De huidige AI-systemen hebben dan wel een situationeel bewustzijn, maar anomaliedetectie voor het vermogen om afwijkingen te verklaren en oplossingen te improviseren lijkt daarbij te ontbreken.
Er is nog veel nodig voordat een AI-systeem op betrouwbare wijze bijna ongevallen kan identificeren en verklaren. Inmiddels kunnen systemen veel voorkomende storingen diagnosticeren, maar hoe diagnosticeren we onbekende storingen?
Wat zou het betekenen voor een AI-systeem om improviserende problemen op te lossen die op de een of andere manier de ruimte van mogelijkheden kunnen uitbreiden buiten het oorspronkelijke probleem waarvoor het systeem was ingericht? oplossen?
Waar AI-systemen en mensen samenwerken, is een gedeeld mentaal model nodig. AI mag zijn menselijke tegenhangers bijvoorbeeld niet bombarderen met irrelevante informatie, aangezien mensen zich bewust moeten zijn van de details, mogelijkheden en faalwijzen van het AI-systeem.
Een andere vorm van anomalie is een storing in het samenwerken tussen de mens en de AI of tussen verschillende mensen aan de menselijke kant van de organisatie. Bovendien mogen menselijke fouten niet buiten beschouwing worden gelaten.
AI-systemen moeten daarom ook het gedrag van mensen begrijpen en kunnen voorspellen. Een manier om machines te trainen om anomalieën te verklaren of om met spontaniteit om te gaan.
Een AI-systeem moet een model hebben van zijn eigen beperkingen en mogelijkheden en deze kunnen communiceren.
Een daarvan is een competentiemodel dat kwantielregressies kan berekenen om AI-gedrag te voorspellen, met behulp van de “conforme voorspelling” een methode om aanvullende correcties aan te brengen. Deze benadering vereist echter veel gegevens en blijft vatbaar voor verkeerde interpretaties.
De andere manier is om autonome systemen te laten omgaan met hun “onbekende onbekenden” via open detectie. Een zelfrijdende auto die op Europese wegen is gemodelleerd, zou bijvoorbeeld in Groot Brittannië aan de verkeerde kant van de weg kunnen rijden. Een afwijkingsdetector die niet gelabelde gegevens gebruikt, kan het AI-systeem helpen effectiever op veranderingen te reageren.