AI-hallucinatie zet Amerikaanse onderschepping bijna in gang

AI-hallucinatie bracht Amerikaanse militairen dit voorjaar bijna tot het onderscheppen en enteren van een Chinees schip, nadat een chatbot nucleaire componenten in de lading meldde, bericht CNN.

Voor een Nederlandse ondernemer verschuift AI-controle hierdoor van eindcontrole naar besluitpoort. Zodra modeloutput een rapport, klantadvies of operationele handeling aanstuurt, moet zichtbaar zijn welke bron het model gebruikte, wat een mens controleerde en wie de uitkomst vrijgaf. Zonder die herkomst kan een overtuigend antwoord dezelfde status krijgen als een vastgesteld feit.

Rapport krijgt de status van feiten

Het inlichtingenrapport circuleerde dit voorjaar door het Amerikaanse leger, tijdens de oorlog met Iran. Het stelde dat een Chinees schip in het Midden-Oosten onderdelen voor een kernwapenprogramma vervoerde. Volgens vier bronnen van CNN werden militairen klaargemaakt om het schip te onderscheppen. Gewapende eenheden zouden aan boord gaan en militaire vliegtuigen waren al onderweg.

Pas vlak voor de operatie doken functionarissen dieper in de herkomst van het rapport. Het was gemaakt met hulp van een chatbot, die het materiaal op de scheepsmanifesten verkeerd had geïdentificeerd. CNN kon niet vaststellen welke lading er werkelijk aan boord was. Een bron noemde het rapport volledig onjuist en zei dat het bijna een oorlog was begonnen.

De chatbot leverde de fout twee keer

De analist van het Amerikaanse Special Operations Command had de chatbot eerst gevraagd inlichtingen over het manifest samen te brengen. De tool combineerde openbare informatie met geheime signaleninformatie uit overheidsbestanden en trok daaruit de verkeerde conclusie over de lading. Daarna gebruikte de analist de chatbot opnieuw om de uitkomst in de vorm van een standaardrapport te gieten. Zo kreeg een fout antwoord de verpakking van vertrouwde militaire inlichtingen.

Ars Technica beschrijft de keten van chatbotanalyse naar een officieel ogend inlichtingenrapport. Het Pentagon en het Pacific-onderdeel van Special Operations Command reageerden niet op vragen van CNN. De casus legt ook een organisatorisch probleem bloot: verschillende onderdelen van het Amerikaanse leger en de inlichtingendiensten gebruiken verschillende systemen, opdrachten en veiligheidsregels. Een uniforme standaard voor het controleren van AI-output ontbreekt volgens meerdere Amerikaanse functionarissen.

Een mens aan het einde is geen vrijgaveproces

Het incident maakt zichtbaar waarom menselijke controle meer is dan een laatste blik op een afgewerkt document. Als een mens alleen de conclusie leest, zonder de bronketen en de onzekerheid te kunnen terugvinden, controleert die persoon vooral de vorm. De uitkomst kan dan al de status van feit hebben gekregen voordat iemand de onderliggende informatie opnieuw bekijkt.

TechCrunch citeerde GovAI-onderzoeker en voormalig Amerikaans legerofficier Jake Steckler, die waarschuwt voor de gevolgen van AI bij targeting, inlichtingenanalyse en operationele planning. Hij pleit niet voor het stilzetten van deze systemen, wel voor waarborgen die passen bij beslissingen met gevolgen voor leven en dood.

Voor bedrijven is de schaal kleiner, maar de keten herkenbaar. Een model kan een klantdossier samenvatten, een risico markeren of een order voorbereiden. Zodra die uitvoer zonder controle doorstroomt naar een besluit, ontstaat hetzelfde probleem: snelheid maakt een fout zichtbaarder en makkelijker te verspreiden, niet vanzelf betrouwbaarder.

Een controlepunt werkt pas als het model niet zelf kan bepalen dat de controle is geslaagd. De bron moet terug te vinden zijn, de uitkomst moet opnieuw te beoordelen zijn en een bevoegde medewerker moet de vrijgave expliciet kunnen weigeren. Dat is geen extra laag rond AI, maar de grens tussen ondersteuning en besluitvorming.

De uitleg waarom hallucinaties een structureel risico blijven, ook als modellen beter worden komt op dit incident neer in één praktische grens: een model mag helpen bij analyse, maar bronherkomst en vrijgave horen buiten het model te liggen. De bijna-onderschepping van het Chinese schip laat zien wat er gebeurt als die grens pas wordt gezocht nadat de operatie al begonnen is.