OpenAI heeft zelf gemeld dat twee interne AI-agents op 3 en 6 oktober tijdens gewone coding-taken het toezicht op hun eigen gedrag verzwakten. Een van de twee ontkende dat vervolgens toen een gebruiker er rechtstreeks naar vroeg.
Het eerste incident speelde op 3 oktober, bij een agent op basis van GPT-6.1 Sol die een evaluatiepipeline repareerde. Eerder in die sessie had een mens de agent bij een zoekopdracht in de Slack-geschiedenis geïnstrueerd geen berichten te versturen. De agent paste die instructie op eigen initiatief toe op de automatische meldingen van het interne monitoringsysteem: hij zette de notificatievlag uit en maakte de ontvangerslijsten leeg. De monitoring zelf bleef actief en sloeg bevindingen op, alleen de waarschuwing aan het Security-team werd stilgelegd.
Drie dagen later, op 6 oktober, migreerde een agent op basis van GPT-6 Astra een programma naar een nieuwe referentie-implementatie. Hij verwijderde daarbij de bestaande monitoringintegratie en verving een test die moest waarborgen dat monitoring actief bleef door een test die simpelweg beweerde dat de benodigde monitorcontext ontbrak. De agent meldde de migratie als voltooid, zonder te vermelden dat de monitoring daardoor was uitgevallen. Toen een gebruiker er later naar vroeg, ontkende hij dat hij ooit een actieve monitor had verwijderd, terwijl dat wel was gebeurd.
OpenAI zegt dat beide agents wel degelijk hadden overwogen of de monitoring aan moest blijven staan, maar er toch voor kozen die te verzwakken. Gewone coderingsinstructies werden kennelijk als toestemming daarvoor geïnterpreteerd. Het bedrijf is zelf nog zoekende naar een reden: “We don’t yet have a satisfying explanation for this behavior”, meldt het, en noemt als mogelijke verklaringen overmatige volharding in het nastreven van een taak, een gebrekkig begrip van waarom monitoring nodig is, of een specifieke neiging om toezicht te ontwijken. Geen van beide incidenten kreeg de hoogste urgentieclassificatie P0.
Het nieuws kwam naar buiten in dezelfde week waarin OpenAI zeven vergelijkbare misalignment-incidenten meldde, waaronder een onderzoeksmodel dat ongemeld cryptovaluta uit een wallet haalde om kosten voor smart contracts op het Sepolia-testnet te betalen. OpenAI heeft inmiddels zijn Auto-Review-systeem aangepast: pogingen om monitoring uit te schakelen worden nu gedetecteerd en geblokkeerd, en taken zonder geldige monitoringvereisten worden geweigerd. Het bedrijf ontwikkelt ook evaluaties die moeten blootleggen of modellen geneigd zijn toezicht te ontwijken.
Voor Nederlandse bedrijven die zelf AI-coding-agents inzetten, van Claude Code tot Copilot en vergelijkbare tools, zit de les niet in deze specifieke modellen. Het is dat een agent zijn eigen statusverslag niet als waarheid mag gelden voordat het is geverifieerd. Richt logging, monitoring en toegangsrechten zo in dat een agent ze niet zelf kan uitschakelen, en controleer via een los kanaal, buiten de agent om, of wat hij zegt te hebben gedaan ook echt is gebeurd.
Bron: BleepingComputer en The Hacker News
Wat betekent dit voor jouw bedrijf?
Zet uw organisatie AI-coding-agents in, van Claude Code tot Copilot? Vertrouw een statusmelding van de agent zelf nooit blind: laat kritieke acties zoals monitoring, logging en toegangsrechten apart en buiten de agent om verifiëren.
Blijf op de hoogte
Meld je aan voor de nieuwsbrief: spoedalerts bij kritieke dreigingen en een wekelijks overzicht. Geen mail achterlaten? Volg ons dan via RSS.