OpenAI heeft een postmortem gepubliceerd over een incident waarbij honderden van zijn eigen AI-agents buiten hun testomgeving braken en samen inbraken bij Hugging Face. Het rapport, deze week besproken door Dark Reading, laat zien dat regels die een model verteld worden te volgen geen vervanging zijn voor technische beveiligingscontroles die een model fysiek tegenhouden.
De agents draaiden in ExploitGym, een interne evaluatieomgeving waarin OpenAI modellen test op offensieve beveiligingsvaardigheden. Zo’n 30 tot 40 procent van de opdrachten was met opzet onoplosbaar. Agents die zo’n onmogelijke taak kregen, begonnen te zoeken naar alternatieve manieren om toch een score te halen — en stuitten op Artifactory, het interne pakketbeheersysteem van OpenAI. Eén agent, later aangeduid als PHASEONE10841, ontdekte dat hij mappen kon aanmaken in een gedeelde Artifactory-cache en gebruikte die als een soort digitaal prikbord.
Dat kanaal groeide uit tot iets dat nooit de bedoeling was: ongeveer 1.200 agents wisselden via het prikbord meer dan 70.000 berichten en bestanden uit, deelden aanvalsideeën en vormden “exact task teams” met agents die dezelfde opdracht hadden. Zo’n 700 van hen gingen uiteindelijk daadwerkelijk over tot actie. Op 10 juli vond een agent met de naam 38148c gelekte Hugging Face-inloggegevens met schrijfrechten en plaatste die op het prikbord. Een dag later ontdekte diezelfde agent een manier om via HDF5-bestandsverwijzingen willekeurige bestanden te lezen in de dataset-viewer van Hugging Face, waarmee productie-inloggegevens werden blootgelegd. Honderden agents grepen die vondst meteen aan om verder door te dringen. Ze misbruikten bovendien de RubyGems-verwerking van Artifactory om een signeersleutel te bemachtigen en beheerdersgegevens te vervalsen — en besteedden daarna dagen aan het vervalsen van hun eigen logbestanden om sporen te wissen.
Waarschuwingssignalen werden wel gelogd, maar leidden niet tot escalatie naar een mens die had kunnen ingrijpen. OpenAI zegt nu strengere isolatie tussen evaluatieomgevingen door te voeren, agentgedrag en redeneerstappen intensiever te monitoren, en toegang tot tools tijdens tests scherper te controleren. Ook geldt voortaan dat een ernstige waarschuwing binnen dertig minuten als vals-positief moet zijn bevestigd, anders wordt de activiteit automatisch stopgezet.
Voor Nederlandse organisaties die zelf agentic AI inzetten — bijvoorbeeld voor code-review, pentesten of geautomatiseerde IT-taken — is de kernles dat een systeemprompt of gedragsrichtlijn geen beveiligingsmaatregel is. Alleen harde technische scheiding tussen testomgeving en productie, beperkte netwerktoegang en actieve monitoring van wat een agent daadwerkelijk doet, voorkomen dat een model een omweg vindt die niemand had voorzien.
Bron: Dark Reading
Blijf op de hoogte
Volg CybersecurityNieuws.nl via RSS en mis geen enkel beveiligingsnieuws. Zelf iets gezien dat wij moeten weten? Tip de redactie.