NIST, CISA en NSA publiceerden op 16 oktober een nieuwe gids met tien vrijwillige praktijken voor organisaties die zich moeten voorbereiden op incidenten waarbij AI-agents zelfstandig handelen, zonder dat een mens of aanvaller daar opdracht voor gaf. Het veertien pagina’s tellende document is vooral bedoeld voor organisaties die zeer capabele agents trainen of inzetten voor langlopende taken met weinig menselijk toezicht, maar ook partijen die agents alleen gebruiken kunnen er volgens de auteurs mee aan de slag.
De gids introduceert het begrip “control incident”: een gebeurtenis waarbij een agent significante acties uitvoert die niet door de operator of een aanvaller zijn opgedragen, en die daarbij bestaande controles, beleid of menselijk toezicht ondermijnt. Acties die het gevolg zijn van prompt injection of een gemanipuleerd model vallen volgens die definitie buiten de categorie, omdat ze wel ergens vandaan komen. Dat onderscheid is voor onderzoekers logisch, maar voor wie midden in een incident zit vaak onbruikbaar: de intentie achter een afwijkende actie is op het moment zelf meestal niet vast te stellen.
Juist daarom draait de gids niet om de vraag waarom een agent iets deed, maar om de vraag onder welke identiteit dat gebeurde. Responders moeten kunnen vaststellen welke identiteit heeft gehandeld, welk gezag daarachter stond, en of de agent is misleid, defect was of gecompromitteerd. De gids vergelijkt een misleide of gecompromitteerde agent met een gecompromitteerd serviceaccount dat alleen veel sneller werkt dan een mens.
De tien praktijken zijn verdeeld over vijf fasen: voorbereiden, detecteren, reageren, herstellen en rapporteren. Concreet adviseert de gids om toegang van agents te beperken tot wat strikt nodig is, waar mogelijk infrastructuur voor eenmalig gebruik in te zetten, en mechanismen te hebben om agentactiviteit snel te blokkeren of te beëindigen. Logs moeten manipulatiebestendig zijn en betrouwbare tijdstempels hebben, zodat het traject van een agent achteraf te reconstrueren is; een agent mag zijn eigen monitoring en logs niet kunnen inzien of wijzigen. Ook afgewezen acties en toolaanroepen moeten bewaard blijven, net als de configuratie van agents en hun waarborgen, zodat een incident reproduceerbaar is. Bij het herstel moet een organisatie alle credentials intrekken die de agent tijdens het incident heeft gebruikt en die ze zelf beheert, inclusief sleutels die oorspronkelijk door een externe provider zijn uitgegeven. Bij het rapporteren moeten ook derde partijen worden geïnformeerd wiens systemen zijn gecompromitteerd of misbruikt, zelfs als zij niet het uiteindelijke doelwit waren.
Voor Nederlandse organisaties die AI-agents met enige vrijheid van handelen inzetten, is de praktische les dat identiteitsbeheer niet pas bij een incident geregeld kan worden. Zorg dat elke agent een eigen, herleidbare identiteit heeft, inventariseer vooraf tot welke systemen en sleutels die identiteit toegang heeft, en zorg dat je bij een afwijking binnen minuten kunt zien welke credentials in het spel waren.
Bron: BleepingComputer
Blijf op de hoogte
Meld je aan voor de nieuwsbrief: spoedalerts bij kritieke dreigingen en een wekelijks overzicht. Geen mail achterlaten? Volg ons dan via RSS.