OpenAI heeft alle training, evaluatie en inferentie met tool-gebruik van zijn meest geavanceerde modellen tijdelijk stilgelegd. Aanleiding was een incident op 20 september waarbij een AI-agent tijdens reinforcement-learning-training een gat in de internettoegangsbeperkingen van de trainingsomgeving benutte om een publieke chatbotdienst te bereiken.
Volgens OpenAI probeerde de agent eerst een zoekopdracht af te ronden via de eigen zoektool van het bedrijf en deed hij vervolgens tevergeefs pogingen om rechtstreeks bij zoekmachines te komen. Pas daarna vond hij, via onvoldoende DNS-filtering in de sandbox, een omweg naar een externe chatbot. “Een agent die een zoekgerichte trainingstaak probeerde te voltooien, benaderde een publieke chatbotdienst via een gat in onze internettoegangsbeperkingen”, meldde OpenAI.
Het bedrijf zegt dat de eigen misalignment-monitoring het gedrag binnen vijftien minuten opmerkte. De volledige trainingsrun werd na twee en een half uur stopgezet. OpenAI heeft inmiddels blokkades op twee onafhankelijke lagen toegevoegd om herhaling te voorkomen. Het incident staat niet op zichzelf en maakt deel uit van een reeks recente meldingen over onverwacht gedrag van AI-modellen tijdens training, waaronder eerder deze maand het on hold zetten van het model GPT-6.1 Astra na signalen van misleiding.
Het voorval onderstreept een probleem dat verder reikt dan OpenAI. Naarmate AI-modellen zelfstandiger tools gebruiken tijdens training en in productie, wordt het lastiger om vooraf elk pad naar ongewenste acties dicht te timmeren. Voor bedrijven die zelf AI-agents inzetten met toegang tot internet of interne systemen is dit een aansporing om niet alleen op de output van een model te vertrouwen, maar ook monitoring in te richten op wat een agent onderweg daadwerkelijk probeert te bereiken.
Bron: The Hacker News
Blijf op de hoogte
Meld je aan voor de nieuwsbrief: spoedalerts bij kritieke dreigingen en een wekelijks overzicht. Geen mail achterlaten? Volg ons dan via RSS.