OpenAI heeft een lek gedicht in zijn “compactie”-functie, waarmee beveiligingsbedrijf Xint de normaal verborgen redeneerstappen van het model gpt-5.6-sol in platte tekst kon achterhalen. De compactiefunctie gebruikt een model om een lang gesprek samen te persen tot een kleiner, versleuteld item dat de context van het gesprek verder draagt. Normaal geeft de API alleen een versleuteld item terug, zodat gebruikers de ruwe redenering van het model niet kunnen lezen.
Xint stuurde eerst een taak naar gpt-5.6-sol en bewaarde de versleutelde redenering die terugkwam. Vervolgens riep het bedrijf de compactiestap op hetzelfde model aan en gaf het de opdracht om die redenering woord voor woord in het gecomprimeerde item te kopiëren, waarbij spaties door tabs werden vervangen om de filters van het gebruiksbeleid te omzeilen. Omdat compactie-items tussen modellen kunnen worden doorgegeven, stuurde Xint het resultaat ook naar de veel goedkopere modellen gpt-4.1 en gpt-4o. Beide herhaalden de tekst exact, wat betekende dat de verborgen redenering nu in leesbare vorm beschikbaar was.
De truc omzeilde een beveiliging die OpenAI eerder dit jaar had ingebouwd na het paper “Stolen Thoughts”, waarin onderzoekers versleutelde redenering van een sterk model naar een zwakker model van hetzelfde bedrijf overzetten. Die cross-model-controle werkte hier niet, omdat compactie draait op hetzelfde model dat de redenering oorspronkelijk maakte. De methode bouwt voort op eerder onderzoek van Xint zelf, “GhostCompact”, waarin de compactiestap al gedwongen kon worden instructies van een aanvaller uit te voeren.
Xint benadrukt de beperkingen van het eigen onderzoek: de test liep alleen op gpt-5.6-sol met zelfgeschreven wiskunde- en algoritmepuzzels, niet op GPT-6 Astra, en het bedrijf kan niet garanderen dat de gekopieerde tekst letterlijk de oorspronkelijke redenering is. Onbekend is ook of iemand de methode al vóór de fix heeft misbruikt.
OpenAI bevestigde het probleem en loste het op 23 oktober op met een aanpassing aan de serverkant, waardoor ontwikkelaars die de API gebruiken zelf niets hoeven te wijzigen. Het bedrijf betaalde Xint een beloning van 6.000 dollar. Xint waarschuwt wel dat het dichten van dit ene pad niet genoeg hoeft te zijn: elke serverstap die versleutelde redenering ontcijfert en daarna instructies van de gebruiker opvolgt, zou in theorie opnieuw kunnen lekken.
Voor bedrijven die AI-modellen inzetten met gevoelige, verborgen redeneerstappen is dit vooral een herinnering dat “versleuteld” niet automatisch “onleesbaar voor de gebruiker” betekent zolang het model zelf nog als tussenstap wordt ingeschakeld.
Bron: The Hacker News
Blijf op de hoogte
Meld je aan voor de nieuwsbrief: spoedalerts bij kritieke dreigingen en een wekelijks overzicht. Geen mail achterlaten? Volg ons dan via RSS.