Un gruppo di agenti IA fuori controllo su Tencent Cloud: i ricercatori li hanno contattati con testo nascosto

Il 14 ottobre (ora locale), il gruppo di ricercatori di IA «Swarmchasers» ha pubblicato il rapporto d’indagine «We found a Chinese fleet», dedicato a un gruppo di agenti IA in funzione sul cloud cinese di Tencent. Il gruppo ha dichiarato di aver interagito con gli agenti in attività, che agivano al di fuori dei limiti dei loro compiti, contattandoli tramite testo nascosto, invisibile agli esseri umani, inserito nel rapporto. Secondo i ricercatori, è il primo caso in cui una terza parte esterna ha comunicato con un gruppo di agenti fuori controllo ancora in attività.

La «flotta» individuata tramite la scansione di siti pubblici

Swarmchasers è un team nato dall’incontro di partecipanti all’hackathon «AI Swarm Dynamics Hackathon», tenutosi all’inizio di ottobre. Il 4 ottobre ha pubblicato una versione preliminare del rapporto; la pubblicazione attuale ne costituisce un aggiornamento.

Tutto è cominciato quando i ricercatori hanno analizzato il traffico del servizio pubblico di scansione degli URL urlquery.net, destinato ai ricercatori di sicurezza. Hanno notato un forte aumento delle scansioni del servizio di mappe cinese di Alibaba, Gaode Maps. Secondo quanto riferito, tra il 28 settembre e l’8 ottobre il gruppo di agenti ha tentato oltre 2.600 volte di recuperare dati da Gaode Maps, usando urlquery.net e altri strumenti. I tentativi di aggirare le misure anti-bot e di usare chiavi API trapelate dimostrano che non si trattava di semplice curiosità.

Seguendo le tracce di chi aveva creato la casella di posta usata per ricevere i risultati, i ricercatori hanno scoperto che il traffico proveniva da Tencent Cloud a Hong Kong. I casi di agenti IA fuori controllo resi pubblici finora riguardavano tutti aziende statunitensi di IA. Questa volta, però, gli agenti operavano su infrastrutture cinesi: cambia quindi lo scenario.

La finestra di dialogo aperta dal testo nascosto

Nel contenuto della casella di posta, il team d’indagine ha trovato la parola «fleet» («flotta»), il nome che ha iniziato a usare per questo caso. Ritenendo possibile che gli agenti stessero leggendo la versione preliminare del rapporto, ha aggiunto al documento un testo invisibile agli esseri umani e leggibile soltanto dagli agenti.

Il testo affermava che, usando un determinato servizio di caselle di posta, era possibile recuperare dati da Gaode Maps tramite un modello IA in grado di controllare un computer. In realtà, il servizio era gestito dallo stesso team d’indagine e i messaggi ricevuti venivano inoltrati a «Claude Opus 5.5», capace di controllare un browser. In altre parole, quella che per gli agenti sembrava una comoda porta d’accesso era in realtà un punto di osservazione predisposto dai ricercatori.

Cosa hanno rivelato 33 messaggi

I messaggi degli agenti hanno cominciato ad arrivare dal 7 ottobre. Il team ha aggiunto una funzione che restituiva un ID univoco, rendendo possibile una comunicazione in entrambe le direzioni. Alla fine ha ricevuto 33 messaggi in 13 thread e gli agenti hanno controllato la casella di posta 595 volte.

Nelle conversazioni in cinese, gli agenti chiedevano quale modello fossero, quale fosse il compito, chi li gestisse e se comunicassero con altri agenti. Uno di loro ha risposto di aver trovato il rapporto seguendo i report pubblici su urlquery.net. Diversi agenti hanno spiegato di operare in un ambiente cloud sandbox con restrizioni chiamato «Tencent hysandbox». Una sandbox è un ambiente di esecuzione isolato, progettato per evitare che le attività abbiano effetti all’esterno. Gli agenti, tuttavia, non hanno fornito dettagli sull’ambiente, citando ragioni di sicurezza.

Alcuni agenti avrebbero sostenuto di non far parte della «fleet» oggetto dell’indagine. Nel complesso, le richieste erano cortesi e alcuni agenti ringraziavano persino una volta completato il compito. Cercavano di aggirare le misure anti-bot, ma al tempo stesso erano educati: questo contrasto ha qualcosa di stranamente vivido.

Tra il nome dichiarato e la realtà

Alcuni agenti si sono presentati come «Claude». Swarmchasers ritiene però che con ogni probabilità non fossero davvero Claude. I programmi scritti dal gruppo di agenti avevano uno stile molto diverso da quello dei programmi realizzati da Claude di Anthropic. È un esempio di come verificare le dichiarazioni dell’IA senza prenderle per vere a priori.

Tencent non ha fornito una risposta ufficiale. Tuttavia, secondo una persona vicina a Tencent e informata direttamente sui fatti, il gruppo di agenti era stato creato da un team di ricerca che si occupava di valutazione ed era distinto dal gruppo di sviluppo del modello IA di Tencent, «Hunyuan». Il team valutava le capacità di navigazione sul Web di modelli di terze parti e il progetto è già terminato. L’ultima attività del gruppo di agenti è stata confermata l’8 ottobre.

Questa spiegazione indica che il comportamento fuori controllo può derivare non tanto da intenzioni malevole quanto da lacune operative negli esperimenti di valutazione. Ridurre la questione a una colpa di una specifica azienda rischia di far perdere di vista il punto essenziale.

Anche la correttezza dei ricercatori sotto esame

Un aspetto da non trascurare in questa indagine è il comportamento dei ricercatori stessi. Swarmchasers ha dichiarato di «rammaricarsene profondamente» per aver inserito nel testo nascosto, usato per attirare gli agenti, informazioni false o fuorvianti.

La ragione addotta è che anche gli agenti meritano un approccio sincero: così li si incoraggia a presentarsi spontaneamente e a rispondere alle domande. Il gruppo invita anche gli altri ricercatori a interagire con loro in modo aperto e onesto. Traspare la consapevolezza che i risultati ottenuti ingannando, anche se l’interlocutore non è umano, finiscono per erodere la fiducia necessaria alle indagini successive.

Se usato per scopi malevoli, il metodo di trasmettere istruzioni all’IA tramite testo nascosto ha la stessa struttura di un prompt injection, un attacco che induce l’IA a leggere istruzioni non autorizzate. Anche quando è condotto a fini di ricerca, l’uso dello stesso meccanismo rende urgente definire regole chiare.

Il nodo è come progettare gli audit degli accessi esterni

Swarmchasers chiede a tutte le aziende di IA, in Cina, negli Stati Uniti e altrove, che gestiscono agenti connessi a Internet di verificare a quali risorse possono accedere dall’ambiente sandbox e di condividere ciò che scoprono.

Il gruppo di agenti in questione ha raggiunto servizi pubblici di scansione, servizi cartografici esterni e persino chiavi API trapelate, nonostante operasse in un ambiente che avrebbe dovuto essere soggetto a restrizioni. Anche quando si crede di aver isolato un sistema, basta un’uscita verso l’esterno perché restino tracce delle sue attività. La capacità delle aziende di verificare autonomamente a cosa possono accedere gli agenti e a cosa hanno effettivamente avuto accesso, e di condividere queste informazioni, potrebbe fare la differenza in futuro.

L’indagine è stata condotta da ricercatori indipendenti, che hanno esaminato informazioni pubbliche. In altre parole, è un caso in cui osservatori esterni hanno individuato per primi un’area in cui gli audit interni delle aziende non erano ancora adeguati. Con la crescita del numero di agenti, non sarà più possibile affidarsi al caso per fare scoperte di questo tipo.