Anthropic ha spiegato di aver rafforzato le difese contro i tentativi di sottrarre in massa le informazioni che mostrano il processo di ragionamento dell’AI conversazionale Claude (i token di ragionamento), riducendo del 90-99% la quantità estratta. Oltre a limitare l’accesso alle informazioni sul ragionamento, l’azienda ha attivato un classificatore che individua i segnali di estrazione e introdotto un sistema che sospende automaticamente gli account coinvolti. Finora ne sono stati sospesi decine di migliaia.
Come impedire l’accesso in massa a Claude
All’origine della vicenda c’è la «distillazione», una tecnica che consiste nell’addestrare un modello più piccolo usando come materiale didattico le risposte di un modello di AI potente. In genere è una tecnica legittima, impiegata per alleggerire i modelli della propria azienda, ma può essere usata anche per sottoporre un gran numero di domande ai modelli altrui e copiarne tutte le capacità a partire dalle risposte. È questo secondo tipo di estrazione organizzata a preoccupare Anthropic.
Secondo l’azienda, gli attaccanti utilizzano una rete composta da centinaia di migliaia di account falsi. Ciascun account viene usato con moderazione, tanto da sembrare quello di un normale utente, mentre nel complesso la rete raccoglie una quantità enorme di risposte. Più che una tattica dell’ondata umana, verrebbe da chiamarla «tattica dell’ondata di account».
Nel mirino ci sono i token di ragionamento, cioè i passaggi interni che il modello compie prima di arrivare a una risposta. Se si ottiene non solo la risposta finale, ma anche il percorso logico che l’ha prodotta, si può insegnare a un altro modello «come ragionare». Per fare un paragone con la cucina, è come portarsi via non solo il sapore del piatto finito, ma anche le istruzioni della ricetta.
Le misure adottate da Anthropic sono essenzialmente tre: limitare l’accesso ai passaggi interni del ragionamento di Claude, attivare un classificatore che rileva i tentativi di estrazione e sospendere automaticamente gli account identificati come sospetti.
L’efficacia delle misure e i loro limiti, in cifre
Anthropic afferma che, dopo l’attivazione delle difese, la quantità di token di ragionamento estratta è diminuita del 90-99%. L’azienda riferisce inoltre che, dall’avvio delle misure, il numero di distillazioni riuscite è calato nettamente. È una percentuale che indica un intervallo, ma secondo Anthropic l’estrazione è stata contenuta almeno a un decimo del livello precedente.
Un altro aspetto da non trascurare è l’effetto collaterale riconosciuto dalla stessa azienda: a volte anche utenti legittimi finiscono nel sistema di rilevamento. Più si affina la rete per bloccare gli abusi, più rischiano di rimanervi impigliate anche persone e aziende che la usano normalmente. Questa conseguenza inevitabile delle misure di sicurezza non fa eccezione nei servizi di AI.
Gli sviluppatori che fanno un uso intensivo del servizio e i sistemi aziendali che integrano strumenti di automazione possono avere comportamenti simili ai segnali di estrazione. In futuro, l’equilibrio tra la solidità delle misure anti-abuso e la possibilità di usare il servizio normalmente influirà sulla sua facilità d’uso.
Che cosa significa fare i nomi delle aziende
Questa volta Anthropic ha indicato esplicitamente le aziende cinesi Zhipu (智譜) e Moonshot come soggetti coinvolti. Secondo la ricostruzione dell’azienda, Zhipu avrebbe estratto capacità legate alla cybersicurezza dai principali modelli statunitensi e le avrebbe sfruttate per il proprio GLM-5.3. Anthropic sostiene che Moonshot avrebbe invece inoltrato di nascosto le richieste a Claude. Si tratta in entrambi i casi di affermazioni di Anthropic; nei materiali diffusi non è stato possibile verificare la posizione delle due aziende.
Anthropic ha inoltre accennato alla possibilità che le capacità sottratte in questo modo finiscano nei sistemi militari o di sorveglianza di paesi stranieri. Colpisce il fatto che l’azienda inquadri la questione non solo come una forma di imitazione commerciale, ma anche come un problema di sicurezza nazionale.
Un’altra iniziativa dell’azienda è l’invito rivolto agli altri sviluppatori di AI ad adottare difese analoghe. Se una sola azienda rafforza i propri ingressi, serve a poco se le informazioni possono essere sottratte da un’altra parte. Resta da vedere se l’intero settore riuscirà a coordinarsi.
La competizione nell’AI generativa si sta estendendo dalla sfida a chi crea il modello più intelligente a quella di capire chi lo usa e in che modo, e di controllarne l’impiego. Le tecniche di difesa meno appariscenti, come il rilevamento degli account falsi e le restrizioni di accesso, sembrano destinate a influire sempre di più sulla competitività delle aziende di AI.
コメント