Anthropic explique avoir renforcé ses défenses contre les tentatives visant à extraire en masse les informations qui révèlent le processus de raisonnement de son IA conversationnelle Claude — les « tokens de raisonnement » — et avoir réduit les quantités extraites de 90 à 99 %. L’entreprise indique avoir limité l’accès à ces informations, déployé un classificateur capable de repérer les signes d’extraction et mis en place un système qui suspend automatiquement les comptes concernés. Des dizaines de milliers de comptes auraient déjà été suspendus.
Comment empêcher les accès massifs à Claude
La technique au cœur du problème, la « distillation », consiste à entraîner un modèle distinct, plus petit, à partir des réponses d’un modèle d’IA puissant. Il s’agit à l’origine d’une méthode légitime permettant d’alléger ses propres modèles, mais elle peut aussi servir à poser un grand nombre de questions aux modèles d’autres entreprises, puis à s’appuyer sur leurs réponses pour en reproduire les capacités dans leur ensemble. C’est cette extraction organisée, comme dans ce second cas, qu’Anthropic considère comme problématique.
Selon l’entreprise, les auteurs de ces opérations s’appuient sur des réseaux comptant des centaines de milliers de faux comptes. Chaque compte est utilisé de manière assez modérée pour ressembler à celui d’un utilisateur ordinaire, tandis que le réseau, dans son ensemble, collecte un volume considérable de réponses. On pourrait parler d’une véritable « stratégie de saturation par les comptes ».
Ce qui est visé, ce sont les tokens de raisonnement, autrement dit les étapes internes que le modèle suit avant de parvenir à une réponse. En obtenant non seulement la réponse finale, mais aussi le cheminement qui y mène, on peut apprendre à un autre modèle « comment réfléchir ». C’est un peu comme si l’on ne se contentait pas d’imiter le goût d’un plat, mais que l’on emportait aussi la recette et toutes ses étapes.
Anthropic a adopté trois grandes mesures. Limiter l’accès aux étapes internes du raisonnement de Claude ; utiliser un classificateur pour repérer les tentatives d’extraction ; et suspendre automatiquement les comptes jugés suspects.
Ce que les chiffres révèlent sur l’efficacité des mesures — et leurs limites
Anthropic affirme que, depuis la mise en place de ses défenses, le volume de tokens de raisonnement extraits a diminué de 90 à 99 %. L’entreprise indique également que le nombre de distillations réussies a fortement chuté après le début des mesures. La fourchette est large, mais elle signifie, selon ses affirmations, que le volume a été ramené à 10 % ou moins de son niveau précédent.
Un autre effet secondaire, reconnu par l’entreprise, ne doit pas être ignoré : des utilisateurs légitimes peuvent eux aussi être pris dans les détections. Plus le filet destiné à écarter les activités frauduleuses est serré, plus les utilisateurs ordinaires et les entreprises risquent de s’y retrouver. Les services d’IA n’échappent pas à cette difficulté inhérente aux mesures de sécurité.
Les développeurs qui utilisent le service de façon intensive ou les systèmes professionnels intégrant des outils d’automatisation peuvent présenter des comportements qui ressemblent à des signes d’extraction. À l’avenir, l’équilibre entre la rigueur des mesures antifraude et la préservation des usages ordinaires pèsera sur la facilité d’utilisation du service.
Que signifient les accusations visant des entreprises nommément désignées ?
Anthropic a cette fois désigné les entreprises chinoises Zhipu (智譜) et Moonshot comme étant impliquées. Selon l’entreprise, Zhipu aurait extrait des capacités liées à la cybersécurité de grands modèles américains afin de les exploiter dans son modèle GLM-5.3. Anthropic accuse Moonshot d’avoir fait transiter secrètement des requêtes adressées à Claude. Il s’agit dans les deux cas d’accusations formulées par Anthropic ; les documents publiés cette fois-ci ne permettent pas de vérifier la position des deux entreprises.
Anthropic évoque également la possibilité que les capacités ainsi extraites soient intégrées à des systèmes militaires ou de surveillance étrangers. Ce qui retient l’attention, c’est que l’entreprise présente le problème non comme une simple imitation commerciale, mais comme un enjeu de sécurité nationale.
Autre évolution : l’entreprise appelle également les autres sociétés développant des IA à adopter des mesures de défense similaires. Car renforcer les protections d’une seule entreprise ne sert pas à grand-chose si les informations peuvent être extraites par une autre voie. La capacité du secteur à adopter une approche commune est donc en question.
La compétition dans l’IA générative ne se limite plus à concevoir des modèles intelligents : elle s’étend à la capacité de déterminer qui les utilise et de quelle manière, puis d’en contrôler les usages. Les technologies de protection, moins spectaculaires, comme la détection des faux comptes et la limitation des accès, devraient de plus en plus peser sur la compétitivité des entreprises de l’IA.
コメント