A Anthropic reforçou as defesas contra tentativas de extrair em grande escala informação sobre o processo de raciocínio do Claude, o seu sistema de IA conversacional — os chamados tokens de raciocínio — e afirma ter reduzido em 90% a 99% a quantidade extraída. Além de limitar o acesso a essa informação, implementou classificadores para detetar sinais de extração e um mecanismo que suspende automaticamente as contas em causa. Segundo a empresa, já foram suspensas dezenas de milhares de contas.
Como impedir o acesso em massa ao Claude
Na origem do problema está a «destilação», uma técnica que consiste em utilizar as respostas de um modelo de IA potente como material de treino para criar outro modelo, mais pequeno. É uma técnica legítima, usada para tornar os modelos de uma empresa mais leves, mas também pode ser utilizada para copiar as capacidades de um modelo de outra empresa, fazendo-lhe um grande número de perguntas e usando as respostas como referência. O que preocupa a Anthropic é este tipo de extração organizada.
Segundo a empresa, os atacantes recorrem a uma rede de centenas de milhares de contas falsas. Cada conta é usada de forma suficientemente moderada para parecer pertencer a um utilizador normal, enquanto a rede, no seu conjunto, recolhe um volume enorme de respostas. É uma tática que quase apetece chamar «enxame de contas».
O alvo são os tokens de raciocínio, ou seja, os passos internos de pensamento que o modelo percorre até chegar a uma resposta. Se, além da resposta final, for possível obter também a linha de raciocínio, é possível ensinar outro modelo a «pensar» da mesma forma. É como se, em vez de imitar apenas o sabor do prato, alguém levasse também a receita com todos os passos.
As medidas adotadas pela Anthropic dividem-se em três grandes categorias: limitar o acesso aos passos internos de raciocínio do Claude; utilizar classificadores para detetar tentativas de extração; e suspender automaticamente as contas identificadas como suspeitas.
O que os números revelam sobre a eficácia das medidas — e os seus limites
A Anthropic afirma que, depois de as defesas entrarem em funcionamento, a quantidade de tokens de raciocínio extraídos diminuiu entre 90% e 99%. A empresa diz também que o número de destilações bem-sucedidas caiu significativamente após o início das medidas. Os valores variam, mas a alegação é que a quantidade foi reduzida para, no máximo, um décimo.
Outro efeito secundário, que a própria empresa reconhece, não deve ser ignorado: por vezes, também os utilizadores legítimos são apanhados pelos sistemas de deteção. Quanto mais apertada for a rede usada para bloquear abusos, maior é o risco de nela ficarem presos também pessoas e empresas que usam o serviço normalmente. Esta inevitabilidade das medidas de segurança não é diferente nos serviços de IA.
Os programadores que fazem uma utilização intensiva do serviço e os sistemas empresariais que integram ferramentas de automatização podem apresentar comportamentos semelhantes aos sinais de extração. Daqui para a frente, o equilíbrio entre a robustez das medidas contra abusos e uma utilização que não prejudique os utilizadores normais deverá influenciar a facilidade de utilização do serviço.
O que significa a acusação que identifica empresas pelo nome
Desta vez, a Anthropic identificou nominalmente as empresas chinesas Zhipu (智譜) e Moonshot como estando envolvidas. Segundo a empresa, a Zhipu terá extraído capacidades relacionadas com a cibersegurança dos principais modelos dos EUA para as utilizar no seu GLM-5.3. Quanto à Moonshot, a Anthropic acusa-a de encaminhar secretamente pedidos para o Claude. Trata-se, em ambos os casos, de alegações da Anthropic; os pontos de vista das duas empresas não foram confirmados nos documentos divulgados desta vez.
A Anthropic refere ainda a possibilidade de as capacidades extraídas desta forma acabarem em sistemas militares ou de vigilância estrangeiros. É significativo que a empresa enquadre a questão não apenas como uma forma de imitação comercial, mas também como um problema de segurança nacional.
Numa outra iniciativa, a empresa apelou também a outras empresas de desenvolvimento de IA para que adotem medidas de defesa semelhantes. Afinal, de pouco serve uma empresa reforçar as suas próprias portas se as capacidades puderem ser extraídas por outra entrada. Está em causa a possibilidade de o setor agir em conjunto.
A competição na IA generativa está a alargar-se: já não se trata apenas de criar modelos inteligentes, mas também de perceber quem os utiliza e de que forma, e de controlar essa utilização. É provável que tecnologias de defesa menos vistosas, como a deteção de contas falsas e a limitação do acesso, venham a ter um peso crescente na competitividade das empresas de IA.
コメント