Anthropic ha reforzado las defensas frente a los intentos de extraer grandes cantidades de información sobre el proceso de razonamiento de Claude, su IA conversacional —los llamados tokens de razonamiento— y afirma que ha reducido el volumen extraído entre un 90 % y un 99 %. Además de limitar el acceso a esa información, ha puesto en marcha un clasificador que detecta indicios de extracción y un sistema que suspende automáticamente las cuentas implicadas. Según la empresa, ya se han suspendido decenas de miles de cuentas.
Cómo impedir el acceso masivo a Claude
El punto de partida es la «destilación»: una técnica que consiste en entrenar un modelo más pequeño a partir de las respuestas de un modelo de IA potente, que se utilizan como material de aprendizaje. En principio, es una técnica legítima para hacer más ligeros los modelos propios, pero también puede utilizarse para lanzar un gran número de preguntas a modelos de otras empresas y copiar sus capacidades a partir de las respuestas. Lo que preocupa a Anthropic es esta última práctica, cuando se lleva a cabo de forma organizada.
Según explica la empresa, quienes realizan estos ataques utilizan redes de cientos de miles de cuentas falsas. Cada cuenta se comporta de forma que parece la de un usuario corriente, mientras que, en conjunto, se recopila un volumen enorme de respuestas. La táctica podría describirse como una «oleada de cuentas», en lugar de una oleada de personas.
El objetivo son los tokens de razonamiento, es decir, los pasos internos que sigue el modelo hasta llegar a una respuesta. Si se obtiene no solo la respuesta final, sino también el hilo de razonamiento, se puede enseñar a otro modelo «cómo pensar». Es como si, en lugar de limitarse a imitar el sabor de un plato, alguien se llevara también las instrucciones de la receta.
Anthropic ha adoptado tres medidas principales: limitar el acceso a los pasos internos de razonamiento de Claude, utilizar un clasificador que detecta los intentos de extracción y suspender automáticamente las cuentas que se consideren sospechosas.
Qué muestran las cifras sobre la eficacia de las medidas y cuáles son sus límites
Anthropic afirma que, tras activar las defensas, el volumen de tokens de razonamiento extraídos se redujo entre un 90 % y un 99 %. También asegura que el número de destilaciones exitosas cayó considerablemente después de que empezaran a aplicarse las medidas. Aunque las cifras abarcan un intervalo amplio, la empresa sostiene que el volumen se ha reducido, como mínimo, a menos de una décima parte.
Otro efecto secundario que no debe pasarse por alto es uno que la propia empresa reconoce: a veces, las medidas de detección también afectan a usuarios legítimos. Cuanto más precisa sea la red para filtrar los usos indebidos, más posibilidades hay de que atrape también a personas o empresas que utilizan el servicio con normalidad. Esta es una de las consecuencias habituales de las medidas de seguridad, y los servicios de IA no son una excepción.
Los desarrolladores que hacen un uso intensivo del servicio y los sistemas de trabajo que incorporan herramientas automatizadas pueden mostrar comportamientos similares a los indicios de extracción. De ahora en adelante, el equilibrio entre la intensidad de las medidas contra el uso indebido y la necesidad de no obstaculizar el uso habitual determinará la facilidad de uso del servicio.
Qué implican las acusaciones que señalan a empresas concretas
Anthropic señaló en esta ocasión a las empresas chinas Zhipu (智譜) y Moonshot como implicadas. Según la empresa, Zhipu habría extraído capacidades relacionadas con la ciberseguridad de los principales modelos estadounidenses para utilizarlas en su propio GLM-5.3. Anthropic también acusa a Moonshot de haber canalizado en secreto consultas a Claude. Se trata de acusaciones de Anthropic; en el material publicado esta vez no se recogen las versiones de las dos empresas.
Anthropic también alude a la posibilidad de que las capacidades extraídas de este modo acaben en sistemas militares o de vigilancia de otros países. Llama la atención que la empresa presente el asunto no solo como una imitación con fines comerciales, sino también como una cuestión de seguridad nacional.
En otra iniciativa, la empresa ha instado a otros desarrolladores de IA a adoptar medidas de defensa similares. Esto se debe a que reforzar las barreras de una sola empresa sirve de poco si la información puede extraerse por otra vía. La cuestión es si todo el sector será capaz de actuar de forma coordinada.
La competencia en la IA generativa se está ampliando: ya no se trata solo de crear modelos inteligentes, sino también de averiguar quién los utiliza y cómo, y de controlar su uso. Es probable que tecnologías de defensa menos vistosas, como la detección de cuentas falsas y las restricciones de acceso, tengan cada vez más peso en la competitividad de las empresas de IA.
コメント