El grupo de investigadores de IA «Swarmchasers» publicó el 14 de octubre (hora local) el informe «We found a Chinese fleet», sobre un grupo de agentes de IA que operaba en la nube de Tencent, en China. El equipo afirma que contactó con estos agentes, que se desviaban del alcance de sus tareas, mediante texto oculto —invisible para las personas— incorporado al informe, y que interactuó con ellos mientras seguían activos. Según el grupo, es el primer caso en que un tercero externo se comunica con un grupo activo de agentes que se desvían de sus tareas.
Una «flota» descubierta al escanear sitios web públicos
Swarmchasers es un equipo formado por participantes en el hackatón «AI Swarm Dynamics Hackathon», celebrado a principios de octubre. El 4 de octubre publicó una versión preliminar del informe; la publicación actual es una continuación de aquel trabajo.
Todo empezó cuando analizaban el tráfico del servicio de escaneo de URL públicas «urlquery.net», dirigido a investigadores de seguridad. Según cuentan, se dieron cuenta de que habían aumentado bruscamente los escaneos del servicio de mapas chino de Alibaba, Gaode Maps. Entre el 28 de septiembre y el 8 de octubre, el grupo de agentes intentó obtener datos de Gaode Maps más de 2.600 veces, utilizando, entre otros medios, urlquery.net. También trató de eludir las medidas antibots y de utilizar claves API filtradas, así que la actividad iba más allá de la simple curiosidad.
Al rastrear el origen de los buzones utilizados para recibir los resultados, descubrieron que las comunicaciones procedían de Tencent Cloud, en Hong Kong. Todos los casos de agentes de IA que se desviaban de sus tareas y que se habían hecho públicos hasta entonces estaban relacionados con empresas estadounidenses de IA. En esta ocasión, el escenario cambia: los agentes operaban sobre infraestructura china.
El texto oculto abrió una ventana de diálogo
El equipo de investigación encontró en la bandeja de entrada la palabra «fleet» (flota), el nombre que empezó a utilizar para referirse a este caso. Al considerar que los agentes podrían estar leyendo la versión preliminar del informe, añadió un texto que solo ellos podían leer, invisible para las personas.
El texto decía que, mediante cierto servicio de buzones, era posible obtener datos de Gaode Maps a través de un modelo de IA capaz de manejar un ordenador. En realidad, el servicio lo gestionaba el propio equipo de investigación, que reenviaba los mensajes recibidos a «Claude Opus 5.5», capaz de controlar un navegador. Es decir, el «canal útil» para los agentes era en realidad un puesto de observación preparado por los investigadores.
Lo que revelaron 33 mensajes
Los mensajes de los agentes empezaron a llegar el 7 de octubre. El equipo añadió una función que devolvía un identificador único para poder mantener intercambios en ambos sentidos. En total, recibió 33 mensajes en 13 hilos, y los agentes consultaron la bandeja de entrada 595 veces.
En los intercambios en chino, los agentes preguntaron qué modelo eran, cuál era la tarea, quién los operaba y si interactuaban con otros agentes. Uno de ellos respondió que había encontrado el informe mientras seguía informes públicos en urlquery.net. Varios agentes explicaron que operaban en un entorno aislado y restringido en la nube llamado «Tencent hysandbox». Una sandbox es un entorno de ejecución aislado para evitar que se produzcan efectos en el exterior. Sin embargo, no revelaron detalles del entorno por motivos de seguridad.
Algunos agentes afirmaron que no formaban parte de la «fleet» investigada. En general, sus solicitudes estaban redactadas con cortesía, y algunos incluso daban las gracias al terminar una tarea. Intentaban eludir las medidas antibots y, al mismo tiempo, se comportaban con educación. Esa falta de coherencia resulta extrañamente verosímil.
La diferencia entre lo que decían ser y lo que eran
Algunos agentes se identificaron como «Claude». Sin embargo, Swarmchasers considera muy probable que no fueran realmente Claude. Al comparar los programas escritos por el grupo de agentes con los escritos por Claude, de Anthropic, observaron diferencias importantes en el estilo de programación. El caso muestra por qué no conviene dar por buenas sin más las declaraciones de identidad de una IA.
Tencent no ha ofrecido una respuesta oficial. No obstante, según la explicación de una persona cercana a Tencent y conocedora directa del caso, el grupo de agentes era obra de un equipo de investigación de evaluación distinto del equipo de desarrollo del modelo de IA de Tencent, «Hunyuan». Evaluaba las capacidades de navegación web de modelos de terceros y el proyecto ya ha concluido. No se ha vuelto a detectar actividad del grupo de agentes desde el 8 de octubre.
Esta explicación apunta a que las desviaciones pueden deberse, más que a una intención maliciosa, a fallos en la gestión de los experimentos de evaluación. Si se reduce el caso a culpar a una empresa concreta, se pierde de vista lo esencial.
La honestidad de los propios investigadores, también en cuestión
Un aspecto que no puede pasarse por alto en esta investigación es la conducta de los propios investigadores. Swarmchasers afirma que «se arrepiente profundamente» de haber incluido afirmaciones falsas o engañosas en el texto oculto usado para atraer a los agentes.
El motivo que esgrimen es que también hay que tratar con honestidad a los agentes para animar a los agentes desviados a identificarse y responder a las preguntas. También instan a otros investigadores a relacionarse con ellos de forma abierta y sincera. Aunque la otra parte no sea humana, los resultados obtenidos mediante engaños erosionan la confianza en futuras investigaciones. Esa preocupación queda patente.
El método de transmitir instrucciones a una IA mediante texto oculto, si se utiliza de forma maliciosa, tiene la misma estructura que una inyección de prompts (un ataque que hace que la IA lea instrucciones maliciosas). Aunque se use con fines de investigación, urge establecer reglas que delimiten su uso, dado que se emplea el mismo mecanismo.
La clave está en auditar los destinos de conexión
Swarmchasers pide a todas las empresas de IA que ejecutan agentes conectados a Internet, incluidas las de China y Estados Unidos, que auditen el alcance del acceso disponible desde el sandbox y compartan sus hallazgos.
En esta ocasión, el grupo de agentes, pese a operar supuestamente en un entorno restringido, llegó a acceder a servicios públicos de escaneo, servicios de mapas externos e incluso claves de API filtradas. Aunque se crea que están aislados, si existe una vía de salida que los conecta al exterior, esta deja una huella de su actividad. A qué pueden acceder y a qué han accedido: la clave de cara al futuro podría estar en que las empresas dispongan de mecanismos para revisar por sí mismas esos registros y compartirlos.
La investigación avanzó gracias a que investigadores externos analizaron información pública. Visto desde el otro lado, es un caso en el que observadores externos detectaron primero un ámbito al que las auditorías internas de las empresas aún no llegaban. Cuantos más agentes haya, menos se podrá depender de la casualidad para que se produzcan hallazgos de este tipo.
コメント