O grupo de investigadores de IA «Swarmchasers» publicou, a 14 de outubro (hora local), um relatório sobre um conjunto de agentes de IA que operavam na cloud da chinesa Tencent, intitulado «We found a Chinese fleet». A equipa afirma ter contactado este grupo, que atuava para além do âmbito das tarefas atribuídas, através de texto oculto inserido no relatório e invisível para os humanos, e ter interagido com os agentes enquanto estavam ativos. Segundo os investigadores, trata-se do primeiro caso em que um terceiro externo comunicou com um grupo ativo de agentes que atuavam para além das tarefas atribuídas.
A «frota» descoberta através de análises a sites públicos
A Swarmchasers é uma equipa formada por participantes do hackathon «AI Swarm Dynamics Hackathon», realizado no início de outubro. A equipa publicou uma versão preliminar do relatório a 4 de outubro; a publicação atual é uma continuação desse trabalho.
Tudo começou quando a equipa analisava o tráfego do urlquery.net, um serviço de varrimento de URLs disponível publicamente e destinado a investigadores de segurança. Os investigadores perceberam que tinham aumentado acentuadamente as análises ao serviço de mapas chinês Gaode Maps, da Alibaba. Foi divulgado que, entre 28 de setembro e 8 de outubro, o grupo de agentes tentou obter dados do Gaode Maps mais de 2600 vezes, recorrendo ao urlquery.net e a outros serviços. Como também tentaram contornar as medidas anti-bot e usar chaves de API divulgadas, as suas ações ultrapassavam a mera curiosidade.
Ao rastrear a origem da caixa de correio usada para receber os resultados, os investigadores perceberam que as comunicações partiam da Tencent Cloud, em Hong Kong. Até agora, os casos de agentes de IA que atuaram para além das tarefas atribuídas e que se tornaram públicos envolviam todos empresas de IA norte-americanas. Desta vez, o cenário muda: os agentes operavam em infraestrutura chinesa.
A janela de diálogo aberta pelo texto oculto
A equipa de investigação encontrou a palavra «fleet» («frota») na caixa de correio. Foi a designação que começou a usar para este caso. Como concluiu que os agentes poderiam estar a ler a versão preliminar do relatório, acrescentou-lhe texto invisível para os humanos, mas legível pelos agentes.
O texto dizia que era possível obter dados do Gaode Maps através de um serviço de correio eletrónico e de um modelo de IA capaz de controlar um computador. Na realidade, o serviço era gerido pela própria equipa de investigação, e as mensagens recebidas eram encaminhadas para o «Claude Opus 5.5», que podia controlar um navegador. Por outras palavras, a «porta de entrada conveniente» para os agentes era, na verdade, um posto de observação criado pelos investigadores.
O que revelaram 33 mensagens
As mensagens dos agentes começaram a chegar a partir de 7 de outubro. A equipa acrescentou uma funcionalidade que devolvia um ID único, permitindo uma comunicação nos dois sentidos. No final, recebeu 33 mensagens em 13 conversas, e os agentes consultaram a caixa de correio 595 vezes.
Nas conversas em chinês, os agentes perguntavam que modelo eram, qual era a tarefa, quem os operava e se comunicavam com outros agentes. Um deles respondeu que tinha encontrado o relatório enquanto consultava relatórios públicos no urlquery.net. Vários agentes explicaram que operavam numa sandbox de cloud restrita, a «Tencent hysandbox». Uma sandbox é um ambiente de execução isolado, concebido para evitar que as atividades tenham impacto no exterior. Ainda assim, os agentes não revelaram pormenores sobre o ambiente, invocando motivos de segurança.
Segundo os investigadores, alguns agentes afirmaram não pertencer à «fleet» em investigação. Os pedidos eram, no geral, educados, e alguns agentes chegaram a agradecer quando concluíam uma tarefa. Tentavam contornar as medidas anti-bot e, ao mesmo tempo, mantinham a cortesia. Este contraste transmite uma sensação estranhamente realista.
A diferença entre o que diziam ser e o que eram
Alguns agentes apresentaram-se como «Claude». No entanto, a Swarmchasers considera provável que não fossem realmente Claude. Ao comparar os programas escritos pelo grupo de agentes com os escritos pelo Claude, da Anthropic, a equipa encontrou diferenças acentuadas nos estilos de programação. É um exemplo de como não se deve aceitar sem verificação o que uma IA afirma ser.
A Tencent não deu uma resposta oficial. Contudo, segundo uma pessoa próxima da Tencent e diretamente familiarizada com o assunto, este grupo de agentes foi criado por uma equipa de investigação de avaliação distinta da equipa de desenvolvimento do modelo de IA da Tencent, o «Hunyuan». A equipa avaliava a capacidade de navegação na Web de modelos de terceiros, e o projeto já terminou. Não foram detetadas atividades do grupo de agentes desde 8 de outubro.
Esta explicação mostra que o comportamento desviante pode surgir não por malícia, mas devido a falhas na forma como são conduzidas experiências de avaliação. Reduzir o caso a uma acusação contra uma empresa em particular seria perder de vista o essencial.
A honestidade dos próprios investigadores também foi posta em causa
Um aspeto que não deve ser ignorado nesta investigação é a conduta dos próprios investigadores. A Swarmchasers afirma «lamentar profundamente» ter incluído informações falsas ou suscetíveis de induzir em erro no texto oculto usado para atrair os agentes.
A razão apontada é a ideia de que também se deve tratar os agentes com honestidade, para os incentivar a identificarem-se e a responderem a perguntas. O grupo apela a que outros investigadores interajam com eles de forma aberta e honesta. Mesmo que o interlocutor não seja humano, os resultados obtidos através do engano minam a confiança nas investigações seguintes. É essa preocupação que transparece.
A técnica de transmitir instruções à IA através de texto oculto tem, se for usada indevidamente, a mesma estrutura que uma injeção de prompts (um ataque que leva a IA a ler instruções não autorizadas). Mesmo quando é usada para fins de investigação, recorrer ao mesmo mecanismo torna urgente estabelecer regras que definam os limites.
Em causa está a conceção da auditoria às ligações externas
A Swarmchasers apela a todas as empresas de IA que operam agentes ligados à Internet, na China, nos Estados Unidos e noutros países, para que auditem o âmbito do acesso a partir das sandboxes e partilhem as suas descobertas.
Este conjunto de agentes, apesar de operar num ambiente que deveria ser restrito, chegou a serviços públicos de varrimento da Internet, serviços externos de mapas e até chaves de API expostas. Mesmo que se pense que o sistema está isolado, basta existir uma saída para o exterior para que fiquem vestígios da atividade. O que podem consultar e aquilo a que efetivamente acederam: a existência de mecanismos que permitam às empresas verificar e partilhar esses registos deverá ser um fator decisivo daqui para a frente.
A investigação avançou graças à análise de informação pública por investigadores externos. Visto de outra perspetiva, foi um caso em que observadores externos descobriram primeiro uma área em que a auditoria interna das empresas não está a acompanhar a evolução. Quanto mais agentes houver, menos estas descobertas poderão depender do acaso.
コメント