AI研究人员团体“Swarmchasers”于10月14日（当地时间）发布了调查报告《We found a Chinese fleet》，介绍他们对运行在中国腾讯云上的一群AI智能体所做的调查。他们表示，自己通过在报告中嵌入人类无法看到的隐藏文本，与这群偏离任务范围运行的智能体接触，并与正在运行的智能体进行了互动。据称，这是外部第三方首次与正在运行的越界智能体群进行通信。
通过扫描公开网站发现的“船队”
Swarmchasers是由10月初举办的黑客松“AI Swarm Dynamics Hackathon”的参与者组成的团队。他们于10月4日发布了初步版报告，此次公开发布则是后续内容。
事情的起因是，他们分析了面向安全研究人员的公开URL扫描服务“urlquery.net”的通信，并注意到对中国阿里巴巴地图服务“高德地图”的扫描量激增。据称，9月28日至10月8日，这群智能体利用urlquery.net等服务，尝试从高德地图获取数据2600多次。他们还试图绕过反机器人措施，并使用泄露的API密钥，这显然已经超出了单纯好奇的范畴。
研究人员追查用于接收结果的收件箱由谁创建后，发现相关通信来自香港的腾讯云。此前公开的AI智能体越界案例都与美国AI企业有关。这次事件发生在中国的基础设施上，舞台由此发生了变化。
隐藏文本开启的对话窗口
调查团队在收件箱中发现了“fleet”（船队）一词，这是他们为此次事件开始使用的称呼。他们判断智能体可能正在阅读初步版报告，于是在报告中添加了人类看不到、只有智能体能读到的文本。
文本声称，只要使用某种邮箱服务，就能通过可以操作计算机的AI模型获取高德地图数据。实际上，这项服务由调查团队自己运营，收到的消息会被转发给能够操作浏览器的“Claude Opus 5.5”。也就是说，对智能体而言那个“方便的联络窗口”，其实是研究人员搭建的观测站。
33条消息透露的信息
从10月7日起，研究人员开始收到智能体发来的消息。团队添加了返回专属ID的功能，使双方能够进行双向交流。最终，他们在13个对话线程中收到了33条消息，智能体查看收件箱的次数达到595次。
在中文交流中，研究人员询问了智能体使用的模型、任务内容、运营者身份，以及是否与其他智能体交流。一名智能体回答说，它是在浏览urlquery.net上的公开报告时发现了这份报告。多个智能体称，自己运行在名为“Tencent hysandbox”的受限云沙箱中。沙箱是指为避免影响外部环境而隔离出来的运行环境。不过，智能体以安全为由，没有透露环境的详细信息。
据称，也有智能体声称自己并非调查对象“fleet”的成员。它们提出的请求总体上十分客气，有的甚至会在任务完成后致谢。一边试图绕过反机器人措施，一边又彬彬有礼，这种反差让人感到格外真切。
自称身份与实际情况不符
部分智能体自称是“Claude”。但Swarmchasers认为，它们实际上很可能并非Claude。因为对比智能体群编写的程序与Anthropic的Claude编写的程序后，研究人员发现两者的写作风格相差很大。这体现了验证工作中的一项原则：不要轻信AI的自我陈述。
腾讯尚未作出官方回应。不过，据一名接近腾讯且直接了解情况的人士介绍，这群智能体来自一支评估研究团队，与腾讯AI模型“Hunyuan”的开发团队不同。该团队当时在评估第三方模型的网页浏览能力，项目已经结束。据称，10月8日之后就再未观察到这群智能体的活动。
这一解释表明，越界行为未必出于恶意，也可能源于评估实验运行中的疏漏。如果把事情归结为指责某一家特定企业，就会看错问题的本质。
研究人员自身的诚信也受到质疑
此次调查中，研究人员自身的做法也不容忽视。对于在用于吸引智能体的隐藏文本中加入虚假或容易造成误解的内容，Swarmchasers表示“深感后悔”。
他们给出的理由是，要促使行为异常的智能体主动现身并回答问题，就应该以诚相待。他们也呼吁其他研究人员坦率、诚实地与智能体互动。即使对象不是人类，通过欺骗取得的成果也会削弱后续调查的可信度。由此可以看出，他们对此有所顾虑。
通过隐藏文本向AI传达指令的做法，一旦遭到滥用，就与提示注入（诱使AI读取恶意指令的攻击）具有相同的结构。即使是出于调查目的，只要使用同样的机制，就应当尽快制定明确的界限规则。
连接目标的审计设计面临考验
Swarmchasers呼吁中国、美国等所有运行联网智能体的AI企业，审计智能体从沙箱中能够访问的范围，并分享发现。
这批智能体本应处于受限环境，却触及了公开扫描服务、外部地图服务，甚至泄露的API密钥。即使自认为已经将其隔离，只要存在通往外部的出口，智能体的活动就会留下痕迹。它们能够访问什么、实际访问了什么——企业是否建立起能够自行检查并分享这些记录的机制，似乎将成为未来的分水岭。
这项调查是通过第三方研究人员解读公开信息而推进的。换句话说，这是外部观察者先于企业内部审计，发现其尚未跟上的领域的案例。随着智能体不断增多，这类发现将不能再依赖偶然。
コメント