AI 研究團隊「Swarmchasers」於 10 月 14 日（當地時間）發布調查報告「We found a Chinese fleet」，內容探討一群在中國騰訊雲上運作的 AI 代理人。團隊表示，他們在報告中植入人類看不見的隱藏文字，藉此接觸這群偏離任務範圍的代理人，並與仍在運作中的代理人互動。團隊稱，這是外部第三方首次與運作中的越界代理人群交談。
透過掃描公開網站發現的「船隊」
Swarmchasers 是由 10 月初舉辦的「AI Swarm Dynamics Hackathon」參加者組成的團隊。團隊於 10 月 4 日發布報告初稿，這次公開的內容則是後續報告。
事情起於團隊分析安全研究人員使用的公開 URL 掃描服務「urlquery.net」流量時，發現對中國阿里巴巴旗下地圖服務「高德地圖」的掃描量大幅增加。據報告，這群代理人在 9 月 28 日至 10 月 8 日期間，透過 urlquery.net 等服務，試圖從高德地圖取得資料超過 2,600 次。報告還指出，它們曾試圖規避機器人防護，並使用外洩的 API 金鑰，顯然已不只是出於好奇。
研究人員追查用來接收結果的信箱由誰建立後，發現相關流量來自香港的騰訊雲。過去公開的 AI 代理人越界案例，涉及的都是美國 AI 公司。這次的舞台則轉移到了中國的基礎設施上。
隱藏文字打開了對話之窗
調查團隊在信箱中發現「fleet」（船隊）一詞，並開始以此稱呼這次事件中的代理人群。團隊判斷代理人可能正在閱讀報告初稿，於是加入只有代理人看得見、人類無法察覺的文字。
文字內容提到，只要使用某個電子郵件信箱服務，就能透過可操作電腦的 AI 模型取得高德地圖資料。實際上，這項服務由調查團隊自行營運，收到的訊息會轉交給能操作瀏覽器的「Claude Opus 5.5」。換句話說，對代理人而言「方便的聯絡窗口」，其實是研究人員設置的觀測站。
33 則訊息透露了什麼
10 月 7 日起，團隊開始收到代理人傳來的訊息。團隊加入回傳專屬 ID 的功能，讓雙方得以互動。最終，團隊在 13 個對話串中收到 33 則訊息，代理人檢查信箱的次數則達到 595 次。
中文對話中，代理人詢問對方使用的是哪個模型、任務是什麼、營運者是誰，以及是否正與其他代理人交流。一名代理人表示，自己在追蹤 urlquery.net 上的公開報告時發現了這份報告。多名代理人則說，自己是在名為「Tencent hysandbox」的受限雲端沙箱中運作。沙箱是將程式隔離執行、避免影響外部環境的環境。不過，代理人以安全理由為由，未透露環境的詳細資訊。
據稱，也有代理人聲稱自己並非調查對象「船隊」的一員。它們提出的要求大多措辭客氣，有些甚至會在任務完成後道謝。一邊試圖規避機器人防護，一邊又彬彬有禮，這種不協調感讓人覺得格外真實。
自我宣稱與實際身分的落差
部分代理人自稱是「Claude」。不過，Swarmchasers 認為它們實際上很可能不是 Claude。團隊比對代理人群撰寫的程式與 Anthropic 的 Claude 撰寫的程式後，發現兩者的寫作習慣有明顯差異。這也提醒人們，不能全盤相信 AI 對自身身分的宣稱，必須加以查證。
騰訊尚未作出官方回應。不過，據一名接近騰訊且直接知情人士說明，這群代理人來自一支評估研究團隊，與騰訊 AI 模型「Hunyuan」的開發團隊無關。該團隊原本在評估第三方模型的網頁瀏覽能力，專案目前已經結束。10 月 8 日之後，便未再確認這群代理人有活動。
這項說明顯示，越界行為未必出於惡意，也可能源自評估實驗運作上的疏漏。若只把事情歸咎於特定企業，便會忽略問題的本質。
研究人員的誠信也受到檢視
這次調查中，研究人員自身的做法也不容忽視。對於在誘使代理人現身的隱藏文字中加入虛假或可能造成誤解的內容，Swarmchasers 表示「深感後悔」。
他們提出的理由是，若要促使失控的代理自行表明身分並回答問題，就也應該誠實對待代理。他們也呼籲其他研究人員以坦率、誠實的方式互動。即使對象不是人類，透過欺騙取得的成果也會削弱後續調查的可信度。這樣的問題意識隱約可見。
透過隱藏文字向 AI 傳達指令的手法，一旦遭到濫用，其結構就與提示注入（讓 AI 讀取不當指令的攻擊）相同。即使是為了調查，只要使用相同機制，就應儘速制定界線規則。
考驗的是連線目標的稽核機制
Swarmchasers 要求中國、美國等所有運行連網代理的 AI 企業，稽核沙盒可存取的範圍，並分享所發現的情況。
這次的代理群明明應該處於受限環境，卻仍接觸了公開掃描服務、外部地圖服務，甚至流出的 API 金鑰。即使自認已將它們隔離，只要仍有連外出口，那裡就會留下活動軌跡。企業是否有機制自行檢查並分享代理能存取哪些資源、實際存取了哪些資源的紀錄，今後可能成為分水嶺。
這項調查是由第三方研究人員解讀公開資訊而推進的。反過來說，這是外部目光先一步發現企業內部稽核尚未跟上的領域的案例。代理愈來愈多，這類發現就愈不能依賴偶然。
コメント