Anthropic表示，已加強防禦措施，防止他人大量竊取對話式AI「Claude」用來呈現推理過程的資訊（推理 tokens），並稱遭抽取的資訊量已減少90%至99%。除了限制推理資訊的存取，也啟用了能辨識抽取跡象的分類器，並導入自動停用相關帳號的機制。據稱，迄今已停用數萬個帳號。
如何防止他人大量存取Claude
事件起因所涉及的「蒸餾」，是指以強大AI模型的輸出作為教材，訓練另一個較小型模型的方法。這原本是將自家模型輕量化的正當技術，但也有人大量向其他公司的模型提問，再以其回答為線索，試圖完整複製模型能力。Anthropic所關切的，正是後者這種有組織的抽取行為。
Anthropic表示，攻擊方利用由數十萬個假帳號組成的網絡。每個帳號的活動都控制在看起來像一般使用者的程度，整體則藉此蒐集海量回覆。這種手法簡直可稱為「帳號海戰術」，而非人海戰術。
被鎖定的是推理 tokens，也就是模型得出答案前所經歷的內部思考步驟。如果不只取得最終答案，連思考脈絡也一併掌握，就能教另一個模型「如何思考」。打個比方，就像不只模仿一道料理的成品風味，還把整份食譜的步驟都帶走。
Anthropic採取的措施大致有三項：限制存取Claude內部的推理步驟；運作用來偵測抽取行為的分類器；以及自動停用被判定為可疑的帳號。
數據顯示措施成效，也揭示其限制
Anthropic表示，防禦措施啟用後，遭抽取的推理 tokens 數量減少了90%至99%。該公司也稱，措施上路後，蒸餾成功的案例大幅減少。雖然數字有一定落差，但其主張至少已將抽取量壓低至原本的十分之一以下。
另一個不容忽視的問題，是Anthropic承認措施帶來了副作用：正當使用者有時也會被誤判。若把排除不法行為的網子織得更密，一般使用者或企業也可能被網住。這是安全措施難以避免的宿命，AI服務也不例外。
大量使用服務的開發者，或整合自動化工具的業務系統，其行為有時看起來會與抽取跡象相似。未來，如何在防範不法行為的力度與不妨礙一般使用之間取得平衡，將左右服務的易用性。
點名企業意味著什麼
Anthropic此次點名中國企業智譜（Zhipu）與Moonshot，指稱兩者涉及相關行為。根據Anthropic的說法，智譜從美國主要模型中取得網路安全相關能力，並將其用於自家的GLM-5.3。至於Moonshot，Anthropic則指稱該公司暗中透過中介轉送對Claude的查詢。這些都是Anthropic方面的主張，本次資料中並未確認兩家公司的看法。
Anthropic還提到，遭如此抽取的能力可能流入外國的軍事與監控系統。值得注意的是，該公司將此事定位為國安問題，而不只是商業上的模仿。
另一項發展是，Anthropic呼籲其他AI開發公司也採取類似的防禦措施。若只有一家企業加強防守，其他入口仍遭人利用，效果就會打折。整個產業能否採取一致行動，將是關鍵。
生成式AI的競爭，正從打造聰明模型的較量，擴展為判斷誰以何種方式使用模型、並加以管控的較量。偵測假帳號、限制存取等看似不起眼的防禦技術，未來可能愈來愈常左右AI企業的競爭力。
コメント