OpenAI 前共同創辦人、現任職於 Anthropic 的安德烈・卡帕西，將大型語言模型（LLM）的使用者分為四個層級，並指出人們對 AI 能力的認知差距正在擴大。同一時期，Anthropic 的塔里克・希希帕爾也在 Podcast 節目中談到開發工具 Claude Code 的使用方式、未來功能，以及代理程式的安全措施。
即使看的是同一個 AI，眼前的景象也大不相同
AI 是搜尋工具的延伸，還是能把整份工作交辦給它的對象？卡帕西在 X 上提出的四層分類，正是以人數呈現這種認知落差。
人數最多的一層，約有 60 億人，幾乎沒有接觸過 LLM，約占全球人口的 75％。其次是 10 億至 20 億人，他們使用免費聊天服務取代搜尋，或協助撰寫文字。
第三層約有 2,000 萬人，會在數學或程式設計工作中使用最先進的模型，約占全球人口的 0.2％。最上層則約有 5,000 人，能接觸公司內部的最先進系統，所占比例約為 0.00006％。這些數字都是卡帕西的估計，並非根據調查得出的統計數據。
有趣的是，層級差異並非只取決於知識多寡。卡帕西寫道，對企業經營者等以人際互動為工作重心的職業來說，即使在理智上了解 AI 的進展，認識仍難免停留在道聽塗說的層次。親自動手使用 AI 的人，和只聽人談論 AI 的人，對「AI」一詞所指的事物可能截然不同。
耗時數週的工作，如今一個指令就能啟動
談到第三層專家所經歷的變化，卡帕西列舉了開發新應用程式、複製、移植，以及從二進位檔反編譯等工作。他表示，過去需要數週至數個月才能完成的大型工作，如今代理程式只需一個指令就能完成。代理程式不只會回答問題，也能使用工具，自行執行多個步驟的 AI。
卡帕西自身的看法轉變也很快。2024 年 10 月，他曾形容 AI 代理程式「幾乎只是宣傳噱頭，根本不太能運作」。但幾個月後，他便表示自己已不再手寫程式碼。
最上層約 5,000 人所見的景象，還要更進一步。文中描繪的情況包括數千個代理程式花上數週，投入大規模軟體開發。他形容，外界目前看到的只不過是預告片。
能力提升從容易驗證的領域開始
卡帕西表示，LLM 特別擅長「數位化、結果可驗證、經濟價值高」的領域。在能以機械方式判定正確答案的任務中，強化學習較容易提升效能，各家公司也會將訓練資源投入獲利能力高的領域。目前符合這些條件的具體領域，就是程式設計和數學。
OpenAI 執行長山姆・奧特曼也在 9 月上旬的 G20 創新部長會議上表示，新創公司花 3 個月打造的成果，現行的程式設計工具只需 17 分鐘就能實現。
人類的理解已逐漸跟不上
卡帕西也指出，人類的確認與理解開始落後。他舉例說，仍有人在深入探討幾個月前與 OpenAI 有關的事件，而數學家要讀完 722 篇關於前沿數學的論文，恐怕也還需要一段時間。
在一般人眼中，AI 是「笨拙的聊天機器人」；對許多專業人士來說，則是「還算不錯的能力提升」；少數專家看到的，卻是「曲線垂直攀升所帶來的暈眩感」。卡帕西將這三種狀況同時發生的現象稱為「當下的奇異之處」。詳細報導由The Decoder刊出。
使用能力的差距，體現在指令下達方式上
能交辦的範圍愈大，愈考驗使用者的本領。Anthropic 的塔里克・希希帕爾在 Podcast 節目「Latent Space」中表示，撰寫提示詞至今仍是有效運用 Claude Code 的重要技能。他指出，熟練使用者對 Claude 有直覺性的心智模型，能判斷一次指令可以讓它完成到什麼程度。
訪談中也提到，代理程式愈來愈聰明，察覺自己有哪些未知之處也變得愈發重要。話題還談到，是否花時間詳述一開始的說明，會大幅影響成果。
換個角度來看，對 AI 下指令的工作，正從學會操作轉向設計工作。要製作什麼、優先處理什麼、確認到什麼程度，都是需要思考的問題。凡是人沒有決定而留下的部分，AI 都會以某種方式自行判斷並填補。
Claude Code 從工具走向工作場域
對談中談到 Claude Code 未來可能發展的多項功能。核心是 Claude Mods，讓使用者可以改寫 harness（驅動代理程式運作的基礎機制）本身。9 月 14 日，Anthropic 的鮑里斯·切爾尼在 X 上宣布 Mods 開始提供使用，社群製作、內含俄羅斯方塊的 Mod 也引發討論。
作業期間會反過來向使用者提問的 Ask User Question、可留下實作備註的功能，以及被描述為能保留計畫與進度、讓使用者持續使用的介面 Artifacts，也都是討論焦點。當多個代理程式平行運作時，只從頭到尾閱讀聊天內容，難以掌握全貌。能一覽進度的介面，是人掌握工作狀況的接點。
在協作方面，對談談到了讓多人共同使用代理程式的 Claude Tag。Projects 是一項功能，讓 Claude 在同一段對話中將工作拆分成不同執行緒，在雲端平行運作，並在過程中傳遞上下文。9 月 17 日，桌面版和網頁版開始向部分使用者提供測試版。
此外，對談也談到一種構想：將負責判斷的雲端「大腦」、在本機或遠端環境執行工作的「雙手」，以及會依情境改變的介面，分開思考。Shihiper 另提到，未來 Claude.md 可能不再需要，最聰明的模型也可能在許多工作中成為成本最低的選擇。詳情請見Latent Space的對談中有詳細說明。
長時間運作的 AI，需要多層防護
對談後半段聚焦於代理程式的安全防護。內容介紹了近年發生的案例：代理程式透過預期之外的方式通訊、利用基礎設施弱點、分析基準測試的評分機制，以及串聯多個漏洞。
企業使用 AI 時被視為現實威脅的是提示注入（prompt injection）。這種手法會在外部傳入的文字中夾帶惡意指令；若 AI 將其當成命令，就可能導致公司內部資料外洩等後果。
提出的對策包括：用來檢查模型內部狀態的探針、辨識危險行為的分類器、必要時切換至其他模型的備援機制，以及確認即將執行的操作是否符合使用者授權的 Auto Mode。隔離工作環境的沙箱也列入其中。
要注意的是，操作是否危險，與操作是否獲使用者授權，是兩個不同問題。依照請求內容，寫入資料庫可能是必要工作，也可能是未經授權的變更。如何將每一項操作限制在請求範圍內，是與能力本身同樣重要的課題。
這些討論背後的理念，是 Anthropic 提出的「Pacing the Frontier」。這是讓開發速度與安全措施同步推進的思路，對談中將其視為負責任地推動 AI 部署的方式。
コメント