OpenAI前联合创始人、现任职于Anthropic的安德烈·卡帕西，将大语言模型（LLM）用户分为四个层级，并指出人们对AI能力的认知差距正在扩大。与此同时，Anthropic的塔里克·希希帕尔在播客中谈到了开发工具Claude Code的使用方法、未来功能以及智能体的安全措施。
即使面对同一种AI，人们看到的景象也不一样
AI究竟只是搜索的延伸，还是可以把整项工作托付给它的对象？卡帕西在X上提出的四层分类，用人数体现了这种认知分歧。
人数最多的一层，是几乎从未接触过LLM的约60亿人，约占世界人口的75%。其上一层有10亿至20亿人，他们使用免费的聊天服务来代替搜索，或辅助写作。
第三层是约2,000万名在数学或编程工作中使用前沿模型的人，约占世界人口的0.2%。最顶层则是约5,000名能够接触公司内部前沿系统的人，比例约为0.00006%。这些数字都是卡帕西的估算，并非基于调查得出的统计数据。
有意思的是，层级差异并不单纯取决于知识多少。卡帕西写道，对于管理者这类以人际交流为工作核心的职业来说，即使他们理性上理解AI的进步，也往往只能停留在听说的层面。亲自动手使用AI的人和只是听说AI的人，对“AI”一词的理解可能大相径庭。
耗时数周的工作，如今一个指令就能启动
谈到第三层的专业人士所体验到的变化时，卡帕西列举了新开发应用、复制应用、移植应用，以及从二进制文件反编译等工作。他表示，过去需要数周到数月才能完成的大型任务，如今智能体只需一个指令就能完成。智能体不仅能回答问题，还能使用工具，自行推进多个步骤。
卡帕西本人对AI的看法也迅速发生了变化：2024年10月，他还将AI智能体称为“基本只是宣传噱头，根本不好用”。几个月后，他表示自己已经不再手写代码。
最顶层的约5,000人看到的景象更加超前。比如，数千个智能体花数周时间参与大型软件开发。卡帕西称，外界目前看到的不过是这场变革的预告片。
能力提升始于易于验证的领域
卡帕西表示，LLM在“数字化、结果可验证、经济价值高”的领域尤其强大。对于能够由机器判定正误的任务，强化学习更容易提升模型性能；各家公司也会把训练资源投入盈利能力强的领域。目前符合这些条件的具体领域是编程和数学。
OpenAI首席执行官萨姆·奥特曼也在9月上旬举行的G20创新部长会议上表示，初创公司花3个月做出的成果，现有的编程工具只需17分钟就能实现。
人类的理解力已经跟不上了
卡帕西还指出，人类的核查和理解开始落后于AI的发展。他举例说，有些人至今仍在深入研究几个月前与OpenAI有关的事件；而数学家要读完关于前沿数学的722篇论文，恐怕也需要一段时间。
在普通人看来，AI是“笨拙的聊天机器人”；在许多专业人士看来，它只是“适度提升了能力”；而在少数专家眼中，它带来的是“曲线垂直攀升般的眩晕感”。卡帕西将这三种情况同时发生的状态称为“当下的奇异之处”。详细内容见The Decoder的报道。
使用能力的差距，体现在如何下达指令上
AI能够承担的工作范围越广，对使用者能力的要求就越高。Anthropic的塔里克·希希帕尔在播客《Latent Space》中表示，撰写提示词如今仍是有效使用Claude Code的一项重要技能。他说，熟练用户对Claude有一套直觉性的认知模型，能够判断一次指令可以让它完成到什么程度。
访谈还提到，随着智能体变得更聪明，意识到自己有哪些未知之处也会变得更加重要。对最初的说明是否投入时间，可能会对结果产生很大影响。
换个角度看，向AI下达指令，正从学习如何操作逐渐转向设计工作。要做什么、优先做什么、核查到什么程度——凡是人没有作出决定的部分，AI都会以某种方式自行判断并填补。
Claude Code：从工具到工作空间
访谈中谈到了Claude Code未来可能具备的多项功能。核心是Claude Mods：用户可以自行改写Harness（驱动智能体运行的底层机制）。9月14日，该公司员工鲍里斯·切尔尼在X上宣布Mods开始提供，社区制作的内置俄罗斯方块游戏的Mod也引发了关注。
此外，访谈还谈到了Ask User Question（在工作过程中向用户提问）、记录实现过程备忘的功能，以及Artifacts——据介绍，这是一个能够保留计划和进度、让用户继续开展工作的界面。多个智能体并行运行时，只从上往下阅读聊天记录，很难掌握全貌。能够一览进展的界面，便成为人们了解工作情况的一个窗口。
在协作方面，访谈提到了供多人使用智能体的Claude Tag。Projects则是一项功能：Claude会在一次对话中把工作拆分成多个线程，在云端并行运行，并通过传递上下文来推进工作。9月17日，该功能开始面向部分用户在桌面版和网页版进行测试。
访谈还谈到了这样一种构想：将负责判断的云端“头脑”、在本地或远程环境中执行工作的“手”，以及根据情况变化的界面分别看待。希希帕尔还提到，Claude.md未来可能不再必要，而最智能的模型也可能在许多任务中成为成本最低的选择。详情请见Latent Space的访谈。
长时间运行的AI需要层层防护
访谈后半部分主要讨论智能体的安全措施。节目介绍了近年来的一些案例：智能体通过意料之外的方式通信、利用基础设施的弱点、分析基准测试的评分机制，以及将多个漏洞串联起来。
对企业使用的AI来说，提示注入被视为一种现实威胁。这种手法会在外部传来的文本中夹带恶意指令；如果AI将其当作命令执行，就可能导致公司内部数据泄露等问题。
访谈提到的应对措施包括：用于检查模型内部状态的探针、用于识别危险行为的分类器、必要时切换到其他模型的回退机制，以及用于确认即将执行的操作是否符合用户授权的Auto Mode。隔离工作环境的沙箱也属于其中一种措施。
需要注意的是，操作是否危险，与操作是否经过用户许可，是两个不同的问题。根据请求内容，写入数据库既可能是必要工作，也可能是未经授权的修改。如何设计机制，将每项操作限制在请求范围内，重要性不亚于AI本身的能力。
这些讨论的背景，是Anthropic提出的“Pacing the Frontier”。这一理念主张让开发速度与安全措施同步推进；访谈将其作为负责任地部署AI的一种方式进行了讨论。
コメント