Asana宣布，在优化StackAI的浏览器操作AI的验证中，采用GPT‑6.1 Sol的配置，预估模型成本平均每次为0.47美元，运行时间约为4分钟。与最初的生产配置相比，成本降至约1/76，处理速度约提升至5倍。
降至1/76，并非只靠更换模型
打开网页、查找所需信息、填写表单。与只生成一次回答的AI不同，代为执行这类操作的浏览器智能体会在工作过程中多次调用模型。Asana收购的StackAI允许客户无需编写代码，就能搭建跨多个业务应用的自动化工作流程。
这组数据值得关注的一点是，约1/76的降幅同时包含了流程改进和模型更换带来的效果。即使使用最初的模型B，经过优化后，预估模型成本也从每次36.21美元以上降至1.24美元。之后再换用GPT‑6.1 Sol，成本进一步降至0.47美元。大部分降本在更换模型之前就已实现。
此外，这里所说的成本是预估的模型使用费，并不意味着包括服务器费用以及开发、运维人力成本在内的总成本也按相同比例下降。
历史记录删得太多，AI就会重新读取同一页面
负责这项研究的StackAI首席技术官Frank Hidalgo委托Codex的GPT‑6 Astra分析代码并验证改进方案。发现的问题之一是，每次向模型发起请求时，都会重新发送网页正文和截图等历史记录。固定指令等内容可以重复利用，但不断增加的浏览历史却没有采用同样的机制。
此外，系统几乎每个步骤都会删除旧图片并截短文本。频繁改写历史记录会让缓存难以发挥作用，而缓存原本可以重复利用已处理过的输入，从而降低费用。如果删除的信息过多，AI还可能重新访问已经读过的页面。原本为了缩短输入而采取的做法，反而可能增加工作量。
图片不必每次都删除，累计20张后再整理
验证中，研究人员将历史记录保留上限设为12万字和48万字，并调整缓存和图片管理策略，在4种模型上共运行了144次。所有测试使用同一项任务：从公开演示目录中收集32本书籍的各6项信息。
优化后的GPT‑6.1 Sol配置采用了先累积20张截图、再只保留最新一张的方式。与每次都删除不同，集中整理可以延长历史记录保持不变、便于重复利用的时间。
即使只比较GPT‑6.1 Sol，在扩大历史记录保留上限的条件下调整缓存和图片管理后，预估模型成本也从1.97美元降至0.47美元。优化后，89%的输入通过缓存处理，这部分的费用为普通输入的5%。发挥作用的不是单纯减少信息，而是设计出便于重复利用所保留信息的方式。
变化的不只是成本，任务完成率也有所提升
历史记录管理也会影响任务能否完成。在GPT‑6.1 Sol的测试中，保留上限较低时，18次运行中只有3次生成了回答；上限较高时，18次均生成了回答，而且结果全部正确。
不过，对于成本降至约1/76、速度提升约5倍这两项比较，需要注意其背景。最初的配置中，有些运行在完成任务前就达到了步骤数上限，因此成本36.21美元以上、耗时22.5分钟以上这两个数值只是下限。主要比较数据也只是各配置运行3次后的平均值，结果来自本次信息收集任务。不能据此断定，在其他网站或业务中也会实现相同幅度的降幅。
不同模型各有优势。优化后的模型C成本为0.66美元、耗时3.5分钟。与GPT‑6.1 Sol的0.47美元、约4分钟相比，模型C费用更高，但运行时间更短。部署时需要分别比较成本和速度。
AI负责反复实验，人类负责确认改动
此次，GPT‑6 Astra不仅提出了改进方案，还负责修改代码、执行验证，以统一实验条件。另一个模型会话对工作进行审核，请求和结果则记录在Asana的开发平台Command中。Hidalgo称，如果由人工完成，这项研究预计需要1到2个月，而实际约一周就完成了。这个时间差是负责人给出的估算，并非与人工实验进行比较后得出的结果。
这个案例表明，在考虑AI的运营成本时，除了模型单价，也值得研究调用方式和历史记录管理。Asana已将此次改动应用于StackAI的浏览器操作功能。接下来，公司计划把测试纳入评估功能，让客户和内部团队能够比较不同设置下的成本、运行时间和回答质量。
コメント