AI助手记忆能力测试：检索优于完整输入历史记录，GPT-4o mini成功率达88.9%

一项比较让AI助手拥有“记忆”的4种方法的测试，刊登于数据科学媒体Towards Data Science。测试使用一名虚构项目经理约4万token的历史记录和30项请求。结果显示，GPT-4o mini的任务成功率在完整提供历史记录的方式下为58.3%，而在仅检索并提供所需部分的方式下为88.9%。

“记得”与“能用”是两回事

这项验证以衡量AI记忆能力的新测试“DolphinBench”为起点。全文可在这篇验证文章中阅读。

许多传统记忆测试会直接询问过去的事实，比如“萨姆喜欢的咖啡店是哪家”。不过，DolphinBench的作者认为，问题本身会暗示“答案记录在某处”。因此，这项测试会让AI完成“点一杯咖啡”这样的任务，以确认它是否用对了相关事实。

测试设计为让3名虚构人物各自拥有约50万个token的对话历史，并为每人布置200项请求。结果除了准确率，还必须同时报告费用和耗时。

这项测试由一家销售记忆系统Mem0的公司开发。该公司公布的结果显示，其方案成功完成了70.67%的请求，位居榜首。进行验证的作者既没有复现DolphinBench，也没有测试特定公司的产品，而是只借鉴了其思路，自行设计了一项小规模实验。

用虚构项目经理达娜测试的4种记忆方法

实验主角是虚构的项目经理达娜·惠特菲尔德。研究者准备了她一整年的80段对话历史，并在其中设置了一些考验。

一年的历史记录和30项请求

历史记录约有4万个token。其中30段各自提到一项事实，例如常去的午餐店、会议时间、项目发布日期或负责人。另有11段内容会在之后更改这些事实，剩下的39段则是关于打印机、火车、天气等闲聊。为了不让事实过于显眼，研究者特意混入了日常对话。

请求共30项，要求调用工具来安排会议、订餐、发送消息或分配任务。其中9项需要用到两项事实，例如负责人和日期。评分时不看回复文本，只判断传给工具的值是否正确。研究者还针对同一事实各设置了一道常规问题，查看模型能否根据最新值作答。

比较的4种方式

共有4种方式：不提供任何信息的“无记忆”；每次都完整提供4万个token历史记录的“完整历史”；逐步阅读历史记录、反复改写约1,000词摘要的“摘要”；以及检索并提供与请求最相关的5段历史记录的“检索”。

打个比方，区别就在于：是每天早上把一整年的日记交给模型，是给它一张别人整理好的小抄，还是每次收到请求时只抽出相关页面。

测试模型为OpenAI的GPT-4o mini和Anthropic的Claude Haiku 4.5，总计运行1,260次。所有实验记录都保存在实验管理工具Weights & Biases中。