Asana宣布，在一項最佳化 StackAI 瀏覽器操作 AI 的驗證中，採用 GPT‑6.1 Sol 的配置，估計每次模型成本平均為 0.47 美元，執行時間約 4 分鐘。與最初的正式環境配置相比，成本降至約 1/76，處理速度則提升約 5 倍。
成本降至1/76，不只是換了模型的成果
開啟網頁、尋找所需資訊，再填寫表單。代辦這類操作的瀏覽器代理與只生成一次答案的 AI 不同，會在執行工作時多次呼叫模型。Asana 收購的 StackAI，讓客戶無須撰寫程式碼，就能組合跨多種業務應用程式的自動化流程。
這組數字值得留意之處，在於約 1/76 的降幅同時包含流程改善與模型更換的效果。即使使用最初採用的模型 B，經過最佳化後，估計每次模型成本也從 36.21 美元以上降至 1.24 美元。接著改用 GPT‑6.1 Sol，成本進一步降至 0.47 美元。大部分的成本降幅在更換模型之前就已實現。
此外，這裡所說的成本是模型使用費的估算值，並不代表包含伺服器費用及開發、營運人力成本在內的總支出也以相同比例下降。
過度刪減歷史紀錄，AI可能會重新讀取同一頁面
負責這項調查的 StackAI 技術長 Frank Hidalgo 表示，他請 Codex 的 GPT‑6 Astra 分析程式碼並驗證改善方案。發現的問題之一是，每次向模型提出請求時，都會重新傳送頁面內文和螢幕截圖的歷史紀錄。固定指令等內容可以重複利用，但這套機制並未套用在不斷增加的瀏覽歷史紀錄上。
此外，系統幾乎每個步驟都會刪除舊圖片並截短文字。頻繁改寫歷史紀錄，會讓快取難以重複利用已處理過的輸入，也就不容易藉此降低費用。若刪除過多資訊，AI 也可能重訪已讀過的頁面。原本為縮短輸入所做的調整，反而可能增加工作量。
不要每次都刪除圖片，累積20張後再整理
驗證過程中，研究人員將歷史紀錄的保留上限設為 12 萬字元和 48 萬字元，並調整快取與圖片管理方式，使用 4 個模型共執行 144 次。所有測試使用相同任務：從公開展示目錄中，蒐集 32 本書各 6 項資訊。
最佳化後的 GPT‑6.1 Sol 配置會先累積最多 20 張螢幕截圖，再只保留最新的一張。這種一次整理多張圖片的做法，不必每次都刪除，因而延長了歷史紀錄可維持不變、供系統重複利用的時間。
即使只比較 GPT‑6.1 Sol，在擴大歷史紀錄保留上限的條件下調整快取與圖片管理後，估計模型成本也從 1.97 美元降至 0.47 美元。最佳化後，89％ 的輸入經由快取處理，這部分的費用是一般輸入的 5％。奏效的關鍵不是單純減少資訊，而是設計出更容易重複利用所保留資訊的方式。
改善的不只是成本，任務完成率也有變化
歷史紀錄管理也會影響任務能否完成。在 GPT‑6.1 Sol 的測試中，保留上限較低時，18 次執行中只有 3 次產生答案；保留上限較高時，18 次都產生了答案，而且據稱結果全都正確。
不過，約 1/76 和約 5 倍這兩項比較仍須審慎看待。最初的配置中，有些執行在完成任務前就達到步驟數上限，因此成本超過 36.21 美元、時間超過 22.5 分鐘，這些數值代表的是下限。主要比較數據也是各配置執行 3 次的平均值，且結果來自這次資訊蒐集任務。不能據此判定在其他網站或業務中也會有相同的降幅。
不同模型各有擅長之處。最佳化後的模型 C 成本為 0.66 美元、耗時 3.5 分鐘；相較於 GPT‑6.1 Sol 的 0.47 美元和約 4 分鐘，費用較高，但執行時間較短。導入時應分開比較成本與速度。
由AI執行實驗，人類確認變更
這次 GPT‑6 Astra 不只提出改善方案，也負責修改程式碼並執行驗證，以確保實驗條件一致。另一個模型工作階段則負責審查，請求與結果都記錄在 Asana 的開發平台 Command 中。Hidalgo 表示，若由人工作業，原本估計需要 1 至 2 個月的調查，約 1 週就完成了。這個時間差是負責人的估算，並非與人工比較實驗所得的結果。
這個案例顯示，評估 AI 營運成本時，除了模型單價，也值得檢視呼叫方式及歷史紀錄的保存方式。Asana 已將這次的變更套用到 StackAI 的瀏覽器操作功能。未來計畫在評估功能中加入測試，讓客戶與內部團隊能比較不同設定下的成本、執行時間及回答品質。
コメント