Asana ने घोषणा की कि StackAI के ब्राउज़र संचालन को स्वचालित करने वाले AI के परीक्षण में, पारंपरिक प्रोडक्शन सेटअप की तुलना में अनुमानित मॉडल लागत 76वें हिस्से तक घट गई और प्रोसेसिंग की गति 5 गुना हो गई। GPT‑6.1 Sol और ब्राउज़िंग इतिहास प्रबंधन को अनुकूलित करने वाले सेटअप में, एक रन की लागत औसतन 0.47 डॉलर रही और उसे पूरा होने में करीब 4 मिनट लगे।
लागत 76वें हिस्से तक सिर्फ मॉडल बदलने से नहीं घटी
इस आंकड़े में गौर करने वाली बात यह है कि तुलना केवल मॉडल के प्रदर्शन की नहीं, बल्कि मॉडल और प्रोसेसिंग के तरीके को मिलाकर मिले नतीजे की है। ब्राउज़र एजेंट ऐसा AI है जो वेब पेज पढ़कर जानकारी जुटाने और फ़ॉर्म भरने जैसे काम करता है। Asana, अधिग्रहीत कंपनी StackAI के ज़रिए ऐसे कामों का स्वचालन उपलब्ध कराती है।
परीक्षण में सार्वजनिक डेमो कैटलॉग से 32 किताबों के बारे में, हर किताब के लिए 6 जानकारियाँ जुटाई गईं। चार मॉडलों और कई सेटिंग्स को मिलाकर कुल 144 बार परीक्षण किया गया। शुरुआत में इस्तेमाल किए गए मॉडल B के साथ, प्रति रन अनुमानित मॉडल लागत 36.21 डॉलर से अधिक थी, लेकिन प्रोसेसिंग का तरीका बदलने भर से यह घटकर 1.24 डॉलर रह गई। इसके बाद GPT‑6.1 Sol वाले अनुकूलित सेटअप में लागत 0.47 डॉलर हो गई।
यानी मॉडल B का इस्तेमाल जारी रखते हुए भी लागत लगभग 29वें हिस्से तक घटाई जा सकती थी। 76वें हिस्से तक लागत घटने के दावे के पीछे, मॉडल चुनने से पहले प्रोसेसिंग के डिज़ाइन में हुआ सुधार भी बड़ी भूमिका निभाता है।
बचत की कुंजी AI को दी गई ब्राउज़िंग हिस्ट्री थी
पारंपरिक सेटअप में तय निर्देश जैसी चीज़ें कैश की जाती थीं, लेकिन जमा होता पेज का टेक्स्ट और स्क्रीनशॉट का इतिहास कैश में शामिल नहीं था। कैश वह तरीका है जिसमें पहले प्रोसेस किए गए इनपुट का दोबारा इस्तेमाल किया जाता है। अगर इतिहास का दोबारा इस्तेमाल न हो सके, तो हर बार AI को बुलाने पर पिछली जानकारी फिर से भेजनी पड़ती है और उसका शुल्क लगता है।
इसके अलावा, लगभग हर चरण में पुरानी तस्वीरें हटा दी जाती थीं और टेक्स्ट भी छोटा कर दिया जाता था। इतिहास में बार-बार बदलाव होने से केवल कैश जोड़ना कम असरदार था। बहुत अधिक जानकारी मिटाने से पहले पढ़े जा चुके पेज दोबारा खोलने की नौबत भी आ सकती है।
इसलिए इतिहास को रखने की सीमा 1,20,000 से बढ़ाकर 4,80,000 अक्षर कर दी गई और ब्राउज़िंग हिस्ट्री को भी कैश में शामिल किया गया। स्क्रीनशॉट जमा करके 20 तक पहुंचने के बाद सिर्फ सबसे नया स्क्रीनशॉट रखने का तरीका अपनाया गया। हर बार छांटने के बजाय एक साथ छांटने से, पुराना इतिहास बदले बिना उसका इस्तेमाल करने की अवधि बढ़ गई।
ज़्यादा जानकारी रखने पर भी लागत घटती है
AI को दी जाने वाली जानकारी कम करने से लागत घटती है—यह सोच भर से एजेंट की लागत का पूरा हिसाब नहीं समझा जा सकता। कभी-कभी जानकारी को बनाए रखकर उसका दोबारा इस्तेमाल करना और बेवजह दोबारा जांच से बचना, पूरी प्रक्रिया को सस्ता बना सकता है।
GPT‑6.1 Sol में इतिहास रखने की सीमा बढ़ाने वाली स्थिति में कैश और तस्वीरों के प्रबंधन में बदलाव करने पर, प्रति रन अनुमानित मॉडल लागत 1.97 डॉलर से घटकर 0.47 डॉलर हो गई। अनुकूलन के बाद 89% इनपुट कैश से मिला और उस हिस्से का शुल्क, कैश का इस्तेमाल न करने पर लगने वाली लागत का 5% था।
इतिहास की मात्रा का असर काम पूरा होने पर भी पड़ा। GPT‑6.1 Sol में जवाब तैयार कर पाने वाले रन, इतिहास रखने की कम सीमा वाली स्थिति में 18 में से 3 थे, जबकि बड़ी सीमा वाली स्थिति में सभी 18 रन सफल रहे। परीक्षण में इन सभी 18 बार सही जवाब मिले।
सुधार के उपाय आज़माने के लिए भी AI का इस्तेमाल हुआ
ब्राउज़र को वास्तव में संचालित करने वाले GPT‑6.1 Sol से अलग, जांच और सुधार के लिए Codex का GPT‑6 Astra इस्तेमाल किया गया। इसने कोड की संरचना की जांच की, इतिहास प्रबंधन की समस्याओं की पहचान की, प्रयोग के लिए कोड को फिर से तैयार किया और कई सेटिंग्स का समानांतर परीक्षण किया।
इसका मतलब यह नहीं कि इसमें इंसानों की कोई भूमिका नहीं थी। StackAI के CTO Frank Hidalgo ने सुझावों की समीक्षा की और तय किया कि किन बदलावों का परीक्षण किया जाए। प्रयोगों के रिकॉर्ड और नतीजों की एक अलग मॉडल सत्र में भी समीक्षा की गई और उन्हें Asana के डेवलपमेंट प्लेटफ़ॉर्म Command में रखा गया। बदलाव टिकट और पुल रिक्वेस्ट की प्रक्रिया से गुज़रकर प्रोडक्शन में लागू हुए।
Hidalgo ने बताया कि जिस जांच में हाथ से काम करने पर 1–2 महीने लगते, उनके अनुमान के मुताबिक वह करीब 1 सप्ताह में पूरी हो गई। अवधि का यह अंतर उनके अनुमान से तुलना पर आधारित है; यह ऐसा नियंत्रित प्रयोग नहीं था जिसमें वही काम केवल इंसानों से कराया गया हो।
लागू करने का फैसला लेते समय लागत और काम पूरा होने की दर, दोनों देखें
यहां बताई गई 0.47 डॉलर की राशि अनुमानित मॉडल लागत है, कुल लागत नहीं—इसमें श्रम और सिस्टम संचालन का खर्च शामिल नहीं है। इसके अलावा, तुलना के आधार में शामिल कुछ रन प्रोसेसिंग की अधिकतम सीमा तक पहुंचने के कारण पूरे नहीं हुए थे; इसलिए 36.21 डॉलर से अधिक और 22.5 मिनट से अधिक के आंकड़े न्यूनतम सीमाएं हैं। प्रमुख तुलना के आंकड़े हर सेटअप के 3 रनों का औसत हैं, और बचत की यही दर हर तरह के वेब काम पर लागू नहीं की जा सकती।
अनुकूलित सेटअपों की तुलना में मॉडल C की लागत 0.66 डॉलर और समय 3.5 मिनट था, जबकि GPT‑6.1 Sol की लागत 0.47 डॉलर और समय करीब 4 मिनट था। इस काम में Sol की लागत कम थी, लेकिन मॉडल C ने काम कम समय में पूरा किया—यानी सस्ते और तेज़ होने के मामले में दोनों की रैंकिंग अलग थी।
Asana ने इन बदलावों को StackAI के ब्राउज़र संचालन फ़ीचर में लागू कर दिया है। कंपनी आगे चलकर परीक्षण को प्लेटफ़ॉर्म के मूल्यांकन फ़ीचर में शामिल करने की योजना बना रही है, ताकि ग्राहक और आंतरिक टीमें अलग-अलग सेटिंग्स की लागत, रन का समय और जवाबों की गुणवत्ता की तुलना कर सकें।
コメント