SEO संकट! Meta का Muse और OpenAI का Dots वेब पर काम कर रहे हैं, पारंपरिक बॉट सुरक्षा अब कारगर नहीं

Meta का Muse और OpenAI का Dots ऐसे पर्सनल AI एजेंट हैं, जो उपयोगकर्ता के कहने पर वेब पर उत्पादों की खोज, फ़ॉर्म भरने और, कुछ मामलों में, सामान कार्ट में डालने से लेकर भुगतान तक का काम कर सकते हैं। Muse अमेरिका और कनाडा में 18 वर्ष या उससे अधिक उम्र के लोगों के लिए उपलब्ध है और अधिकांश उपयोगों के लिए मुफ़्त बताया गया है। कारोबारियों के सामने अब यह सवाल भी है कि उनकी साइटें सिर्फ़ खोज में मिलती हैं या एजेंट भी उन पर आसानी से काम कर सकते हैं।

AI अब सिर्फ़ पढ़ नहीं रहा, वेबसाइटों पर काम भी करने लगा है

10 टैब के बीच आना-जाना, तुलना करना, बुकिंग करना और दोबारा ऑर्डर देना—जो काम अब तक लोग ख़ुद करते थे, उनकी जगह अब AI को दिया गया एक छोटा-सा निर्देश लेने वाला है। Muse और Dots, दोनों ऐसे एजेंट हैं जो वेब पर दिए गए काम पूरे करते हैं। Meta ने अपनी प्रणाली के बारे में बारीकियाँ साझा की हैं, जबकि OpenAI ने Dots के बारे में बहुत कम जानकारी दी है।

यह बात अभी याद है कि जब कंप्यूटर पर ही वेब ब्राउज़िंग लगभग पूरी तरह निर्भर थी, तब स्मार्टफ़ोन के आने से तस्वीर बदल गई। StatCounter के आँकड़ों के मुताबिक, वैश्विक ट्रैफ़िक में कंप्यूटर की हिस्सेदारी जनवरी 2010 में 98% थी, जो 2026 तक घटकर 50% से नीचे आ गई। क्या ऐसा ही बदलाव लोगों द्वारा चलाए जाने वाले ब्राउज़र और एजेंटों द्वारा चलाए जाने वाले ब्राउज़र के बीच भी हो सकता है? इस लेख की शुरुआत इसी संभावना से होती है।

कारोबारियों तक पहुँचने के दो रास्ते

एजेंट कारोबारियों तक मुख्य रूप से दो तरीकों से पहुँच सकते हैं। पहला है कनेक्टर, यानी कनेक्ट करने वाली सुविधा का इस्तेमाल। Meta का कहना है कि Muse की शुरुआत के समय उसने दर्जनों साझेदारों को जोड़ा था और Shopify के पूरे उत्पाद कैटलॉग तक पहुँच की व्यवस्था की थी। आगे Walmart, Best Buy, Sephora और Wayfair भी इसमें शामिल होने वाले हैं। OpenAI का भी कहना है कि उसके प्लगइन सिस्टम के ज़रिए 4,000 से अधिक ऐप्स से जुड़ा जा सकता है। कारोबारी ख़ुद भी ऐसे प्लगइन बना सकते हैं और उन्हें समीक्षा के लिए भेज सकते हैं।

दूसरा रास्ता ब्राउज़र के ज़रिए है, जो उन ज़्यादातर साइटों तक जाता है जिनके पास कनेक्टर नहीं है। Meta के मुताबिक, Muse एक समर्पित सुरक्षित कंप्यूटर पर Chromium-आधारित ब्राउज़र चलाता है। बताया जाता है कि Dots भी अपने क्लाउड कंप्यूटर और ब्राउज़र के ज़रिए काम करता है। यानी जब कोई उपयोगकर्ता एजेंट से कहता है, “इस डिज़ाइनर की शर्ट खरीदो,” तो एजेंट पेज पर दिखाई देने वाली जानकारी के आधार पर ही वेबसाइट पर पहुँचता है।

Shopify का इस्तेमाल करने वाले कारोबारियों की स्थिति शायद प्लेटफ़ॉर्म की सेटिंग से तय हो रही है। बिक्री चैनल की Agentic सेटिंग में शुरुआती विकल्प “Shopify को प्रबंधन करने दें” है। Shopify के मुताबिक, उत्पाद की जानकारी डिफ़ॉल्ट रूप से Shopify Catalog के ज़रिए Meta के साथ साझा की जाती है। जिन साइटों का अपना अलग इंफ़्रास्ट्रक्चर है, वे कनेक्टर बनाने तक ब्राउज़र वाले रास्ते पर रहेंगी।

जो आगंतुक अपनी पहचान नहीं बताते, उन पर robots.txt काम नहीं करता

यहीं पर पारंपरिक बॉट सुरक्षा की नींव डगमगाती है। robots.txt और क्रॉलर की अनुमति-सूचियाँ ऐसे आगंतुकों के लिए बनाई गई हैं जो अपनी पहचान बताते हैं। लेकिन Meta और OpenAI, दोनों ने Muse और Dots के ब्राउज़र के user agent, request headers या signatures सार्वजनिक नहीं किए हैं। Meta ने वेबसाइट संचालकों के लिए जिन क्रॉलर का ज़िक्र किया है, उनकी संख्या पाँच है; OpenAI के लिए यह संख्या चार है—और Muse या Dots इनमें से किसी में शामिल नहीं हैं। यानी सूची में दर्ज करने के लिए नाम ही मौजूद नहीं है।

Meta का कहना है कि Muse जब वेब ब्राउज़ करता है, तो वह गतिविधि उपयोगकर्ता की अपनी गतिविधि जैसी दिखाई देती है। शर्ट ख़रीदने के उदाहरण में, विक्रेता उस विज़िट के आधार पर Instagram पर विज्ञापन भी दिखा सकता है। इससे फ़िल्म ‘कैच मी इफ़ यू कैन’ का वह नायक याद आता है, जो पायलट की वर्दी पहनकर हवाई अड्डे पर घूमता था। वर्दी असली लगे, तो कोई भी पायलट होने की योग्यता नहीं जाँचता। Muse भी ग्राहक की वर्दी पहनकर आने वाला आगंतुक है।

वैसे भी, robots.txt एक आपसी सहमति पर आधारित व्यवस्था है और इसके मानक में साफ़ लिखा है कि यह “पहुँच की अनुमति देने का साधन नहीं है।” Amazon की robots.txt फ़ाइल में 99 एजेंट नाम दर्ज हैं, लेकिन Muse और Dots उनमें नहीं हैं। Amazon ने Muse को सितंबर में ब्लॉक किया था और इसके लिए सेवा की शर्तों का इस्तेमाल किया। GeekWire के मुताबिक, इसके तीन कारण थे: Meta ने Amazon को यह नहीं बताया कि Muse उसके स्टोर तक पहुँच रहा है; ब्राउज़ करते समय Muse अपनी पहचान नहीं बताता; और ऐसा लगता है कि वह ग्राहकों के लॉगिन विवरण हासिल करके उन्हें सहेजता है।

अब फ़ैसला robots.txt के बजाय बॉट-सुरक्षा प्रणालियों के हाथ में जा रहा है। फ़ायरवॉल या प्लेटफ़ॉर्म के बॉट फ़िल्टर को क्लाउड पर चलने वाला Chromium ब्राउज़र दिखाई देता है। उसे इंसान मानकर जाने दिया जाए या ब्लॉक कर दिया जाए—इन दो विकल्पों में से किसी एक का चुनाव ऐसी सेटिंग कर सकती है, जिसके बारे में SEO टीम को पता भी न हो। HUMAN Security का कहना है कि उसका बॉट-पहचान उत्पाद Muse की पहचान कर सकता है। बॉट-सुरक्षा सेवा देने वाली कंपनियों से यह पूछना एक अच्छा कदम हो सकता है कि क्या वे इंसान द्वारा चलाए जा रहे Chromium और AI एजेंट के बीच फ़र्क कर सकती हैं।

Dots के लिए एक और रास्ता भी है। OpenAI के दस्तावेज़ों में कहा गया है कि अगर कोई साइट क्लाउड ब्राउज़र को ब्लॉक करती है, तो उपयोगकर्ता के कनेक्टेड कंप्यूटर पर इसे आज़माएँ। दस्तावेज़ बताते हैं कि इस स्थिति में, स्वीकृत क्लिक, फ़ॉर्म सबमिट करना और लॉग-इन रहते हुए की गई कार्रवाइयाँ उपयोगकर्ता के अपने खाते से की गई गतिविधि मानी जा सकती हैं।

एजेंट एक्सेसिबिलिटी ट्री के ज़रिए पेज पढ़ते हैं

तो ब्राउज़र के ज़रिए आने वाले एजेंट किसी पेज को कैसे देखते हैं? Meta के मुताबिक, Muse का ब्राउज़िंग सब-एजेंट पेज के रॉ DOM के बजाय एक्सेसिबिलिटी ट्री का स्नैपशॉट देखता है। इसके अलावा, उसमें पेज के भीतर JavaScript चलाने की सुविधा नहीं है। पेज की अपनी स्क्रिप्ट वास्तविक ब्राउज़र में चलती हैं, लेकिन Muse खुद से कुछ भी जोड़ नहीं सकता—यही इसकी संरचना है।

एक्सेसिबिलिटी ट्री वह जानकारी है जिसका इस्तेमाल स्क्रीन रीडर (स्क्रीन पर मौजूद सामग्री को पढ़कर सुनाने वाला सॉफ़्टवेयर) करते हैं। ब्राउज़र इसे DOM से बनाता है और हर एलिमेंट को उसका प्रकार (जैसे बटन, लिंक या शीर्षक), नाम और स्थिति देता है। इसमें डिज़ाइन शामिल नहीं होता। वहीं, OpenAI ने यह सार्वजनिक नहीं किया है कि Dots का ब्राउज़र पेज को कैसे पढ़ता है। Google के मुताबिक, ब्राउज़र एजेंट स्क्रीनशॉट, DOM संरचना और एक्सेसिबिलिटी ट्री जैसी चीज़ों का इस्तेमाल कर सकते हैं।

### हर एलिमेंट का दृश्य रूप

heading_placeholder