NVIDIA ने घोषणा की है कि वह भारतीय प्रौद्योगिकी संस्थान मद्रास (IIT Madras) और उसके AI4Bharat के साथ मिलकर विकसित किया गया, भारत के संविधान में निर्धारित 22 भाषाओं के लिए लगभग 2.8 ट्रिलियन टोकन वाला AI प्रीट्रेनिंग डेटा «Nemotron-pretraining-Indic-v1» जल्द जारी करेगा। डेटा तैयार करने में इस्तेमाल की गई GPU-सक्षम पाइपलाइन भी जारी करने की योजना है। इसमें अंग्रेज़ी सामग्री पर आधारित सिंथेटिक डेटा को स्थानीय स्तर पर लिखे गए स्वाभाविक पाठ के साथ मिलाकर इस्तेमाल करने की परिकल्पना की गई है।
भारत की 22 भाषाओं का विशाल कॉर्पस, 34 संयोजनों में उपलब्ध
इसमें भारत के संविधान में दर्ज 22 आधिकारिक भाषाएँ शामिल हैं। इनमें हिंदी, बंगाली, तमिल, तेलुगु और उर्दू जैसी भाषाएँ हैं। ये भारत की लगभग 97% आबादी की मातृभाषाएँ हैं। 2011 की जनगणना के आधार पर देखें तो यह संख्या लगभग 1.2 अरब लोगों की है।
अंग्रेज़ी की तुलना में भारतीय भाषाओं के लिए AI डेटा की कमी है। AI4Bharat का नेतृत्व करने वाले Mitesh Khapra लंबे समय से इस समस्या की ओर ध्यान दिलाते रहे हैं। इस कमी को दूर करने की दिशा में यह डेटा एक अहम कदम है।
आइए, इसकी सामग्री पर नज़र डालें। सभी 22 भाषाओं का डेटा उनकी मानक लिपि में उपलब्ध है। इनमें से 12 भाषाओं के लिए लैटिन लिपि—यानी रोमन अक्षरों—में लिप्यंतरित रूप भी जोड़ा गया है। इस तरह भाषा और लिपि के कुल 34 संयोजन बनते हैं। मानक लिपि वाले डेटा में लगभग 2.601 ट्रिलियन और लैटिन लिपि वाले डेटा में लगभग 224.6 अरब टोकन हैं। दोनों की गिनती Gemma-4 टोकनाइज़र से की गई है।
ध्यान देने वाली बात यह है कि ये आँकड़े «अलग-अलग अंग्रेज़ी दस्तावेज़ों की संख्या» नहीं हैं। एक ही स्रोत से तैयार किए गए अनुवाद और अलग-अलग लिपियों में लिखे डेटा को भी अलग-अलग गिना गया है। लैटिन लिपि वाला रूप अंग्रेज़ी अनुवाद नहीं, बल्कि भारतीय भाषाओं को रोमन अक्षरों में लिखने का तरीका है। यह एक ही सामग्री को अलग लिपियों में सीखने के लिए भी उपयोगी है।
ईमेल और सोशल मीडिया पर बहुत से लोग हिंदी रोमन लिपि में टाइप करते हैं। इस वास्तविकता को देखते हुए यह डिज़ाइन व्यावहारिक है। जापानी के उदाहरण से समझें, तो यह कुछ ऐसा है जैसे मॉडल को हिरागाना-कांजी में लिखे पाठ के साथ-साथ रोमन अक्षरों में टाइप किए गए पाठ से भी सिखाया जाए।
अनुवाद पर ही खत्म नहीं होती, चार चरणों वाली डेटा-निर्माण प्रक्रिया
इसके स्रोत Nemotron-CC-v2 के 15 सबसेट हैं। इनमें वेब पाठ, प्रश्न-उत्तर, गणित और कोड शामिल हैं। इन पर NVIDIA के ओपन-सोर्स सिंथेटिक डेटा जनरेशन टूल «NeMo Data Designer» से काम किया जाता है। यह अनुवाद, गुणवत्ता मूल्यांकन और सुधार की पूरी प्रक्रिया को एक ही कार्यप्रवाह में पूरा करता है।
आउटपुट में मूल दस्तावेज़ का पहचानकर्ता बना रहता है, इसलिए यह पता लगाया जा सकता है कि डेटा किस दस्तावेज़ से तैयार हुआ था। बाद में ऑडिट करना आसान होना खुले डेटा की एक खासियत है।
12 भाषाओं के लिए प्रक्रिया के चार चरण हैं: अंग्रेज़ी दस्तावेज़ों का अनुवाद, गुणवत्ता मूल्यांकन, कम रेटिंग वाले आउटपुट में सुधार और लैटिन लिपि में रूपांतरण। अनुवाद के लिए Gemma-4-31B-it का इस्तेमाल किया जाता है और पूरे दस्तावेज़ का एक साथ अनुवाद होता है। इसका उद्देश्य पैराग्राफ़, तालिकाओं और सूत्रों के बीच का संदर्भ बनाए रखना है। प्रॉम्प्ट में यह निर्देश भी दिया जाता है कि कोड, सूत्र और URL का अनुवाद न किया जाए और उन्हें जस का तस रखा जाए।
मूल पाठ से मिलान करके मूल्यांकन भी वही मॉडल करता है। इसके मानदंड अर्थ, प्रवाह, शब्दावली, शैली और फ़ॉर्मैट हैं; इनमें अनुवाद की त्रुटियों को वर्गीकृत करने वाले MQM ढाँचे को संदर्भ के रूप में लिया गया है। 100 में से 75 या उससे अधिक अंक पाने वाले आउटपुट स्वीकार किए जाते हैं। इससे कम अंक वाले आउटपुट को मूल्यांकन से मिली प्रतिक्रिया के आधार पर सुधारा जाता है और फिर दोबारा अंक दिए जाते हैं। इस सुधार प्रक्रिया से मानक और लैटिन लिपि के डेटा को मिलाकर 438.4 अरब टोकन बचाए गए, जो कुल मात्रा में पहले से शामिल हैं।
लैटिन लिपि वाला रूप तैयार करने का तरीका भी खास है। अंग्रेज़ी से सीधे रोमन लिपि में बदलने के बजाय, पहले से स्वीकार किए गए मानक लिपि के अनुवाद को आधार बनाकर उसका रूपांतरण किया जाता है और नतीजे की मूल अनुवाद से तुलना होती है। शुरुआती मानवीय तुलना में इस दो-चरणीय तरीके से गढ़ी हुई जानकारी और अंग्रेज़ी के बचे हुए अंश कम पाए गए।
बाकी 10 भाषाओं के लिए विशेष अनुवाद मॉडल
जिन 10 भाषाओं का लैटिन लिपि वाला रूप उपलब्ध नहीं है, वे हैं: असमिया, बोडो, डोगरी, कश्मीरी, कोंकणी, मैथिली, मणिपुरी, संस्कृत, संताली और सिंधी। इनके अनुवाद के लिए IIT मद्रास से जुड़ी गैर-लाभकारी संस्था Bodhan AI का अनुवाद मॉडल «Indic Translate» इस्तेमाल किया जाता है।
मूल्यांकन की ज़िम्मेदारी Gemma-4-31B-it की है और स्वीकृति की सीमा वही 75 अंक है। हालांकि, प्रतिक्रिया के आधार पर दोबारा लिखने की प्रक्रिया नहीं होती और केवल मानक लिपि का डेटा तैयार किया जाता है।
हर भाषा के हिसाब से कुछ बदलाव भी किए गए हैं। संताली के लंबे दस्तावेज़ों को ओवरलैप करने वाली विंडो में बाँटकर अनुवाद किया जाता है और फिर उन्हें दोबारा जोड़ा जाता है। मणिपुरी का पहले बंगाली लिपि में अनुवाद होता है, फिर उसे इसकी विशिष्ट मेइतेई लिपि में बदला जाता है। भारत में हर भाषा की लिपि से जुड़ी परिस्थितियाँ काफी अलग हैं; ये तरीके उसी के अनुरूप हैं।
प्रदर्शन में सुधार के बारे में कितना पता चलता है?
इसके प्रभाव का एक संकेत Nemotron 3.5 Super VL की निरंतर प्रीट्रेनिंग से मिला। इस चरण में 100 अरब टोकन के प्रशिक्षण बजट में से 10%—यानी 10 अरब टोकन—इस कॉर्पस की 12 भाषाओं के कुछ हिस्से और स्वाभाविक रूप से लिखे गए भारतीय भाषाओं के पाठ के मिश्रण के लिए इस्तेमाल किए गए। बाकी 90% में पहले की प्रशिक्षण-सामग्री के अनुपात बरकरार रखे गए।
नतीजतन, MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy और Indic GSM8K—पाँचों मेट्रिक्स के स्कोर बढ़े, और बढ़ोतरी 4.98 से 9.82 अंक तक रही। हालांकि, यह तुलना निरंतर प्रीट्रेनिंग से पहले और बाद के चेकपॉइंट्स के बीच है। यह ऐसा आंकड़ा नहीं है जो केवल सिंथेटिक डेटा के योगदान को अलग से दर्शाता हो। पक्की बात यह है कि सिंथेटिक डेटा और प्राकृतिक भाषा के पाठ को मिलाकर बनाया गया मिश्रण कारगर रहा।
पूरे तैयार मॉडल को देखें तो पिछली पीढ़ी के Nemotron 3 Super की तुलना में ज्ञान, तर्क, गणित, कोड और अनुवाद मापने वाले छह टास्क मूल्यांकनों में से पाँच के स्कोर बढ़े। दूसरी ओर, निर्देशों का पालन मापने वाले IFEval 1.5 का स्कोर 2.04 अंक घटा।
भारतीय भाषाओं में संवाद की गुणवत्ता मापने वाले Sarvam AI के मूल्यांकन ‘IndiVibe’ में उपयोगिता, प्रवाह, भाषा और लिपि के प्रति निष्ठा तथा जवाब की लंबाई की उपयुक्तता—चारों मानदंडों में सुधार हुआ।
सिर्फ डेटा जारी करना नहीं, उसे प्रभावी ढंग से इस्तेमाल करना भी
इस बार की घोषणा में खास बात सिर्फ डेटा नहीं, बल्कि उसे ‘बनाने का तरीका’ भी सार्वजनिक करना है। NeMo Data Designer के लिए अनुवाद प्लगइन ‘Nemotron Bharat’ में अनुवाद और मूल्यांकन के प्रॉम्प्ट, लेखन को नए सिरे से गढ़ने की सुविधा, दस्तावेज़ों को विंडो में बाँटने की सुविधा और लिपि-परिवर्तन में मदद शामिल है। अपने दस्तावेज़ रखने वाली कंपनियां और शोध संस्थान इसी प्रक्रिया से अन्य क्षेत्रों का डेटा तैयार कर सकते हैं।
इसे इस्तेमाल करने के दिशानिर्देश भी स्पष्ट हैं। पहले अपने दस्तावेज़ों के एक छोटे नमूने पर इसे आज़माएं और जांचें कि कोड, गणितीय सूत्र और फ़ॉर्मैटिंग जस की तस बनी रहती है या नहीं। फिर स्थानीय भाषा के वक्ताओं से समीक्षा कराने के बाद इसका दायरा बढ़ाएं। प्लगइन संभावित विकल्प और स्कोर देता है, इसलिए प्रशिक्षण में कौन-से रिकॉर्ड शामिल किए जाएं, यह हर टीम की चयन-नीति पर निर्भर करता है। डेटा लोड करने के लिए Hugging Face की स्ट्रीमिंग सुविधा का उपयोग किया जा सकता है, जिससे पूरा डेटा डाउनलोड किए बिना उसकी सामग्री देखी जा सकती है।
अनुवादित डेटा, स्थानीय स्तर पर लिखे गए पाठ की जगह नहीं ले सकता। क्षेत्रीय ज्ञान और सांस्कृतिक संदर्भ स्वाभाविक रूप से लिखे गए पाठ में ही आते हैं। इस कॉर्पस को ऐसे प्राकृतिक पाठ के साथ मिलाकर इस्तेमाल करने के लिए ही तैयार किया गया है।
गुणवत्ता का मूल्यांकन मुख्य रूप से स्वचालित है, जबकि मानवीय जांच अधिकतर नमूनों तक सीमित है। 12 भाषाओं वाली प्रक्रिया में अनुवाद के लिए इस्तेमाल किया गया मॉडल ही मूल्यांकन भी करता है, इसलिए 10 भाषाओं वाले हिस्से में मातृभाषियों से अधिक व्यापक सत्यापन की जरूरत है। स्रोत आईडी के आधार पर डुप्लिकेट हटाने से प्रक्रिया के दौरान बनी दोहराव वाली प्रविष्टियां हटती हैं; समान अर्थ वाली सामग्री को छांटा नहीं जाता।
AI4Bharat ने NVIDIA के सहयोग से मूल्यांकन बेंचमार्कों का संग्रह ‘Indic-LLM-Eval-Suite’ भी तैयार किया है। डेटा बढ़ाने और उसे मापने के पैमाने विकसित करने के प्रयास समानांतर चल रहे हैं। सवाल यह है कि क्या अंग्रेज़ी-केंद्रित AI की बुनियाद को भाषा-विशिष्ट मूल्यांकन और प्राकृतिक पाठ के मिश्रण से मजबूत किया जा सकता है। भारत की 22 भाषाओं के लिए यह कॉर्पस इसकी कसौटी साबित हो सकता है।
コメント