NVIDIA宣布，將與印度理工學院馬德拉斯分校（IIT Madras）及該校的AI4Bharat共同開發，並即將公開「Nemotron-pretraining-Indic-v1」資料集。這套供AI預訓練使用的資料涵蓋印度憲法列出的22種語言，約有2.8兆token。NVIDIA也計畫公開生成資料所用、支援GPU的資料處理管線，並預計將以英文資料為基礎產生的合成資料，與當地撰寫的自然文本搭配使用。
涵蓋印度22種語言、34種組合的龐大語料庫
資料涵蓋印度憲法列出的22種語言，包括印地語、孟加拉語、泰米爾語、泰盧固語、烏爾都語等。這些語言是約97%印度民眾的第一語言。以2011年人口普查來看，涉及人口約12億。
相較於英文，印度語言可用於AI的資料不足。這是AI4Bharat負責人Mitesh Khapra長期以來提出的問題，而這次的資料集可望成為彌補缺口的一項措施。
來看看資料內容。22種語言都有以各語言標準文字書寫的資料。其中12種語言另有以拉丁字母轉寫的版本，因此語言與文字系統的組合共有34種。標準文字版本約有2兆6,010億token，拉丁字母版本約有2,246億token；兩者皆以Gemma-4的tokenizer計算。
需要留意的是，這些數字並不代表「不重複的英文文件數量」。來自相同來源的翻譯資料，以及不同文字版本的資料，都會重複計入。拉丁字母版本並非翻譯成英文，而是以類似羅馬字的方式書寫印度語言，也能作為讓模型學習同一內容不同文字版本的素材。
考量到許多人會在電子郵件或社群媒體上用羅馬字輸入印地語，這樣的設計相當實用。以日語為例，或許就像同時讓模型學習以平假名、漢字書寫的文章，以及以羅馬字輸入的文章。
不只翻譯：分四階段完成資料生成
素材來自Nemotron-CC-v2的15個子集，包含網路文章、問答、數學與程式碼等。這些資料會交由NVIDIA的開源合成資料生成工具「NeMo Data Designer」處理，從翻譯、品質評估到修正，一站式完成。
輸出資料會保留原始文件的識別碼，因此可以追溯資料是由哪份文件生成。這種易於事後稽核的特性，可說是開放資料的優勢。
12種語言的處理流程分為四階段：翻譯英文文件、評估品質、修正低分輸出，以及轉換成拉丁字母。翻譯使用Gemma-4-31B-it，並一次翻譯整份文件，藉此保留跨段落、表格與數學公式的上下文。值得注意的是，提示詞也要求保留程式碼、數學公式與URL，不要翻譯。
評估工作由同一個模型對照原文進行，依據語意、流暢度、術語、文體與格式等標準評分，並參考翻譯錯誤分類架構MQM。滿分100分，達75分以上才會採用；低於此分數的輸出則根據評估回饋修正，再次評分。透過這項修正，標準文字與拉丁字母版本合計有4,384億token獲得挽救，且已計入資料總量。
拉丁字母版本的生成方式也經過設計。不是直接從英文轉寫成羅馬字，而是以已採用的標準文字譯文為基礎進行轉換，再將結果與原譯文比對。初步人工比較顯示，這種兩階段方法較少產生幻覺內容，也較少殘留英文。
其餘10種語言則以專用翻譯模型補足
沒有拉丁字母版本的10種語言包括阿薩姆語、博多語、多格拉語、克什米爾語、孔卡尼語、邁蒂利語、曼尼普爾語、梵語、桑塔利語與信德語。翻譯使用源自IIT Madras的非營利組織Bodhan AI所開發的翻譯模型「Indic Translate」。
評估由Gemma-4-31B-it負責，採用門檻同樣是75分。不過，這些資料不會依據回饋改寫，只會產生標準文字版本。
流程也會因語言而調整。較長的桑塔利語文件會先切分成彼此重疊的區段進行翻譯，再於事後還原。曼尼普爾語則先翻譯成孟加拉文字，再轉換為專屬的梅泰文字。由於各語言的文字系統差異很大，這可說是印度特有的處理方式。
能從中看出多少效能提升？
作為成效線索，NVIDIA提出了Nemotron 3.5 Super VL的持續預訓練。在這個階段，1,000億token的訓練預算中，有10%（100億token）用於混合此次語料庫中12種語言的部分資料，以及自然的印度語言文本。其餘90%則維持先前的訓練資料配比。
結果是，MILU、Indic MMLU-Pro、Indic ARC-Challenge、Indic ARC-Easy、Indic GSM8K這五項指標的分數全數上升，增幅介於4.98至9.82分。不過，這項比較呈現的是持續預訓練前後的檢查點差異，並未單獨拆分出合成資料的貢獻。可以確定的是，合成資料與自然文本搭配使用的方式確實奏效。
從完成訓練的整體模型來看，與上一代Nemotron 3 Super相比，在衡量知識、推理、數學、程式碼和翻譯能力的六項任務評估中，有五項的分數上升。另一方面，衡量指令遵循能力的IFEval 1.5則下降了2.04分。
在Sarvam AI用來評估印度語言對話品質的「IndiVibe」評測中，有用性、流暢度、對語言和文字的忠實度，以及回答長度的適切性，四項指標全數改善。
不只公開資料，也分享如何善用
這次公開最引人注目的，不只是資料本身，還包括「製作方式」。為NeMo Data Designer打造的翻譯外掛程式「Nemotron Bharat」，包含翻譯與評估提示詞、改寫功能、文件分窗，以及文字轉寫支援。擁有自有文件的企業或研究機構，也就能依照相同步驟，製作其他領域的資料。
使用指南也相當具體：先用少量自有文件測試，確認程式碼、數學公式和格式是否保留；再由當地語言使用者審閱後，才擴大規模。外掛程式回傳的是候選資料與分數，因此哪些資料項目納入訓練，取決於各團隊的篩選方針。載入資料時可使用Hugging Face的串流功能，不必下載全部資料就能檢視內容。
翻譯資料無法取代當地撰寫的文章。承載地方知識與文化脈絡的，是自然撰寫的文本。這次的語料庫正是以搭配這類自然文本使用為前提設計的。
品質評估主要採自動化方式，人工作業則以抽樣檢查為主。在12種語言的流程中，負責翻譯的模型也會擔任評估者，因此10種語言的流程需要更廣泛的母語人士驗證。依來源 ID 去重可移除處理流程中的重複項目，但不會從語意上整理內容相似的資料。
AI4Bharat也在NVIDIA支援下，建置評估基準套件「Indic-LLM-Eval-Suite」。擴增資料與建立衡量標準，兩項工作正同步進行。以英語為中心的AI基礎，能否透過各語言的評估，以及與自然文本的搭配而更加扎實？這套面向印度22種語言的語料庫，或許將成為一項試金石。
コメント