NVIDIA宣布，将与印度理工学院马德拉斯分校（IIT Madras）及其AI4Bharat团队联合开发的AI预训练数据集“Nemotron-pretraining-Indic-v1”于近期公开。该数据集覆盖印度宪法规定的22种语言，约含2.8万亿词元。NVIDIA还计划同时公开用于生成数据的GPU加速流水线。其设计思路是将基于英文资料生成的合成数据，与当地撰写的自然文本结合使用。
涵盖印度22种语言、提供34种配置的超大语料库
数据集覆盖印度宪法规定的22种官方语言，包括印地语、孟加拉语、泰米尔语、泰卢固语和乌尔都语等。这些语言是约97%印度民众的母语。按2011年人口普查数据计算，涉及人口约12亿。
与英语相比，印度语言的AI训练数据十分匮乏。长期以来，AI4Bharat负责人Mitesh Khapra一直在强调这一问题，而此次发布的数据集正是填补这一缺口的一项举措。
来看数据集的具体内容。22种语言都有使用各自标准文字书写的数据。其中12种语言还增加了拉丁字母转写版本，因此语言与文字体系的组合共有34种。标准文字数据约含2.601万亿词元，拉丁字母转写数据约含2246亿词元；两者均由Gemma-4的分词器统计得出。
需要注意的是，这个数字并不代表“独立英文文档的数量”。来自同一来源的翻译数据，以及不同文字形式的数据都被重复计入。拉丁字母转写不是英文翻译，而是用类似罗马字母的方式书写印度语言。这类数据也可以让模型学习以不同文字形式呈现的相同内容。
考虑到许多人会在邮件和社交媒体上用拉丁字母输入印地语，这种设计颇具实用性。打个比方，这或许类似于让模型同时学习用平假名、汉字书写的日语文本，以及用罗马字母输入的日语文本。
不止于翻译：分四步完成的数据生成流程
数据素材来自Nemotron-CC-v2的15个子集，包括网页文本、问答、数学和代码等。NVIDIA使用开源合成数据生成工具“NeMo Data Designer”处理这些素材，从翻译、质量评估到修正，形成端到端流程。
输出数据保留了源文档的标识符，因此可以追溯每条数据来自哪份文档。便于后续审计，是开放数据的一项优势。
针对12种语言的处理流程分为四步：翻译英文文档、评估质量、修正低分输出，以及转换为拉丁字母。翻译使用Gemma-4-31B-it，并对整篇文档一次性翻译，旨在保留跨段落、表格和公式的上下文。另一个值得注意的细节是，提示词要求保留代码、公式和URL，不进行翻译。
评估由同一模型对照原文完成，考察语义、流畅度、术语、文体和格式，并参考了翻译错误分类框架MQM。评分为满分100分，达到75分及以上的输出才会被采用；未达标的输出则根据评估反馈进行修正，再次评分。通过修正，标准文字和拉丁字母转写数据合计挽回了4384亿词元，这些词元已计入总量。
拉丁字母转写的生成方式也颇有讲究：它并非直接将英文转换为罗马字母，而是以已通过筛选的标准文字译文为基础进行转换，再将结果与原译文核对。早期人工对比显示，这种两阶段方式生成的内容虚构成分更少，残留英文也更少。
其余10种语言由专用翻译模型补齐
没有拉丁字母转写版本的10种语言包括阿萨姆语、博多语、多格拉语、克什米尔语、孔卡尼语、迈蒂利语、曼尼普尔语、梵语、桑塔利语和信德语。翻译使用的是由IIT Madras孵化的非营利组织Bodhan AI开发的翻译模型“Indic Translate”。
评估由Gemma-4-31B-it负责，采用标准同样是75分。不过，这部分数据不会依据反馈进行重写，只生成标准文字版本。
此外，数据处理也针对不同语言进行了调整。较长的桑塔利语文档会被切分为相互重叠的窗口进行翻译，之后再还原。曼尼普尔语则先翻译成孟加拉文字，再转换为其专属的梅泰文字。这些做法体现了印度特有的情况：不同语言的文字体系差异很大。
能从中看出多大程度的性能提升？
作为效果线索，NVIDIA展示了Nemotron 3.5 Super VL的持续预训练情况。在这一阶段，1000亿词元的训练预算中，有10%（即100亿词元）用于此次语料库中12种语言的部分数据与自然印度语言文本的混合数据。其余90%则维持此前的训练数据配比。
结果是，MILU、Indic MMLU-Pro、Indic ARC-Challenge、Indic ARC-Easy和Indic GSM8K这5项指标全部提升了，涨幅为4.98至9.82个百分点。不过，这一比较对照的是持续预训练前后的检查点，并非单独衡量合成数据的贡献。可以确定的是，将合成数据与自然文本结合的配比发挥了作用。
从完整模型的整体表现来看，与上一代Nemotron 3 Super相比，在衡量知识、推理、数学、代码和翻译能力的6项任务评估中，有5项得分提高。另一方面，衡量指令遵循能力的IFEval 1.5下降了2.04个百分点。
在Sarvam AI用于评估印度语言对话质量的“IndiVibe”评测中，有用性、流畅度、语言与文字忠实度以及回答长度是否恰当这4项指标均有所改善。
不止公开数据，更要公开如何善用
此次发布引人注目之处，不仅在于公开数据本身，还在于公开了“如何制作”数据。面向NeMo Data Designer的翻译插件“Nemotron Bharat”包含翻译和评估提示词、改写功能、文档窗口切分以及文字转写支持。拥有自有文档的企业和研究机构，便可以按照同样的流程制作其他领域的数据。
使用指南也很具体：先用少量自有文档进行测试，确认代码、公式和格式是否得到保留；再经过本地语言使用者审核后扩大规模。插件返回的是候选内容和评分，因此哪些记录纳入训练，取决于各团队的筛选策略。数据可以通过Hugging Face的流式处理功能读取，无需下载全部数据即可查看内容。
翻译数据无法取代本地创作的文本。承载地区知识和文化语境的是自然写成的文本。此次语料库的设计前提，正是与这类自然文本结合使用。
质量评估主要通过自动化完成，人工核查则以抽样为主。在涉及12种语言的流程中，用于翻译的模型也承担评估工作，因此涉及10种语言的部分需要更广泛的母语者验证。依据来源ID去重，剔除的是处理过程中的重复项，并非从语义层面整理相似内容。
在NVIDIA支持下，AI4Bharat还建立了评测基准套件“Indic-LLM-Eval-Suite”。扩大数据规模与完善衡量数据的标尺，正在同步推进。如何通过按语言开展评估并与自然文本搭配，夯实过去以英语为中心的AI基础？面向印度22种语言的这套语料库，或将成为一块试金石。
コメント