NVIDIA a annoncé la publication prochaine de « Nemotron-pretraining-Indic-v1 », un jeu de données d’environ 2 800 milliards de tokens destiné au préentraînement de l’IA et couvrant les 22 langues officielles inscrites dans la Constitution indienne. Ce jeu a été développé en collaboration avec l’Institut indien de technologie de Madras (IIT Madras) et AI4Bharat, qui y est rattaché. L’entreprise prévoit également de publier le pipeline compatible avec les GPU utilisé pour générer les données. L’approche consiste à associer des données synthétiques produites à partir de ressources en anglais à des textes naturels rédigés localement.
Un immense corpus couvrant 22 langues indiennes selon 34 combinaisons
Le corpus couvre les 22 langues officielles inscrites dans la Constitution indienne, dont l’hindi, le bengali, le tamoul, le télougou et l’ourdou. Elles sont la première langue d’environ 97 % de la population indienne, soit près de 1,2 milliard de personnes selon le recensement de 2011.
Les langues indiennes disposent de moins de données pour l’IA que l’anglais. Mitesh Khapra, qui dirige AI4Bharat, dénonce ce manque depuis longtemps. Ce nouveau jeu de données est présenté comme un moyen de contribuer à le combler.
Examinons son contenu. Les 22 langues disposent toutes de données écrites dans leur écriture standard. Pour 12 d’entre elles, s’ajoute une transcription en caractères latins, autrement dit en alphabet latin, ce qui porte à 34 le nombre de combinaisons entre langue et système d’écriture. Le corpus compte environ 2 601 milliards de tokens en écriture standard et 224,6 milliards en caractères latins. Dans les deux cas, le comptage a été effectué avec le tokenizer de Gemma-4.
Il faut garder à l’esprit que ces chiffres ne correspondent pas au « nombre de documents anglais uniques ». Les traductions issues d’une même source et les données écrites dans différents systèmes d’écriture sont comptées séparément. La version en caractères latins n’est pas une traduction en anglais : elle retranscrit les langues indiennes en alphabet latin. Elle permet aussi d’entraîner les modèles sur un même contenu écrit dans un autre système d’écriture.
Cette approche est pratique, si l’on considère que beaucoup de personnes écrivent l’hindi en caractères latins dans leurs e-mails et sur les réseaux sociaux. Pour le japonais, cela reviendrait peut-être à entraîner un modèle à la fois sur des textes en hiragana et en kanji et sur des textes saisis en romaji.
Un processus de génération en quatre étapes, qui ne s’arrête pas à la traduction
Les données sources proviennent de 15 sous-ensembles de Nemotron-CC-v2. Elles comprennent des textes du Web, des questions-réponses, des contenus mathématiques et du code. NVIDIA les traite avec NeMo Data Designer, son outil open source de génération de données synthétiques, dans un processus complet qui va de la traduction à l’évaluation de la qualité et à la correction.
Les identifiants des documents sources sont conservés dans les données générées, ce qui permet de retrouver leur origine. Cette facilité d’audit a posteriori est l’un des atouts des données ouvertes.
Pour les 12 langues concernées, le processus comprend quatre étapes : la traduction des documents anglais, l’évaluation de la qualité, la correction des résultats mal notés et leur conversion en caractères latins. La traduction est réalisée avec Gemma-4-31B-it, en traitant chaque document dans son intégralité. L’objectif est de préserver le contexte entre les paragraphes, les tableaux et les formules. Il convient également de noter que les consignes demandent de conserver sans les traduire le code, les formules et les URL.
Le même modèle évalue les traductions en les comparant aux textes originaux. Les critères portent sur le sens, la fluidité, la terminologie, le style et la mise en forme, en s’inspirant de MQM, un cadre de classification des erreurs de traduction. Les résultats obtenant au moins 75 points sur 100 sont retenus. Ceux qui n’atteignent pas ce seuil sont corrigés à l’aide des commentaires de l’évaluation, puis notés à nouveau. Cette étape a permis de récupérer 438,4 milliards de tokens, en écriture standard et en caractères latins, déjà inclus dans le total.
La méthode de création des versions en caractères latins est elle aussi réfléchie. Plutôt que de les translittérer directement depuis l’anglais, l’équipe part des traductions en écriture standard déjà validées, les convertit, puis compare le résultat à la traduction d’origine. Selon les premières comparaisons effectuées par des humains, cette méthode en deux étapes entraînait moins de contenu inventé et de traces d’anglais.
Un modèle de traduction spécialisé pour les dix autres langues
Les dix langues qui ne disposent pas de version en caractères latins sont l’assamais, le bodo, le dogri, le cachemiri, le konkani, le maithili, le manipuri, le sanskrit, le santali et le sindhi. La traduction est confiée à « Indic Translate », un modèle développé par Bodhan AI, une organisation à but non lucratif issue de l’IIT Madras.
Gemma-4-31B-it se charge de l’évaluation, avec le même seuil de 75 points pour retenir les résultats. En revanche, aucune réécriture à partir des commentaires n’est effectuée : seules des données en écriture standard sont générées.
Le traitement est également adapté à chaque langue. Les longs documents en santali sont traduits par fenêtres chevauchantes, puis reconstitués. Pour le manipuri, les textes sont d’abord traduits en écriture bengalie, puis convertis dans l’écriture propre à cette langue, le meitei mayek. Ces adaptations témoignent des particularités de l’Inde, où les systèmes d’écriture varient fortement d’une langue à l’autre.
Que peut-on déduire des gains de performance ?
Un premier indice de l’effet du corpus est fourni par le préentraînement continu de Nemotron 3.5 Super VL. À cette étape, 10 % du budget d’entraînement — soit 10 milliards de tokens sur 100 milliards — ont été consacrés à un mélange comprenant une partie des données du corpus pour ses 12 langues et des textes naturels dans des langues indiennes. Les 90 % restants ont conservé les proportions du mélange utilisé lors de l’entraînement précédent.
Au final, les scores ont progressé sur les cinq indicateurs — MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy et Indic GSM8K — de 4,98 à 9,82 points. Cette comparaison porte toutefois sur les versions du modèle avant et après le préentraînement continu. Elle ne permet pas d’isoler la contribution des seules données synthétiques. Ce qui est établi, c’est que le mélange de données synthétiques et de textes naturels a fonctionné.
Pour le modèle final dans son ensemble, les scores ont progressé dans cinq des six évaluations de tâches mesurant les connaissances, le raisonnement, les mathématiques, le code et la traduction, par rapport à l’ancienne génération Nemotron 3 Super. En revanche, IFEval 1.5, qui mesure le respect des consignes, a reculé de 2,04 points.
Dans l’évaluation « IndiVibe » de Sarvam AI, qui mesure la qualité des échanges dans les langues de l’Inde, les résultats se sont améliorés sur les quatre critères : utilité, fluidité, fidélité à la langue et à l’écriture, et adéquation de la longueur des réponses.
La publication des données ne fait pas tout : encore faut-il savoir les exploiter
Ce qui frappe dans cette publication, c’est qu’elle dévoile non seulement les données elles-mêmes, mais aussi la manière de les créer. Le plug-in de traduction « Nemotron Bharat », conçu pour NeMo Data Designer, comprend des prompts de traduction et d’évaluation, une fonction de réécriture, le découpage des documents en fenêtres et une prise en charge de la conversion d’écriture. Les entreprises et les instituts de recherche qui disposent de leurs propres documents peuvent ainsi produire des données dans d’autres domaines en suivant le même processus.
Les recommandations d’utilisation sont également précises : commencer par un essai sur un petit échantillon de documents internes, puis vérifier que le code, les formules et la mise en forme sont préservés. Il faut ensuite faire examiner les résultats par des locuteurs des langues locales avant de passer à l’échelle. Le plug-in renvoie des propositions et des scores ; chaque équipe choisit, selon sa propre politique de sélection, les entrées à intégrer à l’entraînement. Le chargement des données peut se faire avec la fonction de streaming de Hugging Face, qui permet d’en examiner le contenu sans tout télécharger.
Les données de traduction ne sauraient remplacer les textes rédigés sur place. Ce sont les textes écrits naturellement qui portent les connaissances locales et les contextes culturels. Ce corpus a été conçu pour être utilisé en complément de ces textes.
L’évaluation de la qualité est principalement automatisée, et les vérifications humaines portent surtout sur des échantillons. Dans le processus concernant 12 langues, le modèle utilisé pour la traduction fait également office d’évaluateur ; pour le volet des 10 langues, une vérification plus étendue par des locuteurs natifs est nécessaire. La déduplication par identifiant de source élimine les doublons liés au traitement, mais ne regroupe pas les contenus similaires sur le plan sémantique.
AI4Bharat met également au point, avec le soutien de NVIDIA, un ensemble de benchmarks d’évaluation baptisé « Indic-LLM-Eval-Suite ». L’effort pour étoffer les données et celui pour élaborer des outils de mesure avancent donc de concert. La base de l’IA, jusqu’ici centrée sur l’anglais, peut-elle se renforcer grâce à des évaluations propres à chaque langue et à un mélange avec des textes naturels ? Ce corpus destiné aux 22 langues de l’Inde pourrait en être le banc d’essai.
コメント