NVIDIA ha anunciado que publicará próximamente «Nemotron-pretraining-Indic-v1», un conjunto de datos de unos 2,8 billones de tokens para el preentrenamiento de IA en las 22 lenguas recogidas en la Constitución india, desarrollado conjuntamente con el Instituto Indio de Tecnología de Madrás (IIT Madras) y AI4Bharat, de la misma institución. También planea publicar el pipeline compatible con GPU utilizado para generar los datos. La idea es combinar datos sintéticos basados en materiales en inglés con textos naturales escritos localmente.
Un enorme corpus con las 22 lenguas de la India en 34 combinaciones
El conjunto abarca las 22 lenguas oficiales recogidas en la Constitución india. Entre ellas figuran el hindi, el bengalí, el tamil, el telugu y el urdu, y son la primera lengua de alrededor del 97 % de la población del país. Según el censo de 2011, esto equivale a unos 1.200 millones de personas.
En comparación con el inglés, faltan datos para IA en las lenguas de la India. Mitesh Khapra, responsable de AI4Bharat, lleva tiempo alertando de este problema, y este conjunto de datos se presenta como un paso para reducir esa carencia.
Veamos su contenido. Las 22 lenguas cuentan con datos en su escritura estándar. En 12 de ellas se añade también una transcripción en alfabeto latino, lo que da lugar a 34 combinaciones de lengua y sistema de escritura. El volumen es de unos 2,601 billones de tokens en escritura estándar y unos 224.600 millones en transcripción al alfabeto latino. Ambas cifras se han calculado con el tokenizador de Gemma-4.
Conviene tener en cuenta que esta cifra no representa el «número de documentos únicos en inglés». Se cuentan varias veces los datos traducidos a partir de una misma fuente y los que presentan distintas formas de escritura. La transcripción en alfabeto latino no es una traducción al inglés, sino una forma de escribir las lenguas de la India con caracteres latinos. También puede servir para que los modelos aprendan el mismo contenido en otro sistema de escritura.
Si pensamos en la cantidad de personas que escriben hindi con caracteres latinos en correos electrónicos y redes sociales, este diseño resulta práctico. En japonés, sería algo así como enseñar tanto textos escritos en hiragana y kanji como textos introducidos con caracteres latinos.
Un proceso de generación en cuatro fases que va más allá de la traducción
Los materiales proceden de 15 subconjuntos de Nemotron-CC-v2 e incluyen textos web, preguntas y respuestas, matemáticas y código, entre otros. Se procesan con NeMo Data Designer, la herramienta de código abierto de NVIDIA para generar datos sintéticos, en un flujo integral que abarca desde la traducción hasta la evaluación de calidad y la corrección.
Los documentos de salida conservan el identificador del documento original, lo que permite rastrear de cuál procede cada dato. La facilidad para realizar auditorías posteriores es una de las ventajas de los datos abiertos.
El proceso para las 12 lenguas consta de cuatro fases: traducir documentos en inglés, evaluar la calidad, corregir los resultados con puntuaciones bajas y convertirlos al alfabeto latino. Para traducir se utiliza Gemma-4-31B-it, que traduce cada documento completo de una sola vez. El objetivo es mantener el contexto entre párrafos, tablas y fórmulas. También cabe destacar que las instrucciones del prompt indican que el código, las fórmulas y las URL deben conservarse sin traducir.
El mismo modelo evalúa la traducción comparándola con el original. Los criterios abarcan el significado, la fluidez, la terminología, el estilo y el formato, y se inspiran en MQM, un marco para clasificar errores de traducción. Se aceptan las traducciones con una puntuación de al menos 75 sobre 100; las que no alcanzan ese umbral se corrigen a partir de los comentarios de la evaluación y se vuelven a puntuar. Gracias a estas correcciones se recuperaron 438.400 millones de tokens entre datos en escritura estándar y en alfabeto latino, ya incluidos en el total.
También hay un proceso específico para crear la transcripción en alfabeto latino. En lugar de transliterar directamente desde el inglés, se parte de la traducción ya aprobada en escritura estándar, se convierte y se compara el resultado con la traducción original. Las primeras comparaciones manuales indicaron que este método en dos fases generaba menos contenido inventado y dejaba menos restos de inglés.
Las diez lenguas restantes se cubren con un modelo de traducción específico
Las diez lenguas que no cuentan con transcripción en alfabeto latino son el asamés, el bodo, el dogri, el cachemir, el konkani, el maithili, el manipuri, el sánscrito, el santali y el sindhi. Para traducirlas se utiliza «Indic Translate», un modelo de traducción de Bodhan AI, una organización sin ánimo de lucro surgida de IIT Madras.
Gemma-4-31B-it se encarga de la evaluación y se aplica el mismo umbral de 75 puntos. Sin embargo, no se reescriben los textos a partir de los comentarios y solo se generan datos en escritura estándar.
También se aplican ajustes específicos para cada lengua. Los documentos largos en santali se traducen por fragmentos con ventanas solapadas y luego se reconstruyen. En el caso del manipuri, primero se traduce al alfabeto bengalí y después se convierte a su escritura propia, la meitei. Es una muestra de las soluciones que requiere la gran diversidad de sistemas de escritura de la India.
¿Hasta qué punto se aprecia una mejora del rendimiento?
Como indicio de su eficacia se presentó el preentrenamiento continuado de Nemotron 3.5 Super VL. En esta fase, se destinó a una mezcla de parte de las 12 lenguas del corpus y textos naturales en lenguas de la India el 10 % del presupuesto de entrenamiento, de 100.000 millones de tokens: es decir, 10.000 millones. El 90 % restante mantuvo las proporciones de la mezcla de entrenamiento anterior.
Como resultado, mejoraron los cinco indicadores —MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy e Indic GSM8K—, con aumentos de entre 4,98 y 9,82 puntos. Sin embargo, esta comparación enfrenta los checkpoints anteriores y posteriores al preentrenamiento continuo. No cuantifica por separado la contribución de los datos sintéticos. Lo que sí queda claro es que funcionó la combinación de datos sintéticos y texto natural.
En el modelo completo, las puntuaciones mejoraron en cinco de las seis evaluaciones de tareas que miden conocimientos, razonamiento, matemáticas, programación y traducción, en comparación con la generación anterior, Nemotron 3 Super. Por otro lado, IFEval 1.5, que mide el seguimiento de instrucciones, bajó 2,04 puntos.
En IndiVibe, la evaluación de Sarvam AI que mide la calidad de las conversaciones en lenguas indias, mejoraron los cuatro aspectos evaluados: utilidad, fluidez, fidelidad al idioma y al sistema de escritura, y adecuación de la longitud de las respuestas.
No basta con publicar los datos: también hay que saber aprovecharlos
Lo más llamativo de esta publicación es que se ha abierto no solo el acceso a los datos, sino también el proceso para crearlos. El complemento de traducción Nemotron Bharat, destinado a NeMo Data Designer, incluye prompts de traducción y evaluación, una función de reescritura, segmentación de documentos en ventanas y asistencia para la conversión de escritura. Así, las empresas e instituciones de investigación que dispongan de documentos propios pueden crear datos de otros ámbitos siguiendo el mismo procedimiento.
Las pautas de uso también son concretas. Primero, hay que probarlo con una pequeña cantidad de documentos propios y comprobar que se conservan el código, las fórmulas y el formato. Después de revisarlos con hablantes de las lenguas locales, se puede ampliar el proceso. El complemento devuelve candidatos y puntuaciones, por lo que cada equipo decide, según sus propios criterios de selección, qué registros incluir en el entrenamiento. Para cargar los datos se puede utilizar la función de streaming de Hugging Face, que permite comprobar su contenido sin descargar el conjunto completo.
Los datos de traducción no sustituyen a los textos escritos originalmente en cada lugar. Los textos redactados de forma natural son los que aportan conocimientos locales y contexto cultural. Este corpus se ha diseñado para utilizarse en combinación con esos textos naturales.
La evaluación de calidad está automatizada en gran medida y la revisión humana se centra principalmente en muestras. En el proceso para 12 idiomas, el modelo utilizado para traducir también actúa como evaluador, por lo que el grupo de 10 idiomas requiere una validación más amplia por parte de hablantes nativos. La eliminación de duplicados basada en ID de origen suprime los duplicados generados durante el procesamiento, pero no agrupa contenidos similares por su significado.
Con el apoyo de NVIDIA, AI4Bharat también está desarrollando Indic-LLM-Eval-Suite, un conjunto de pruebas de evaluación. Así, el esfuerzo por ampliar los datos avanza en paralelo al desarrollo de herramientas para medirlos. ¿Podrá reforzarse una base de la IA hasta ahora centrada en el inglés mediante evaluaciones específicas para cada idioma y su combinación con textos naturales? Este corpus para las 22 lenguas de la India podría convertirse en una prueba decisiva.
コメント