NVIDIA mengumumkan akan segera merilis “Nemotron-pretraining-Indic-v1”, kumpulan data untuk prapelatihan AI yang berisi sekitar 2,8 triliun token dan mencakup 22 bahasa yang ditetapkan dalam Konstitusi India. Kumpulan data ini dikembangkan bersama Institut Teknologi India Madras (IIT Madras) dan AI4Bharat, yang berada di bawah institusi tersebut. NVIDIA juga berencana merilis pipeline yang kompatibel dengan GPU untuk menghasilkan data. Data sintetis yang dibuat dari materi berbahasa Inggris ini dirancang untuk digunakan bersama teks alami yang ditulis secara lokal.
Korpus raksasa untuk 22 bahasa India dalam 34 kombinasi
Cakupannya adalah 22 bahasa resmi yang tercantum dalam Konstitusi India, termasuk Hindi, Bengali, Tamil, Telugu, dan Urdu. Bahasa-bahasa tersebut merupakan bahasa pertama bagi sekitar 97% penduduk India. Berdasarkan sensus 2011, jumlahnya mencapai sekitar 1,2 miliar orang.
Dibandingkan dengan bahasa Inggris, data untuk melatih AI dalam bahasa-bahasa India masih kurang. Mitesh Khapra, pimpinan AI4Bharat, telah lama menyuarakan masalah ini. Data yang dirilis kali ini diharapkan menjadi salah satu langkah untuk mengatasi kekurangan tersebut.
Untuk semua 22 bahasa, tersedia data yang ditulis menggunakan aksara standar masing-masing. Untuk 12 di antaranya, tersedia pula bentuk penulisan dalam aksara Latin, sehingga terdapat 34 kombinasi bahasa dan sistem aksara. Jumlah tokennya sekitar 2 triliun 601 miliar untuk aksara standar dan 224,6 miliar untuk penulisan dalam aksara Latin. Kedua angka tersebut dihitung menggunakan tokenizer Gemma-4.
Perlu diperhatikan bahwa angka ini bukan jumlah “dokumen berbahasa Inggris yang unik”. Data terjemahan dan data dalam bentuk penulisan berbeda yang berasal dari sumber yang sama dihitung secara bertumpuk. Penulisan dalam aksara Latin bukanlah terjemahan ke bahasa Inggris, melainkan bahasa-bahasa India yang ditulis dengan gaya romanisasi. Data ini juga dapat digunakan untuk melatih model mempelajari isi yang sama dalam aksara berbeda.
Jika melihat kenyataan bahwa banyak orang mengetik dalam bahasa Hindi menggunakan aksara Latin di email dan media sosial, rancangan ini tampak praktis. Untuk bahasa Jepang, mungkin analoginya seperti melatih model dengan teks dalam hiragana dan kanji sekaligus teks yang diketik menggunakan huruf Latin.
Proses pembuatan empat tahap yang tak berhenti pada penerjemahan
Materinya berasal dari 15 subset Nemotron-CC-v2, termasuk teks web, tanya jawab, matematika, dan kode. Semua materi ini diproses menggunakan NeMo Data Designer, perangkat sumber terbuka NVIDIA untuk membuat data sintetis, dalam alur terpadu yang mencakup penerjemahan, penilaian kualitas, hingga perbaikan.
Identitas dokumen sumber tetap disertakan dalam hasilnya, sehingga asal data dapat dilacak. Kemudahan untuk melakukan audit di kemudian hari merupakan salah satu keunggulan data terbuka.
Untuk 12 bahasa, prosesnya terdiri atas empat tahap: menerjemahkan dokumen berbahasa Inggris, menilai kualitas, memperbaiki hasil dengan nilai rendah, lalu mengubahnya ke aksara Latin. Penerjemahan dilakukan dengan Gemma-4-31B-it, yang menerjemahkan dokumen secara utuh sekaligus. Tujuannya adalah mempertahankan konteks yang melintasi paragraf, tabel, dan rumus. Perlu dicatat pula bahwa prompt menginstruksikan model untuk mempertahankan kode, rumus, dan URL tanpa menerjemahkannya.
Model yang sama menilai hasil terjemahan dengan membandingkannya dengan teks sumber. Penilaian mencakup makna, kelancaran, terminologi, gaya, dan format, dengan mengacu pada MQM, kerangka klasifikasi kesalahan terjemahan. Hasil dengan nilai minimal 75 dari 100 diterima. Hasil di bawah ambang tersebut diperbaiki berdasarkan umpan balik penilaian, lalu dinilai kembali. Proses perbaikan ini menyelamatkan 438,4 miliar token dalam aksara standar dan Latin, yang sudah termasuk dalam jumlah total.
Pembuatan versi aksara Latin juga dirancang dengan cermat. Alih-alih meromanisasi langsung dari bahasa Inggris, prosesnya dimulai dari terjemahan beraksara standar yang telah diterima, lalu hasil konversinya dibandingkan dengan terjemahan tersebut. Perbandingan awal secara manual menunjukkan bahwa metode dua tahap ini menghasilkan lebih sedikit informasi rekaan dan lebih sedikit sisa teks berbahasa Inggris.
10 bahasa lainnya menggunakan model penerjemahan khusus
Sepuluh bahasa yang tidak memiliki versi dalam aksara Latin adalah Assam, Bodo, Dogri, Kashmir, Konkani, Maithili, Manipuri, Sanskerta, Santali, dan Sindhi. Penerjemahannya menggunakan “Indic Translate”, model terjemahan dari Bodhan AI, organisasi nirlaba yang didirikan di IIT Madras.
Penilaian dilakukan oleh Gemma-4-31B-it dengan ambang penerimaan yang sama, yaitu 75. Namun, hasilnya tidak ditulis ulang berdasarkan umpan balik; data yang dihasilkan hanya menggunakan aksara standar.
Penyesuaian khusus juga dilakukan untuk tiap bahasa. Dokumen panjang berbahasa Santali diterjemahkan dengan membaginya ke dalam jendela yang saling tumpang tindih, lalu disusun kembali. Untuk bahasa Manipuri, teks terlebih dahulu diterjemahkan ke dalam aksara Bengali, kemudian dialihkan ke aksara Meitei yang khusus digunakan untuk bahasa tersebut. Ini merupakan contoh penyesuaian yang diperlukan di India, mengingat sistem aksara tiap bahasa sangat beragam.
Seberapa jauh peningkatan kinerja dapat disimpulkan?
Salah satu petunjuk mengenai dampaknya ditunjukkan melalui prapelatihan lanjutan Nemotron 3.5 Super VL. Pada tahap ini, dari anggaran pelatihan sebesar 100 miliar token, 10% atau 10 miliar token dialokasikan untuk campuran sebagian data 12 bahasa dari korpus ini dan teks alami dalam bahasa-bahasa India. Untuk 90% sisanya, proporsi campuran pelatihan sebelumnya dipertahankan.
Hasilnya, skor meningkat pada kelima metrik—MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy, dan Indic GSM8K—dengan kenaikan 4,98 hingga 9,82 poin. Namun, perbandingan ini menunjukkan checkpoint sebelum dan sesudah prapelatihan lanjutan. Angka tersebut tidak mengisolasi kontribusi data sintetis saja. Yang dapat dipastikan adalah bahwa perpaduan data sintetis dan teks alami terbukti efektif.
Jika melihat model secara keseluruhan, skornya meningkat pada lima dari enam evaluasi tugas yang mengukur pengetahuan, penalaran, matematika, kode, dan penerjemahan, dibandingkan dengan Nemotron 3 Super generasi sebelumnya. Sementara itu, skor IFEval 1.5, yang mengukur kemampuan mengikuti instruksi, turun 2,04 poin.
Dalam evaluasi Sarvam AI, “IndiVibe”, yang mengukur kualitas percakapan dalam bahasa-bahasa India, keempat aspek—kebermanfaatan, kelancaran, kesetiaan terhadap bahasa dan aksara, serta kepantasan panjang jawaban—semuanya meningkat.
Bukan sekadar membuka data, tetapi juga menguasai pemanfaatannya
Yang menonjol dari publikasi kali ini bukan hanya datanya, tetapi juga dibukanya proses pembuatannya. Plugin penerjemahan “Nemotron Bharat” untuk NeMo Data Designer mencakup prompt penerjemahan dan evaluasi, fitur penulisan ulang, pembagian dokumen ke dalam jendela, serta bantuan konversi aksara. Dengan begitu, perusahaan dan lembaga penelitian yang memiliki dokumen sendiri dapat membuat data untuk bidang lain dengan prosedur yang sama.
Panduan penggunaannya juga konkret. Mulailah dengan sejumlah kecil dokumen internal, lalu periksa apakah kode, rumus, dan format tetap terjaga. Perluas skalanya setelah dokumen ditinjau oleh penutur bahasa setempat. Plugin tersebut memberikan kandidat dan skor, sehingga setiap tim menentukan data mana yang akan digunakan untuk pelatihan berdasarkan kebijakan seleksi mereka. Data dapat dimuat menggunakan fitur streaming Hugging Face, sehingga isinya bisa diperiksa tanpa mengunduh seluruhnya.
Data terjemahan tidak dapat menggantikan teks yang ditulis langsung dalam bahasa setempat. Pengetahuan lokal dan konteks budaya terkandung dalam teks yang ditulis secara alami. Korpus ini dirancang untuk digunakan bersama teks-teks alami tersebut.
Evaluasi kualitas sebagian besar dilakukan secara otomatis, sedangkan pemeriksaan manusia terutama dilakukan terhadap sampel. Dalam proses untuk 12 bahasa, model yang digunakan untuk menerjemahkan juga bertindak sebagai evaluator. Karena itu, untuk 10 bahasa lainnya diperlukan validasi yang lebih luas oleh penutur asli. Penghapusan duplikasi berdasarkan ID sumber menghilangkan duplikasi dalam pemrosesan, tetapi tidak mengelompokkan konten serupa berdasarkan maknanya.
Dengan dukungan NVIDIA, AI4Bharat juga menyusun kumpulan benchmark evaluasi “Indic-LLM-Eval-Suite”. Upaya memperbanyak data berjalan beriringan dengan upaya menyiapkan tolok ukur untuk mengukurnya. Mampukah fondasi AI yang selama ini berpusat pada bahasa Inggris diperkuat melalui evaluasi per bahasa dan perpaduan dengan teks alami? Korpus untuk 22 bahasa India ini berpotensi menjadi ajang pembuktian.
コメント