OpenAI asal AS mengumumkan pada 19 Oktober (waktu setempat) bahwa kemampuan model terbarunya dalam mengembangkan dan memigrasikan program telah meningkat pesat untuk bahasa pemrograman yang memiliki sedikit kode atau dokumen yang dapat digunakan AI untuk belajar, seperti COBOL, Fortran, dan Visual Basic. Untuk mengukur kemajuan tersebut, perusahaan menyiapkan dua evaluasi khusus. Dalam evaluasi pemindahan program COBOL ke bahasa lain, tingkat akurasi mencapai 97,9% saat model menggunakan pengaturan dengan tingkat penalaran lebih tinggi.
Sebelum membahas angka, ketahui dulu arti penting bahasa-bahasa lama
COBOL adalah bahasa yang lahir pada 1959. Anda mungkin terkejut dan bertanya-tanya, “Apa yang dari zaman dahulu seperti itu masih digunakan?” Namun, bahasa ini masih banyak dipakai dalam sistem lembaga keuangan dan pemerintah. Menurut penjelasan OpenAI, lebih dari 40% sistem perbankan online, 80% transaksi kartu kredit secara langsung, dan 95% transaksi ATM ditopang COBOL.
Fortran, yang juga menjadi salah satu bahasa dalam evaluasi kali ini, digunakan untuk prakiraan cuaca dan analisis keselamatan reaktor nuklir. Dibandingkan Python atau JavaScript, kode dan materi yang bisa dipelajari AI untuk bahasa ini jumlahnya terbatas. Meski begitu, Fortran tetap menopang fondasi masyarakat—sebuah keadaan yang agak paradoks.
Upaya ini disebut bermula dari masukan para pengembang dan pelanggan perusahaan yang mengatakan bahwa “model pengodean kesulitan menangani bahasa-bahasa seperti ini”. Patut dicatat bahwa persoalan yang dihadapi di lapangan menjadi titik awalnya.
Dalam evaluasi migrasi, program yang sekadar “berjalan” belum cukup untuk dinyatakan lulus
Yang patut diperhatikan adalah ketatnya evaluasi kedua. Program COBOL dipindahkan ke salah satu dari lima bahasa—C++, Java, Kotlin, Python, atau Rust—lalu diuji apakah perilakunya tetap sama dengan program asli. Syarat keberhasilannya adalah keluaran harus benar-benar identik hingga tingkat byte. Selain itu, pengujian yang digunakan tidak dipublikasikan, dan hanya dianggap berhasil jika semuanya lulus.
Contoh konkretnya mudah dipahami. Dalam operasi titik tetap COBOL, angka desimal tambahan akan dipotong kecuali pembulatan ditentukan secara eksplisit. Lalu, bagaimana jika program hasil migrasi malah membulatkan seperti kebiasaan umum? Hasil perhitungan nominal bisa saja berubah, tanpa memunculkan satu pun pesan kesalahan.
Bayangkan selisih 1 yen dalam perhitungan bank atau asuransi yang terakumulasi hingga terjadi jutaan kali, dan arti evaluasi ini pun akan terlihat. Pekerjaan tersebut lebih tepat disebut memindahkan “perilaku” kode yang secara tersirat telah memuat aturan bisnis selama bertahun-tahun ke bahasa lain secara utuh, bukan sekadar mengganti bahasa pemrograman.
Bagaimana membaca angka 97,9%?
Mari kita rangkum hasilnya. Dalam evaluasi migrasi, “GPT-6.1 Sol” mencatat akurasi 86,6% dengan pengaturan tingkat penalaran rendah. Angka GPT-5.6 Sol dengan pengaturan yang sama hanya 5,4%, selisih yang sangat besar. Biaya API-nya disebut hanya 61% dari biaya GPT-5.6 Sol. Saat tingkat penalarannya dinaikkan, akurasinya mencapai 97,9%.
Evaluasi lainnya, “MultiLangBench”, memiliki karakter yang berbeda. Tugasnya adalah membuat mesin basis data yang kompatibel dengan SQLite dari awal dalam masing-masing 20 bahasa pemrograman. “GPT-6 Astra” dengan tingkat penalaran maksimum mencatat rata-rata tingkat kelulusan tes 87,4% di 20 bahasa, naik dari 26,8% milik GPT-5.6 Sol.
Karena mudah tertukar, berikut tabel perbedaan kedua evaluasi tersebut.
【Perbandingan evaluasi】
・Evaluasi migrasi: Memindahkan COBOL ke salah satu dari 5 bahasa, lalu memeriksa apakah keluarannya identik hingga tingkat byte. GPT-6.1 Sol mencatat 86,6% dengan tingkat penalaran rendah dan 97,9% saat tingkat penalarannya dinaikkan.
・MultiLangBench: Membuat mesin basis data yang kompatibel dengan SQLite dalam 20 bahasa. Rata-rata tingkat kelulusan GPT-6 Astra adalah 87,4%.
COBOL tetap menjadi yang paling sulit
Dalam MultiLangBench, 19 dari 20 bahasa mencatat hasil di atas 83%. COBOL berada di angka 72,1%. Meski meningkat jauh dari 10,9% milik GPT-5.6 Sol, COBOL tetap menjadi bahasa yang paling sulit.
“GPT-6 Luna”, model berbiaya rendah, juga melampaui GPT-5.6 Sol dengan rata-rata 40,3%. Perkiraan biaya API per sampel adalah 0,77 dolar, sekitar 78% lebih rendah daripada 3,48 dolar untuk GPT-5.6 Sol. Lingkungan evaluasi dan rangkaian tes akan dipublikasikan di GitHub.
Kemajuan AI dan kondisi terkini pembaruan sistem lama
Ini bukan kali pertama AI digunakan untuk mendukung migrasi COBOL. Pada 2023, IBM mengumumkan “watsonx Code Assistant for Z”, yang menggunakan AI generatif untuk mengonversi COBOL ke Java. Februari tahun ini, Anthropic asal AS menulis di blog tentang dukungan Claude Code untuk memodernisasi COBOL. Hal itu dipandang pasar sebagai faktor yang mendorong penurunan saham IBM, yang mencatat persentase penurunan harian terbesar dalam sekitar 25 tahun. Perhatian pasar terhadap bidang ini begitu besar hingga satu tulisan blog saja dapat mengguncang harga saham.
Ada pula latar belakang sosialnya. Pada 2020, saat pandemi COVID-19 melanda, sistem asuransi pengangguran berbasis COBOL yang dioperasikan pemerintah negara bagian di AS dibanjiri permohonan. Sebagian dari Anda mungkin ingat bahwa kekurangan tenaga ahli yang mampu menangani sistem tersebut menjadi masalah. Apakah AI dapat masuk ke bidang yang kekurangan tenaga kerja bukan sekadar persoalan teknologi, melainkan juga menyangkut keberlanjutan layanan publik dan keuangan.
Gunakan dengan tidak menyerahkan semuanya kepada AI
Meski angka yang dicapai tinggi, OpenAI sendiri menyatakan bahwa penerapan pada perangkat lunak produksi tetap memerlukan tinjauan para ahli serta pengujian berdasarkan aturan bisnis dan dependensi sistem. Lolos uji yang memeriksa kecocokan hingga tingkat byte sekalipun belum cukup, karena di lapangan masih ada penanganan pengecualian dan koneksi ke sistem lain yang tidak tercakup dalam pengujian evaluasi.
Menurut saya, pendekatan yang realistis adalah memandang peran AI bukan sebagai “sihir pengganti sekaligus”, melainkan sebagai “subkontraktor yang mengerjakan migrasi agar mudah diverifikasi”. Ketika dokumentasi spesifikasi sistem sumber sudah hilang, kemampuan merancang cara untuk memastikan perilaku aslinya tetap terjaga akan lebih bernilai daripada kecepatan konversi. Angka 97,9% menunjukkan bahwa, dengan asumsi manusia tetap menangani proses verifikasi, peluang untuk memulai migrasi telah terbuka lebar.
コメント