OpenAI, empresa estadounidense, anunció el 19 de octubre (hora local) que las capacidades de desarrollo y migración de sus modelos más recientes habían mejorado notablemente para lenguajes de programación como COBOL, Fortran y Visual Basic, de los que hay pocos códigos y documentos disponibles para entrenar a la IA. Para medir los avances, preparó dos evaluaciones propias. En la prueba de migración de programas COBOL a otros lenguajes, afirma haber obtenido un 97,9 % de precisión al aumentar la cantidad de razonamiento.
La relevancia de los lenguajes antiguos, antes que las cifras
COBOL nació en 1959. Puede que a algunos les sorprenda que algo tan antiguo siga en funcionamiento, pero todavía se utiliza ampliamente en los sistemas de entidades financieras y organismos gubernamentales. Según OpenAI, COBOL sustenta más del 40 % de los sistemas de banca en línea, el 80 % de las transacciones presenciales con tarjeta de crédito y el 95 % de las operaciones en cajeros automáticos.
Fortran, otro de los lenguajes incluidos en la evaluación, se utiliza para las previsiones meteorológicas y los análisis de seguridad de reactores nucleares. En comparación con Python o JavaScript, hay una cantidad limitada de código y documentación con la que la IA pueda aprender. Aun así, existe esta cierta paradoja: son lenguajes que sustentan los cimientos de la sociedad.
La iniciativa, según se explica, surgió a raíz de los comentarios de desarrolladores y clientes empresariales, que señalaban que los modelos de programación tenían dificultades con estos lenguajes. Conviene tener presente que el punto de partida fueron problemas reales del día a día.
Una evaluación de migración en la que «funcionar» no basta para aprobar
Lo más llamativo es el rigor de la segunda evaluación. Consiste en migrar un programa COBOL a C++, Java, Kotlin, Python o Rust y comprobar si conserva el mismo comportamiento que el programa original. Para considerarlo un éxito, la salida debía coincidir exactamente byte a byte. Además, se utilizaron pruebas no publicadas y solo se contabilizaba como éxito si se superaban todas.
Un ejemplo permite entenderlo mejor. En las operaciones de coma fija de COBOL, las cifras decimales sobrantes se truncan, salvo que se especifique el redondeo. ¿Qué ocurriría si el programa migrado redondeara al entero más próximo, como suele hacerse por costumbre? No aparecería ningún error, pero el resultado del cálculo de una cantidad podría ser distinto.
Si pensamos en cómo las diferencias de un yen pueden acumularse en millones de operaciones bancarias o de seguros, se entiende el sentido de esta evaluación. Más que sustituir un lenguaje por otro, lo que se hace es trasladar íntegramente a otro lenguaje el «comportamiento» de un código en el que se han ido incorporando de forma implícita reglas de negocio durante años.
Cómo interpretar la cifra del 97,9 %
Resumamos los resultados. En la evaluación de migración, «GPT-6.1 Sol» obtuvo un 86,6 % de precisión con un nivel de razonamiento bajo. En las mismas condiciones, «GPT-5.6 Sol» alcanzó un 5,4 %, una diferencia considerable. Se afirma que el coste de la API se reduce al 61 % del de GPT-5.6 Sol. Al aumentar la cantidad de razonamiento, la precisión llegó al 97,9 %.
La otra evaluación, «MultiLangBench», tiene un enfoque diferente. Consiste en crear desde cero un motor de base de datos compatible con SQLite en cada uno de 20 lenguajes de programación. «GPT-6 Astra», con el nivel máximo de razonamiento, obtuvo una tasa media de aprobación del 87,4 % en las pruebas de los 20 lenguajes, frente al 26,8 % de GPT-5.6 Sol.
Como es fácil confundirlas, presentamos en una tabla las diferencias entre las dos evaluaciones.
【Comparación de las evaluaciones】
・Evaluación de migración: se migra COBOL a uno de cinco lenguajes y se comprueba que la salida coincida byte a byte. GPT-6.1 Sol obtiene un 86,6 % con un nivel de razonamiento bajo y un 97,9 % al aumentar la cantidad de razonamiento.
・MultiLangBench: se construye un motor de base de datos compatible con SQLite en 20 lenguajes. GPT-6 Astra obtiene una tasa media de aprobación del 87,4 %.
COBOL sigue siendo el más difícil
En MultiLangBench, 19 de los 20 lenguajes superaron el 83 %. COBOL obtuvo un 72,1 %. Aunque supone un gran avance frente al 10,9 % de GPT-5.6 Sol, sigue siendo el lenguaje más difícil.
«GPT-6 Luna», el modelo de bajo coste, también superó a GPT-5.6 Sol, con una media del 40,3 %. El coste estimado de la API por muestra es de 0,77 dólares, alrededor de un 78 % menos que los 3,48 dólares de GPT-5.6 Sol. Está previsto publicar en GitHub el entorno de evaluación y el conjunto de pruebas.
El estado actual de los avances de la IA y la modernización de sistemas heredados
Esta no es la primera iniciativa para impulsar la migración de COBOL con IA. En 2023, IBM anunció «watsonx Code Assistant for Z», una herramienta que convierte COBOL a Java mediante IA generativa. En febrero de este año, la estadounidense Anthropic defendió en un blog que Claude Code podía ayudar a modernizar COBOL. La noticia se consideró un factor que influyó en la cotización de IBM, que registró su mayor caída en un solo día en unos 25 años. El hecho de que una sola entrada de blog pueda sacudir las acciones muestra hasta qué punto el mercado está pendiente de este sector.
También hay un trasfondo social. En 2020, durante la pandemia de COVID-19, las solicitudes desbordaron los sistemas de seguro de desempleo basados en COBOL que gestionaban los gobiernos estatales de Estados Unidos. Quizá algunos recuerden que la falta de técnicos capaces de atenderlos se convirtió en un problema. La posibilidad de que la IA llegue a ámbitos con escasez de personal no es solo una cuestión tecnológica: afecta a la sostenibilidad de la administración pública y las finanzas.
Usarla sin dejarlo todo en sus manos
A pesar de las elevadas cifras, la propia OpenAI señala que, para aplicar estas herramientas a software en producción, sigue siendo necesario que especialistas revisen los resultados y los prueben teniendo en cuenta las reglas de negocio y las dependencias del sistema. Aunque se superen las pruebas que comprueban la coincidencia byte a byte, en los sistemas reales quedan casos excepcionales y conexiones con otros sistemas que las pruebas de evaluación no contemplan.
Creo que lo más realista es entender el papel de la IA no como una «solución mágica que lo sustituye todo de golpe», sino como un «subcontratista que facilita la migración de forma verificable». Cuando se han perdido las especificaciones del sistema de origen, probablemente tenga más valor diseñar cómo comprobar que se reproduce su comportamiento original que convertirlo rápidamente. La cifra del 97,9 % indica que, partiendo de la premisa de que las personas se encarguen de las comprobaciones, el acceso a la migración se ha ampliado de golpe.
コメント