A norte-americana OpenAI anunciou a 19 de outubro (hora local) que melhorou significativamente a capacidade dos seus modelos mais recentes para desenvolver e migrar código em linguagens de programação como COBOL, Fortran e Visual Basic, para as quais há pouco código ou documentação disponível para a IA aprender. Para medir os progressos, criou duas avaliações próprias. Na avaliação de migração de programas COBOL para outras linguagens, registou uma taxa de acerto de 97,9% com uma configuração que aumentava o nível de raciocínio.
A relevância das linguagens antigas, antes dos números
COBOL é uma linguagem criada em 1959. Talvez haja quem se surpreenda: «Ainda há coisas tão antigas em funcionamento?» Mas continua a ser amplamente utilizada em sistemas de instituições financeiras e organismos governamentais. Segundo a OpenAI, mais de 40% dos sistemas de banca online, 80% das transações presenciais com cartão de crédito e 95% das transações em caixas multibanco são suportados por COBOL.
O Fortran, também incluído nesta avaliação, é utilizado em previsões meteorológicas e análises de segurança de reactores nucleares. Em comparação com Python e JavaScript, há menos código e documentação para a IA aprender. Ainda assim, esta linguagem sustenta as bases da sociedade — uma situação algo paradoxal.
A iniciativa surgiu na sequência de comentários de programadores e clientes empresariais, que afirmavam que «os modelos de programação têm dificuldades com estas linguagens». Vale a pena ter presente que o trabalho partiu de problemas enfrentados no terreno.
Uma avaliação de migração em que não basta «funcionar»
O rigor da segunda avaliação merece atenção. Consistia em migrar um programa COBOL para C++, Java, Kotlin, Python ou Rust e verificar se mantinha o mesmo comportamento do programa original. Para ser considerado bem-sucedido, o resultado tinha de ser exactamente igual, byte a byte. Além disso, foram utilizados testes não públicos e só se contabilizava como sucesso a aprovação em todos eles.
Um exemplo concreto ajuda a perceber. Nas operações de vírgula flutuante de COBOL, as casas decimais excedentárias são truncadas, a menos que o arredondamento seja explicitado. O que aconteceria se o programa migrado, por hábito, arredondasse os valores? Sem surgir qualquer erro, o resultado dos cálculos dos montantes poderia ficar diferente.
Se imaginarmos uma diferença de 1 iene nos cálculos de bancos ou seguradoras a acumular-se em milhões de operações, percebemos a importância desta avaliação. Em vez de uma simples substituição de linguagem, talvez seja mais correcto descrever o trabalho como uma transferência para outra linguagem do «comportamento» de código que incorpora, de forma implícita, regras de negócio acumuladas ao longo de muitos anos.
Como interpretar o número de 97,9%
Vejamos os resultados. Na avaliação de migração, o «GPT-6.1 Sol», com um nível de raciocínio baixo, obteve uma taxa de acerto de 86,6%. O GPT-5.6 Sol, com a mesma configuração, ficou-se pelos 5,4%, uma diferença considerável. Segundo a OpenAI, o custo da API foi reduzido para 61% do valor do GPT-5.6 Sol. Ao aumentar o nível de raciocínio, a taxa de acerto chegou aos 97,9%.
A outra avaliação, «MultiLangBench», tem características diferentes. O desafio consiste em criar de raiz um motor de base de dados compatível com SQLite em cada uma de 20 linguagens de programação. O «GPT-6 Astra», com o nível de raciocínio no máximo, obteve uma taxa média de aprovação nos testes de 87,4% nas 20 linguagens, acima dos 26,8% do GPT-5.6 Sol.
Como é fácil confundir as duas avaliações, resumimos as diferenças numa tabela.
【Comparação das avaliações】
・Avaliação de migração: migrar COBOL para uma de cinco linguagens e verificar se o resultado é idêntico byte a byte. O GPT-6.1 Sol obteve 86,6% com um nível de raciocínio baixo e 97,9% com um nível de raciocínio mais elevado.
・MultiLangBench: construir um motor de base de dados compatível com SQLite em 20 linguagens. O GPT-6 Astra obteve uma taxa média de aprovação de 87,4%.
COBOL continua a ser a linguagem mais difícil
Na MultiLangBench, 19 das 20 linguagens ultrapassaram os 83%. COBOL ficou nos 72,1%. Apesar da grande subida face aos 10,9% do GPT-5.6 Sol, continua a ser considerada a linguagem mais difícil.
O modelo de baixo custo «GPT-6 Luna» também superou o GPT-5.6 Sol, com uma média de 40,3%. O custo estimado da API por amostra é de 0,77 dólares, cerca de 78% abaixo dos 3,48 dólares do GPT-5.6 Sol. O ambiente de avaliação e o conjunto de testes serão disponibilizados no GitHub.
O progresso da IA e o estado actual da modernização de sistemas legados
Esta não é a primeira iniciativa para recorrer à IA na migração de COBOL. Em 2023, a IBM anunciou o «watsonx Code Assistant for Z», que utiliza IA generativa para converter COBOL em Java. Em fevereiro deste ano, a norte-americana Anthropic defendeu, num artigo de blogue, que o Claude Code podia ajudar a modernizar COBOL. O artigo foi apontado como um dos factores que levaram as acções da IBM a registar a maior queda diária em cerca de 25 anos. O facto de um único artigo de blogue poder abalar as acções mostra o interesse do mercado nesta área.
Há também um contexto social. Em 2020, durante a pandemia de COVID-19, os sistemas de subsídio de desemprego baseados em COBOL, operados pelos governos estaduais dos EUA, foram inundados por pedidos. Talvez alguns se recordem de como a falta de técnicos capazes de responder a essa procura se tornou um problema. A possibilidade de a IA entrar em áreas com falta de mão de obra não é apenas uma questão tecnológica: está também em causa a sustentabilidade da administração pública e do sector financeiro.
Utilizar sem deixar tudo a cargo da IA
Apesar dos números elevados, a própria OpenAI afirma que, para aplicar estes sistemas a software em produção, continuam a ser necessárias revisões por especialistas e testes à luz das regras de negócio e das dependências do sistema. Mesmo que os testes de correspondência byte a byte sejam aprovados, os sistemas em uso continuam a incluir tratamento de exceções e ligações a outros sistemas que os testes de avaliação não preveem.
Considero mais realista encarar o papel da IA não como uma «fórmula mágica para substituir tudo de uma vez», mas como o de um subcontratado que conduz o trabalho de migração de forma fácil de verificar. Quando se perderam as especificações do sistema de origem, a capacidade de conceber formas de confirmar se o comportamento original foi reproduzido terá mais valor do que a rapidez da conversão. O número de 97,9% mostra que, partindo do princípio de que os humanos assumem o trabalho de verificação, o acesso à migração se alargou de forma drástica.
コメント