Points clés

OpenAI a publié de nouvelles évaluations pour les modèles de codage dans des langages de programmation à faibles ressources.

Le rapport se concentre notamment sur COBOL, Fortran et Visual Basic.

MultiLangBench teste si un modèle peut construire un moteur de base de données compatible SQLite dans 20 langages.

OpenAI a également créé une évaluation de migration COBOL qui vérifie la préservation du comportement.

Les résultats sont les propres résultats de benchmark d'OpenAI, et non une preuve indépendante pour chaque système hérité.

Ce qu'OpenAI a publié

OpenAI a publié de nouvelles évaluations des modèles de codage dans des langages de programmation à faibles ressources le 19 octobre 2026. Le rapport indique que des langages comme COBOL, Fortran et Visual Basic disposent de moins de code d'entraînement et de documentation que Python ou JavaScript. Il note aussi que ces langages apparaissent encore dans des systèmes essentiels.

L'entreprise explique avoir विकसित MultiLangBench pour tester une tâche de codage précise dans 20 langages. La tâche consiste à construire un moteur de base de données compatible SQLite. OpenAI indique que le benchmark commence avec une base de données initiale et une requête SQL. Il compare ensuite la base de données modifiée avec la sortie de référence de SQLite.

OpenAI a également développé une évaluation distincte de migration COBOL. Cette évaluation vérifie si un programme réécrit préserve son comportement. C'est important, car le problème pratique ne consiste pas seulement à réécrire du code. Il s'agit aussi de conserver intactes les règles métier et le comportement existants pendant la maintenance ou la migration.

Résultats de benchmark rapportés

OpenAI a rapporté des résultats pour plusieurs modèles dans MultiLangBench. GPT-6 Astra a obtenu en moyenne un taux de réussite de 87,4 % au test avec un effort de raisonnement maximal. OpenAI indique que GPT-5.6 Sol a obtenu 26,8 % dans le même benchmark. GPT-6 Luna a obtenu 40,3 %. OpenAI a également estimé un coût API moyen par échantillon de 0,77 $ pour GPT-6 Luna, contre 3,48 $ pour GPT-5.6 Sol.

Dans l'évaluation distincte de migration COBOL, OpenAI rapporte que GPT-6.1 Sol a atteint 86,6 % de précision avec un faible effort de raisonnement. OpenAI indique que GPT-5.6 Sol a atteint 5,4 % dans ce contexte. GPT-6.1 Sol a atteint 97,9 % avec un effort plus élevé.

Ces chiffres proviennent des propres documents de benchmark d'OpenAI. Ils sont utiles pour comparer les modèles à l'intérieur du rapport. Ils ne constituent pas une preuve indépendante des performances sur chaque application héritée. Cette distinction est importante, car les systèmes réels peuvent différer des tâches de benchmark.

Pourquoi la conception du benchmark est importante

La conception du benchmark se concentre sur le comportement, et pas seulement sur la syntaxe. C'est un choix utile pour le travail sur les logiciels hérités. Un programme peut sembler correct après réécriture tout en se comportant différemment. L'évaluation de migration COBOL d'OpenAI tente de mesurer directement ce risque.

MultiLangBench utilise aussi une vérification de sortie concrète. Le modèle doit modifier une base de données de manière à correspondre à la sortie SQLite de référence. Cela rend la tâche plus spécifique qu'une consigne de codage générale. Cela fournit aussi un signal de réussite ou d'échec plus clair.

Le rapport suggère que les langages à faibles ressources nécessitent des méthodes d'évaluation différentes de celles des langages grand public. OpenAI présente cela comme lié au manque de code d'entraînement et de documentation. Les documents de benchmark ont été publiés en même temps que le rapport, ce qui permet aux lecteurs d'examiner la configuration.

Pertinence pour le Maroc

La source ne rapporte aucun fait spécifique au Maroc. Pour les lecteurs au Maroc, la leçon globale est conditionnelle : si vous travaillez avec du code hérité, la conception du benchmark doit tester la préservation du comportement, et pas seulement la génération de code.

Conclusion

Le rapport d'OpenAI apporte un regard ciblé sur les modèles de codage dans des langages disposant de moins de matériel d'entraînement. Il distingue aussi deux problèmes liés : construire du code dans des langages à faibles ressources et préserver le comportement lors d'une migration. Les gains rapportés sont solides dans les propres tests d'OpenAI, mais ils doivent être lus comme des résultats de benchmark, et non comme des garanties universelles.

Pour les équipes qui évaluent des outils similaires, le principal enseignement est simple. Mesurez la tâche qui compte. Si l'objectif est la migration, vérifiez que le programme réécrit se comporte toujours de la même manière. Si l'objectif est la génération de code, utilisez un benchmark qui reflète le langage cible et la sortie cible.