英エジンバラ大学と中国テンセント（Tencent Hunyuan）の共同研究チームは2026年10月28日、自律型コーディングAIエージェントが「AIインフラ自身のプログラム」を開発・修正できるかを厳密に測定する新しいベンチマーク「InfraDev」を発表しました。一般的なWebアプリ開発とは次元が異なる、マルチGPU環境でのシステム開発能力を問う初の本格的な評価基盤です。
これまでのコーディングAI評価（SWE-benchなど）は、主にPythonの一般的なライブラリ修正や単一CPU上で動くプログラムを対象としていました。これに対しInfraDevは、大規模言語モデルの分散学習や高速推論を支える中核オープンソース基盤である「vLLM」「Megatron-LM」「verl」の実際の開発履歴から、複数のGPUが絡み合う36件の難関タスクを抽出して構築されています。
研究チームが最新のフロンティアAIモデル群をテストした結果、最も成績が良かったモデルでもタスクの完全解決率はわずか38.9%にとどまりました。さらに衝撃的な事実として、公式の単体テストを一見クリアしたAI生成コードのうち、実に32%において「GPUメモリの深刻な肥大化」や「分散通信の状態不整合」「並列処理のデッドロック」といった致命的な隠れバグが潜んでいたことが判明しました。
「AIが自らの推論・学習エンジンを自己改良する」という未来像に向けては、表面的なテスト通過だけでなく、ハードウェア資源や並列メモリ管理まで深く理解させる新たな訓練手法が不可欠であることを示す重要な研究結果となっています（一次ソース：arXiv 公開論文）。