arXiv論文：LLVMの不具合修正AIを測るLLVM-Bench、実課題423件で解決率は最大21.99%

結論から言うと、AIコーディングエージェントは大規模コンパイラの修正ではまだ苦戦しています。2026年7月1日にarXivへ投稿された論文「LLVM-Bench」は、LLVMコンパイラの実際の課題423件を集め、LLMがどれだけ不具合を直せるかを測るベンチマークを提案しました。LLVMは多くのプログラミング言語や開発環境の土台で、規模が大きく、修正には深い知識が必要です。

論文では、LLVM-Gymという評価環境も作り、課題の再現、パッチ適用、コンパイラのビルド、テスト実行を自動化しました。4種類の代表的LLM、6種類の検索設定、3種類のエージェントを調べたところ、失敗の主因は無効なパッチやビルド失敗でした。一方で、複数のモデルやエージェントが出したパッチを組み合わせ、重複や誤りを除くLLVM-Ensでは最大21.99%の解決率まで伸びました。

私たちに関係するのは、AIにコード修正を頼む時も、テストとビルドで検証する仕組みが欠かせない点です。単独モデルの答えを信じるより、複数案を比較し、実行結果で選ぶ方が現実的です。出典はarXivで、査読済み会議論文ではなくプレプリントとして読む必要があります。