arXiv論文：AIは証明付きソフトをリポジトリ単位で作れるか——Vero、最強構成も43件中27件

結論から言うと、AIがコードだけでなく「仕様どおりに動く」という機械検証可能な証明まで、複数ファイルのソフト全体で作れるかを測るVeroが提案された。2026年8月13日にarXivで公開された査読前論文で、1つの関数や、完成済みコードへの証明だけを扱う従来評価より、実際の開発に近い難しさを調べる。

Veroは実在するリポジトリを元にした43の複数モジュール課題を収録し、元の言語はPython、Dafny、Verus、Coqにまたがる。暗号プロトコルから分散システムまでを含み、各課題をLean 4のリポジトリとして整え、APIの形、専門家が確認した形式仕様、参照実装を用意した。AIは証明だけを作るモードと、実装と証明を一緒に作るモードで評価できる。

さらに、仕様自体が矛盾している、または参照コードが誤っている場合に、AIがその不正確さを形式的に証明できる監査機能も備える。Leanの道具を使える最新級のコーディングAIを比べた結果、最も強い構成でも完全解決は43件中27件で、最難関のリポジトリでは仕様を1件も完了できなかった。

重要なコードをAIに任せる人には、テスト合格と数学的な正しさの証明は別であり、リポジトリ全体ではまだ人の設計と確認が必要だと分かる。ただし査読前で、43件とLean 4中心の結果を全言語へ一般化はできない。公開ベンチマークの条件と証明内容を確認する必要がある。