arXiv論文：テストとコードを一緒に直すAIを測るTestEvo-Bench、最新タスクほど成功率が下がる

結論から言うと、コードを書くAIを評価するには、テストも一緒に進化させられるかを見る必要があります。arXivに2026年7月2日投稿されたプレプリント「TestEvo-Bench」は、コード変更に合わせて新しいテストを作る、または壊れたテストを直す能力を測るライブベンチマークを提案しました。venueはarXivで、査読済み会議論文としてではなく公開プレプリントです。

何が起きたかというと、既存のテスト生成ベンチマークは、実行できるか、実際のコード変更と意味的につながっているかを十分に見ないことがあります。そこで研究者は、実リポジトリのコミット履歴からタスクを掘り出し、環境設定つきで実行できる形にしました。

具体的には、59,950件の候補から152のJavaオープンソースプロジェクトを対象に、746件のテスト生成タスクと509件のテスト更新タスクを作成しました。

Claude Code、Gemini CLI、SWE-Agentなどのハーネスと、Claude Opus 4.7やGemini 3.1 Proを組み合わせて評価したところ、最高でテスト生成77.5%、テスト更新74.6%の成功率でした。ただし、より新しいタスクやコスト制限下では成功率が大きく下がりました。

自分にどう関係するかというと、AIにPRを任せる時は「テストを書いたか」だけでなく、変更後の意味を実行で確かめる仕組みが重要です。注意点として、対象は主にJavaで、他言語へそのまま一般化できるとは限りません。