arXiv論文：高額なAIエージェント評価を1%未満の費用で予測するPACE、順位一致は約85%

結論から言うと、AIエージェントの実力を毎回フル評価しなくても、かなり安く予測できる可能性が示されました。2026年7月2日にarXivへ投稿された論文「PACE: A Proxy for Agentic Capability Evaluation」は、SWE-BenchやGAIAのようなエージェント評価が高コストで、1回に数千ドルかかり、完了まで数日かかる問題に注目しました。

PACEは、推論やコード生成などの通常ベンチマークから小さな問題集合を選び、その結果から本格的なエージェント評価のスコアを回帰モデルで予測します。論文では4種類のエージェント評価、19種類の非エージェント評価、14モデルを使い、PACE-Benchの平均絶対誤差は4%未満、Spearman相関は0.80超、モデル順位の一致は約85%と報告しました。

費用は本来のエージェント評価の1%未満です。私たちに関係するのは、AIツール選びで「全部を本番に近い条件で試す」だけが答えではなく、軽い評価で候補を絞る考え方が使える点です。出典はarXivで、venueはarXivプレプリントです。実務では、自社タスクにも同じ予測が効くかを小さく検証してから使う必要があります。