arXiv論文：実世界タスクで能動エージェントを測る「UniClawBench」——400件の二言語課題をDockerで評価

結論から言うと、AIエージェントを「一問一答」ではなく、実際の作業に近い形で測るベンチマークが提案されました。7月9日にarXivへ投稿された論文「UniClawBench」は、日常ツールを操作してユーザーを助ける能動エージェントを評価するための基盤です。

従来の評価は、録画済み環境や単発の回答に寄りやすく、失敗の原因がモデル本体なのか、エージェント設計なのか分かりにくい課題がありました。

UniClawBenchは、Skill Usage、Exploration、Long-Context Reasoning、Multimodal Understanding、Cross-Platform Coordinationという5つの基本能力に分け、400件の二言語の実世界タスクを作ったと説明しています。

評価はライブDockerコンテナ内で行い、細かなステップごとの完了チェックポイントを使います。さらに、実行エージェント、隠れた監督エージェント、ユーザーエージェントを組み合わせ、人間との複数ターンのやり取りに近づけています。私たちに関係するのは、エージェント製品を選ぶときに「ベンチで高得点」だけでなく、長い文脈、探索、ツール連携、途中修正に強いかを見る必要がある点です。

ただし現時点ではarXiv投稿で、査読や広い再現検証はこれからです。