arXiv論文：PC操作AIを長時間タスクで測るOSWorld 2.0、最高モデルでも完了率20.6%

結論から言うと、画面を見てパソコンを操作するAIエージェントは進歩していますが、長い実務を最後まで任せるにはまだ不安が残ります。2026年6月28日にarXivへ投稿された論文「OSWorld2.0」は、現実に近いPC作業を測る新しいベンチマークを提案しました。内容は108件の長時間ワークフローで、日常作業と専門作業の両方を含みます。

人間なら中央値で約1.6時間かかる作業で、Claude Opus 4.7を最大推論で動かすと平均318回のツール呼び出しが必要だったとされます。従来のOSWorld 1.0の約30回よりずっと重いテストです。結果は、Claude Opus 4.8の最大推論＋バッチツール呼び出しが最良でも、500ステップ以内の完全完了率は20.6%、部分点は54.8%でした。

GPT-5.5はトークン効率がよい一方、完了率は約13%で頭打ちです。失敗は単純なクリック操作より、途中で来る情報を見落とす、制約を忘れる、確認せず推測する点に多いと報告しています。私たちに関係するのは、AIにブラウザ操作や事務作業を任せる時も、途中確認と最終レビューを外せないことです。論文段階の評価であり、製品の性能を直接保証するものではありません。