ICLR 2026論文NetArena、ネットワーク運用AIの実力を動的ベンチマークで測定

結論から言うと、ネットワーク運用をAIエージェントに任せるには、静かなテストだけでは足りません。ICLR 2026 Posterの論文「NetArena: Dynamic Benchmarks for AI Agents in Network Automation」は、Yajie Zhou氏らが、ネットワーク操作向けAIを動的に評価する枠組みを提案した研究です。

OpenReviewでは2026年1月26日に公開、4月11日に最終更新されています。従来の固定ベンチマークは、問題が学習データに混ざる汚染や、問題数の少なさによるばらつき、現場の複雑さを反映しにくい弱点があります。NetArenaは実行時に無制限の問い合わせを生成し、ネットワークエミュレーターとつないで、正しさ、安全性、遅延を測ります。

3つの代表的な用途で試したところ、統計的な信頼性が上がる一方、大規模で現実的な問い合わせではAIエージェントの平均性能が13〜38%、低い場合は3%まで落ちると報告されています。私たちに関係するのは、AIが「できそう」に見えても、重要インフラや社内ネットワークでは実行前の評価が欠かせない点です。

ただし研究環境の結果なので、個別製品の合否ではなく、評価方法の参考として読むのが安全です。