arXiv論文：失敗しそうなAIエージェントを早めに止める手法——Qwenで計算量47.1%削減を報告

7月7日にarXivへ投稿された論文「Doomed from the Start」は、失敗しそうなLLMエージェントの作業を早めに止める方法を提案しました。結論は、エージェントが表に出す行動だけを見るより、モデル内部の隠れ状態を見るほうが、失敗の予兆を早い段階でつかめるというものです。

研究チームは、複数ステップのタスクでエージェントが失敗に向かう軌道を、各ラウンドの軽量なプローブで判定する「recall-controlled probe cascade」を作りました。成功するはずの作業を誤って止めすぎないよう、90〜97%の再現率目標を設定できる点も特徴です。

TextCraftでの評価では、90%目標のとき、Qwen-2.5-7Bで推論計算を47.1%プラスマイナス10.3%、Llama-3.2-3Bで37.2%プラスマイナス8.8%削減したと報告しています。AIエージェントは、失敗する作業にもAPI料金と待ち時間を使い続けがちです。この研究は、無駄な実行を早めに止め、ユーザーに再指示を求める実装につながる可能性があります。

ただし評価は研究環境のTextCraft中心で、実際のコーディング、ブラウザ操作、社内業務で同じ効果が出るかは追加検証が必要です。出典はarXivです。