arXiv論文：長い作業をするAIの「最初の致命的ミス」を追跡——失敗486件を人手で注釈

結論から言うと、長い作業をするAIエージェントが失敗した時に、最終結果を壊した最初の重要な誤りを探す研究が公開された。2026年8月6日にarXivのcs.AIへ投稿された未査読プレプリントで、研究チームは「TrajDebug」と、失敗履歴486件を人が注釈した「TrajErrBench」を提案した。

対象データは、道具を使う課題のTau2Benchと、ソフトウェア修正課題のSWE-Bench Proから作られている。方法の要点は、長い履歴を複数の細かさで圧縮して判断材料を集め、各段階の誤りについて、その後に解決したか、最後の失敗へ影響し続けたかを追うことだ。局所的なミスを全部同じ重さで数えるのではなく、失敗の原因として残ったものを区別する。

論文の実験では、複数のエージェント評価で既存手法より総合的に良い結果となり、診断を後続の改善に使える可能性も示した。開発者にとっては、AIの長い操作記録を最初から目で読み直す負担を減らし、直すべき箇所を絞る考え方として役立つ。ただし、論文要旨は全評価の具体的な点数を示しておらず、コードとデータは今後公開予定とされる。未査読のため、公開後の再現確認も必要だ。