arXiv論文：AIエージェントの手順書を失敗から自動改善——SkillProx、最強比較法より平均3.0ポイント向上

結論から言うと、AIエージェントが繰り返し作業で使う「スキル」と呼ばれる手順書を、失敗結果から直しつつ、役に立たない記述を安全に整理する方法「SkillProx」が提案された。2026年8月7日にarXivのcs.AIへ投稿された未査読論文で、モデル本体の重みを学び直さず、実行時に読み込む再利用可能な文章を改善する研究だ。仕組みは前半と後半に分かれる。

前半では失敗原因に基づいて手順を編集し、同じ課題群でもう一度実行する。成績が下がれば変更を戻し、測定結果を次の診断へ渡す。後半では手順を監査できる小さな知識単位へ分け、1つずつ外した時の成績から貢献度を測る。そのうえで、別の検証用課題でも確かめてから、内容を統合、格下げ、削除する。

複数の基盤AIを使い、学習時と似た課題と異なる課題の両方で試した結果、最も強い文章勾配型の比較法より正答率が平均3.0ポイント高かったと報告する。定型業務をAIへ任せる利用者には、成功例を足し続けるだけでなく、変更後の再実行、悪化時の巻き戻し、不要知識の検証付き削除が重要だと分かる。ただし論文概要だけでは各モデル・課題別の差や実運用コストは判断できない。

arXivの査読前結果であり、削除判断が重要な手順を失わせる可能性もあるため、人の確認と履歴保存は必要だ。