ICML 2026論文：長い作業をするLLMエージェントを「自信の強さ」で安定訓練するEMPG

結論から言うと、LLMエージェントを長い作業で訓練するとき、「その一手にどれくらい自信があったか」を使うと学習を安定させられる可能性があります。

OpenReviewに掲載されたICML 2026 regular論文「Harnessing Uncertainty: Entropy-Modulated Policy Gradients for Long-Horizon LLM Agents」は、2026年4月30日に公開され、6月24日に更新されました。

長いタスクでは、WebShopで商品を探す、ALFWorldで環境を操作する、Deep Searchで調べものをするように、途中の行動が多く、最後にだけ成功・失敗がわかることがあります。これでは、どの途中行動をほめるべきか、直すべきかがわかりにくいです。

提案手法EMPGは、ステップごとの不確実性と最終結果を組み合わせ、自信を持って正しかった行動は強く伸ばし、自信満々の誤りは強く直し、不確かな行動は慎重に扱います。実験では複数のエージェント課題で既存の方策勾配手法を上回ったと報告されています。ユーザーにとっては、買い物、検索、事務作業をまたぐAIが、少ないフィードバックでも失敗から学びやすくなる方向の研究です。

ただし論文段階で、すぐ製品に入るとは限りません。