ICML 2026論文：エージェント型AIの何度も往復する推論を効率化するAMPD

結論から言うと、エージェント型AIのように何度も考え直すLLMを、サーバー側でより効率よく動かす研究が進んでいます。OpenReviewに掲載されたICML 2026 regular論文「Efficient Multi-round LLM Inference over Disaggregated Serving」は、2026年4月30日に公開され、6月24日に更新されました。

最近のAIは一問一答だけでなく、検索して、結果を読み、また質問を作り直すような複数ラウンドの処理をします。LLMの推論には、入力をまとめて読むprefillと、次の文字を出すdecodeという性質の違う処理があります。

大規模サービスではこの2つを別々の計算資源に分けることがありますが、複数ラウンドの処理ではprefillとdecodeが交互に入り、従来の割り振りでは効率が落ちやすいと論文は指摘します。提案手法AMPDは、リアルタイムの負荷を見ながらprefillをどこで処理するか、どうスケジュールするかを調整し、サービス品質目標を満たしやすくします。

ユーザーには直接見えない技術ですが、AI検索や自律エージェントの待ち時間、混雑時の安定性、運用コストに関わります。ただし、実サービスでの効果は各社の基盤や負荷条件で変わります。