arXiv論文：自己改善AIは課題の順番で成績が変わる——複数回実行と並べ替えで弱点を検証

結論から言うと、過去の失敗や成功を文章の記憶として残す「自己改善AI」は、同じ方法でも実行ごとの偶然や課題の順番によって成績が大きく変わる可能性があります。2026年8月18日にarXivへ投稿された論文は、記憶を使う既存の自己改善手法2種類を、複数回の実行と課題順のランダムな入れ替えという2方向から再評価しました。

研究チームは、複雑な環境や何段階もある作業では元の評価自体にばらつきがあり、その上に自己改善の繰り返しを重ねると、ばらつきがさらに増えると報告しています。また、従来の決まった課題順が、簡単な内容から学ぶ隠れたカリキュラムとして働き、成功の前提になっていた場合がありました。詳しい採点基準や環境からの反応を記憶作成に加えると悪化の一部は縮まりましたが、差は残りました。

利用者にとっては、「使うほど賢くなる」という表示を1回の成功率だけで信じず、課題順を変えた複数回の試験と失敗記録を確認する重要性を示します。運用担当者が途中で結果を点検し、予想外の失敗を止められる仕組みも必要です。なお、これは製品発表ではなくarXiv上の未査読プレプリントです。著者自身も未解明の要因が残るとしており、全てのAIエージェントに同じ幅で当てはまるとは限りません。