arXiv論文：AI向け端末課題5431件を難易度調整——強いAIだけ解ける条件で学習効果を向上

結論から言うと、コードAIの教材は「答えが存在する」だけでは足りず、学習対象のAIにとって簡単すぎず難しすぎないことを実際の合否で確かめると効果が高まる、とする研究が出た。2026年8月6日にarXivのcs.LGへ投稿された未査読論文は、端末操作課題を自動作成・調整する「CalibForge」を提案した。

作成AIは公式文書、GitHub、Stack Overflowなどから現実の不具合や設定問題を調べ、指示、Docker環境、検証テストを作る。最初に必要ファイルやビルド、初期状態でテストが失敗すること、作成AI自身が解けることを確認。その後、複数の解答AIで合否が分かれるか、または指定した強いAIだけが合格して弱いAIが失敗するまで、最大50回書き直す。

この方法で5431件を作り、Qwen3-30B-A3Bを学習するとTerminal-Bench 2.0は基盤の7.87%から32.58%、Qwen3.5-35B-A3Bは39.10%から47.57%へ上がった。前者は別評価のSWE-bench Proでも3.26%から30.94%、Doc2Repoでも5.94%から35.98%へ改善した。

教材作成者には、件数より合否の境界と検証可能性を設計する手掛かりになる。ただし作成・採点には特定のAI群を使い、SWE-bench Proは1回だけの評価で、論文は査読前。自社環境への一般化や、Web情報のライセンス・安全性は別に確認が必要だ。