arXiv論文：研究AIは「発明家」より「改善役」——7モデル・36長期課題で検証

結論から言うと、長い実験を自動で進める現在のAIエージェントは、まったく新しい研究方法を発明する存在というより、既存の方法を組み合わせて改善する技術者に近いとする評価結果が報告された。2026年8月13日にarXivへ投稿された査読前論文で、最終的な点数だけでは見えない研究過程を調べた。研究チームは最先端級の7モデルを36の長期AI研究開発課題で評価した。

枠組みは、解決方法の組み立て、実行、結果を受けた制御という3段階を規則ベースの指標で追い、同じ作業中や別の課題で過去の経験を再利用できるかも条件をそろえて比べる。結果として、エージェントは実用的な案を作り実装できたが、同じ条件でも実行ごとの成績差が大きかった。良い解決策の多くは既存手法の応用や組み合わせで、本当に新しい研究方法はまれだった。

また、同じ最終点でも途中の失敗原因は異なり、過去の経験は次の判断を助ける場合と、逆に誤らせる場合があった。AIに調査や実験を任せる人には、最終スコアだけでなく、仮説、実行記録、失敗からの修正を確認する重要性を示す。さらに、AIを動かす周辺設計も安定性へ影響するため、モデル名だけの比較では不十分である。ただし査読前で、7モデルと36課題の範囲に限られる。

「AIは新規性を持てない」と一般化せず、研究支援では人が新規性と再現性を判断する必要がある。