arXiv論文：コーディングAIで科学ML論文を再現、4本・12回の実行で158件の主張を証拠付き管理

結論から言うと、AIコーディングエージェントを使って論文を再現するには、最終メッセージを信じるのではなく、証拠を残す作業手順が必要です。

2026年7月2日にarXivへ投稿された論文「Coding-agents can replicate scientific machine learning papers」は、科学機械学習論文の計算上の主張を再現するPaper-replicationというワークフローを提案しました。venueはarXivプレプリントです。

対象になる主張は、例えば相対平均二乗誤差が5%未満、95%予測信用区間がテストデータを覆う、といった数値で確かめられる内容です。ワークフローでは、論文の各主張をターゲットとして記録し、方法を再構成し、実験を実行し、出力の由来と論文主張との比較を残し、検証チェックを通過してから完了にします。

評価では4本の科学機械学習論文に対し12回の独立実行を行い、全12ワークスペースが完了条件を通過し、158件の記録ターゲットすべてがレポート内の証拠に対応しました。私たちに関係するのは、AIに調査や再現実験を頼む時、会話の答えではなく、ファイル、実行結果、比較表で判断するべき点です。出典はarXivで、再現の品質や数値一致度には実行ごとの差があると論文自身も注意しています。