COLM 2026論文：科学動画AIは見た目が良くても因果を誤る——16モデル・1253例で評価

結論から言うと、生成AIが作る科学動画は見た目が自然でも、現象の原因と結果や時間の流れが正しいとは限らない。COLM 2026と明記された論文「Sci-VBench」が2026年8月10日にarXivへ投稿され、科学知識と推論を必要とする動画生成の新しい評価方法を提案した。データは専門家が注釈した1253例で、自然科学、医療、人文・社会科学、工学の4分野、合計60科目を扱う。

各課題では単にきれいな映像を作るだけでなく、時間とともに変わる現象を、知識に基づいて表現する必要がある。研究チームは採点基準を文章で細かく定め、専門家ではない人と画像・動画を理解する大規模モデルによる採点が、専門家の判断と比較的高く一致することも確認した。

非公開モデルと公開モデルを含む先端16モデルを比べると、自動の見た目品質スコアはモデル間で似た値に集まった一方、指示への一致度と科学・因果の正しさには大きな差があり、非公開モデルと公開モデルの差も目立ったという。授業用の実験動画や医療説明を作る人には、画質の点数だけで採用せず、現象の順序、量の変化、原因と結果を専門知識で確認する必要があると分かる。

ただし論文概要ではモデル別の全成績や日本語指示での性能までは分からない。COLM 2026論文として記載されているが、実利用では出典資料との照合と専門家の確認が欠かせない。