arXiv論文：MMBench-Live、マルチモーダル評価を自動更新——1回約30ドル・1〜2時間で新問題を生成

結論から言うと、画像と言語を扱うAIのテストを、古くなりにくい形で更新する研究です。2026年7月2日にarXivへ投稿された論文「MMBench-Live」は、視覚言語モデル（VLM）の評価ベンチマークを、マルチエージェントの自動パイプラインで継続的に進化させる方法を提案しました。

従来のベンチマークは一度作ると固定されやすく、モデルが訓練中に答えを見てしまうデータ汚染や、時代遅れの問題が起きます。MMBench-Liveは、元のMMBenchの分布を保ちながら、タスク仕様、リアルタイムのデータ取得、検証可能なQA生成を組み合わせて、新しい評価問題を作ります。

具体的には、5.9K件の新しい評価インスタンスを生成し、1回の更新コストは約30米ドル、時間は1〜2時間と報告されています。実験では、モデル順位の安定性や元ベンチマークとの意味的な整合を保ちつつ、暗記による有利さを弱める兆候が示されました。利用者に関係する点は、AIランキングを見る時に「その点数は古い問題の暗記ではないか」を考える必要があることです。

注意点として、これはarXiv投稿であり査読済み会議論文とは限りません。出典はarXivの論文ページです。