arXiv論文：実データ分析ベンチ「DataGovBench」——政府オープンデータでLLMの表分析力を検証

7月7日にarXivへ投稿された論文「Data Analysis in the Wild」は、LLMのデータ分析力を現実に近い条件で測る「DataGovBench」を提案しました。結論から言うと、今のAIは小さな表から答えを探すだけなら強くなっていますが、実務のような複数表、外部知識、探索的な気づき発見にはまだ大きな穴があります。

DataGovBenchは政府オープンデータをもとに作られ、2種類のタスクを含みます。1つはTable QAで、複雑に分解できる質問に答えたり、必要なら可視化を作ったりします。もう1つはTable Insightで、データを探索して専門家らしい発見を出せるかを見ます。

論文は、最新LLMをエージェント型フレームワークあり・なしで評価し、両方のタスクで大きな性能差が残ると報告しています。コードとサンプルデータも公開されています。仕事でAIにCSVやスプレッドシート分析を頼む人にとって、この研究はかなり実用的です。AIがそれらしいグラフや答えを出しても、複数の表の関係、外部知識、洞察の妥当性を人が確認する必要があるからです。

ただしarXiv論文であり、評価対象データは政府オープンデータ中心です。企業の非公開データや日本語帳票で同じ傾向になるかは追加検証が必要です。出典はarXivです。