arXiv論文：AI関数入りSQLベンチ「Spider 2.0-AIFunc」——最強モデルでも実行精度67〜70%

7月7日にarXivへ投稿された論文「Spider 2.0-AIFunc」は、AI関数を含むSQLをLLMが正しく作れるかを測る新しいベンチマークを発表しました。結論から言うと、今の高性能モデルでも、AIネイティブなSQL作成はまだ難しいという結果です。最近のクラウドデータ基盤では、分類、感情分析、情報抽出、類似検索、集計などをSQL内のAI関数として呼び出せます。

しかし従来のtext-to-SQL評価は普通のSQL中心で、こうした使い方を十分に測れませんでした。Spider 2.0-AIFuncは、Snowflake上の125の実世界データベースから作った465の検証済み問題を含み、6種類のAI関数を対象にします。

論文では10種類の最先端言語モデルを評価し、最強の商用モデルでも実行精度は67〜70%、最良のオープンソースモデルは58.1%だったと報告しています。主な失敗は、条件の書き方、スキーマ理解、AI関数の引数指定に集中しました。企業でAIにデータ分析を任せるなら、自然文をSQLにするだけでなく、AI関数を安全に使う力の確認が必要です。

ただし対象はSnowflake中心で、他のデータ基盤にそのまま当てはまるとは限りません。出典はarXivです。