「栽培暦」でAIの読解力を試す——JSAI2026でVQAベンチマーク「FiT-QA」発表

結論から言うと、ストックマークと小樽商科大学・農研機構などの研究チームが、表や図が密集した難しい資料をAIがどこまで正しく読めるかを測る新しいベンチマーク「FiT-QA」を作り、2026年6月9日に人工知能学会全国大会（JSAI2026）で発表しました。題材は農業の「栽培暦」。

1枚に作業内容や時期が、表・図・写真・注記・時系列で高密度に詰め込まれた実務資料で、複数の領域を横断して読み取り統合的に推論する必要があるため、AIには非常に難しい対象です。FiT-QAは画像を見て質問に答える「VQA」という形式で、347枚の画像と1,152問を収録。

自動生成後に人が確認した易しい問題（easy）と、複数領域の統合推論が要る難しい問題（difficult）に分かれます。高性能な汎用VLM（画像も扱えるAI）で試した結果、易しい問題でも誤答が残り、難しい問題では正答が限られたといいます。私たちに関係するのは、AIに仕様書や図面など複雑な業務資料を任せる前に、こうした弱点を測る物差しが要るという点です。

発表者はストックマークの高橋・會田の両氏らで、チームはFiT-QAを公開し、今後のモデル改良に役立てるとしています。