arXiv論文：金融表を読むAIは計算が深いと精度最大51%低下——正解を計算で保証するV-FiLLM

結論から言うと、決算表などの数字をAIに読ませると、計算手順が深くなるほど正答率が大きく落ちることを測る評価基盤「V-FiLLM」が提案された。2026年8月11日にarXivのcs.AIへ投稿され、現在は査読中と記載された論文だ。V-FiLLMは実在する表を土台に、足し算や比率などの処理を木の形で組み立て、コンピューターで実行して正解を確定してから自然な質問文へ変換する。

問題作成AIの答えを正解ラベルに使わないため、生成モデル自身の計算ミスを評価データへ持ち込みにくく、手作業の採点なしで規模を増やせる。難しさは、計算の深さ、式の広がり、金融概念の複雑さ、表や文章の長さという4軸で別々に調整できる。オープンソースモデルを評価したところ、推論の深さが増すと精度は最大51%低下し、数字を意地悪に変える試験では最大47ポイント落ちた。

検証済みの思考手順を使った軽量なLoRA追加学習では、未使用問題の精度が81.1%から85.6%へ上がり、既存のFinQAでも元モデルを5ポイント上回ったと著者らは報告する。表計算や経理をAIに任せる人は、最終回答だけでなく途中式を機械的に再計算し、数字を少し変えた再テストも行うべきだと分かる。

ただし対象は研究用の生成問題とオープンソースモデルで、実際の財務判断の正確さを保証しない。査読中の結果であり、投資や会計では原資料との照合と専門家の確認が必要だ。