arXiv論文：LLM量子化は精度が同じでも挙動が変わる——8bit〜2bitで意思決定のズレを分析

結論から言うと、LLMを軽くする量子化では、正解率が保たれていても「同じAI」と考えるのは危険かもしれません。arXivに2026年7月9日提出された「The Illusion of Equivalency」は、LLMのポストトレーニング量子化がモデルの行動に与える影響を統計的に調べた論文です。

量子化は8bit、4bit、2bitのように重みを小さくして、ローカル実行や低コスト提供をしやすくする技術ですが、評価は正解率やperplexityに偏りがちです。論文はCorrectness Agreementという指標を提案し、元モデルと量子化モデルが「どの問題を正しく解いたか」の重なりを測ります。

複数モデルと量子化方式を比べた結果、中程度の量子化でも、見かけの性能が保たれる一方で意思決定のズレが出ると報告しています。特にattentionのquery/key射影がvalue/outputより影響を受けやすいと分析しました。軽量LLMを選ぶ人には、ベンチの平均点だけでなく、重要な業務ケースで答え方が変わらないか確認する理由になります。

ただしarXiv論文であり、対象モデルやタスクを広げた追試が必要です。出典はarXiv（cs.AI）です。