arXiv論文：長文LLMに証拠を再提示するRECONTEXT、128K文脈でQwen・Llamaの根拠利用を改善

結論から言うと、長文を読めるLLMでも、そこに答えの根拠が入っているのに使いきれないことがあります。arXivに2026年7月2日提出された『RECONTEXT』は、この弱点を訓練なしで補う方法です。venueはarXivプレプリントです。手法は、モデル内部の関連度信号を使い、質問に関係しそうな証拠を長い入力から集めます。

その証拠を最終回答の前に再び見せることで、全文の文脈を捨てずに、答えに必要な部分を思い出しやすくします。外部メモリや追加学習、単純な切り捨てに頼らない点が特徴です。理論面では文脈を記憶庫、質問を検索手がかり、注意機構を関連付けとして整理しています。

論文では、128Kトークンの長文設定で8つのデータセットを使い、Qwen3-4B、Qwen3-8B、Llama3-8Bの3種類で一貫して証拠利用が改善し、平均順位でも最良だったと報告しています。私たちに関係するのは、長いPDF、契約書、議事録、研究資料をAIに読ませる時、ただ長く入るだけでは不十分で、根拠を取り出して再提示する工夫が必要だという点です。

ただし実験は特定モデル・データセットでの結果で、すべての商用AIで同じ効果が出るとは限りません。