arXiv論文：長文RAGを細かな『情報の粒』で高速化——CoinRAG、同じ待ち時間で回答品質を平均5.3%改善

結論から言うと、検索した長い文書を毎回すべてAIへ読み込ませず、質問に必要な小さな情報だけを再利用することで、待ち時間と回答品質の両立を目指す「CoinRAG」が提案された。2026年8月7日にarXivのcs.CLへ投稿された未査読論文で、対象は外部資料を検索して答えるRAGだ。

従来の高速化法には、文書を一定の長さで区切り、AIがすでに計算したKVキャッシュを区切り単位で使い回す方法がある。しかし区切りが大きいと、質問に不要な情報や雑音まで一緒に処理しやすい。CoinRAGは二段階検索で関係の強い細かな意味単位を選び、その計算済みキャッシュを文書全体の文脈と組み合わせる。

LongBenchの複数資料をまたぐ質問応答で試したところ、標準的な高速入力の待ち時間をそろえた条件で、比較法より回答品質のF1が平均5.3%相対改善し、運用コストも減らせたと著者らは報告した。社内文書検索や長い資料の調査を作る人には、文書の分割幅だけでなく「必要な情報をどこまで細かく選ぶか」が速度と精度に関わると分かる。

ただし数値はLongBench上の著者実験で、実サービスの日本語文書、料金、処理速度を直接保証しない。arXivの査読前研究なので、導入前に自分の資料と質問で再現確認が必要だ。