arXiv論文：知識を重みに詰め込まない「Co-LMLM」——360M規模で40倍データ学習モデルより低いperplexityを報告

結論から言うと、AIに事実を全部暗記させるのではなく、必要な時に外部の知識を取り出させる研究が進んでいます。2026年7月8日にarXivへ投稿された論文「Co-LMLM: Continuous-Query Limited Memory Language Models」は、Limited Memory Language Modelという考え方を発展させました。

通常のLLMは多くの事実を重みの中に覚えますが、知識が古くなった時に更新しにくく、どの根拠で答えたかも見えづらい問題があります。Co-LMLMでは、事前学習中から知識ベースを外部に置き、生成時に必要な情報を取り出します。新しい点は、従来のような関係データベース風の問い合わせではなく、連続値のキーと文章の知識を組み合わせ、柔軟なベクトル問い合わせを低コストで作ることです。

論文はWikipediaとFineWeb-Eduで複数サイズを試し、従来型LMLMや通常LLMよりperplexityと事実精度で良い結果を示したと報告しています。360M規模では、40倍多いデータで事前学習したモデルより低いperplexityになり、SimpleQA検証ではgpt-4o-mini相当、Claude Sonnet 4.5より高い水準としています。

私たちに関係するのは、AIの答えを更新しやすく、根拠を確認しやすくする可能性です。ただしarXivの未査読論文で、商用大規模モデルでの再現性は今後の確認が必要です。