arXiv論文：検索エージェントを悪い証拠でストレステスト——DeepStressが信頼性を検証

結論から言うと、検索エージェントは答えを探す力だけでなく、悪い資料にだまされない力も測る必要がある。2026年7月15日にarXivへ投稿された「DeepStress: Stress-Testing Deep Search Agents」は、多段階の質問応答で使う検索エージェントを、低品質な証拠にさらして頑健性を調べる枠組みを提案した。

通常のベンチマークでは、偶然まぎれ込む悪い資料の頻度が低く、現実で起きる大きな失敗を見つけにくい。そこでDeepStressは、検索モジュールを制御された合成環境に置き換え、資料の信頼性、関連性、事実性という3つの軸で難しい証拠の量を調整する。

HotpotQAとBrowseCompPlusで複数の検索エージェントを試したところ、信頼できない情報への耐性には大きな差が出たと報告している。また、モデル内部の知識と検索で得た情報が衝突したときのふるまいを記録する新しい指標も提案した。ユーザーに関係するのは、AI検索の回答に出典が付いていても、その出典が古い、関係ない、間違っている場合がある点だ。

注意点は、これは研究用のストレス環境であり、各商用検索AIの実サービス品質をそのまま順位づけるものではないことだ。