arXiv論文：AI対戦の強さを中央値で74分の1の試合数で判定——途中終了しても信頼度を保証

結論から言うと、AIエージェント同士の強さ比べを、必要な証拠が集まった瞬間に止めても信頼性を保つ評価法が提案された。2026年8月6日にarXivへ投稿されたプレプリント「AV-AIVAT」は、ポーカーのように実力と運が混ざる不完全情報ゲームを対象にする。

研究チームは、各行動の情報を使って結果のばらつきを減らすAIVATと、試合の途中でも95%水準を保って幅を更新できるConfidence Sequenceを組み合わせた。ヘッズアップ・ノーリミット・ホールデムでは、15種類のLLMエージェント構成、7万1439組の対戦ハンドを分析し、AIVATがばらつきを中央値で54分の1にした。

目標精度をプラスマイナス1ビッグブラインドに設定した漸近的な判定では、生の勝敗だけを使う場合は補正後より中央値で74倍のハンドが必要だった。評価を何試合で終えるか先に決めにくい場面で、推論費用や時間を減らし、第三者が停止時点の判断を再確認できるのが利点だ。ただし74倍は特定のポーカー実験と漸近手法での中央値で、あらゆるAI評価にそのまま当てはまる数字ではない。

厳密な有限標本保証には補正後の得点範囲を別に根拠づける必要があり、論文は未査読のプレプリントである。