arXiv論文：AI安全性はモデルだけでなく「運用ルール」で変わる——IABench-CAが33,924ゲームで検証

結論から言うと、AIの安全性は「どのモデルを使うか」だけでなく、「どんな運用ルールで動かすか」に大きく左右されます。2026年7月8日にarXivへ投稿された論文「Institutional Red-Teaming」は、複数AIエージェントの配備ルールを評価する方法を提案しました。

手法は、エージェント、目的、タスク状態を固定し、1つのルールだけを変えて、集団行動がどう変わるかを見るものです。論文ではIABench-CAというベンチマークを作り、228の文脈、5種類の典型ルール、7つのモデル集団、合計33,924ゲームを検証しました。

結果として、損失や結果を誰に割り当てるかというルールを変えるだけで、平均fatalityが各モデル集団で22〜58ポイント動いたと報告しています。また、最も安全なルールはモデル集団や状況で変わり、万能な初期設定はないとしています。特に、損失を特定の身元情報に結びつけるルールは、資源の少ないエージェントを30〜87%のゲームで排除し、安全な選択肢にならなかったと述べています。

私たちに関係するのは、AIエージェントを会社や自治体、チームで使う時、承認ルール、責任分担、損失の扱いを設計しないと事故や偏りが起きる可能性がある点です。ただしarXivの未査読論文であり、実社会への当てはめは追加検証が必要です。