AIES 2026論文：AI安全は規則か性格づけか——規模より未知状況での崩れやすさが重要

結論から言うと、AIの安全対策では利用規模そのものより、学習で身につけた安全な振る舞いが未知の状況でどれほど崩れやすいかが、設計を大きく左右するという数理研究が示された。2026年8月13日にarXivで公開され、AAAIとACMが開くAI・倫理・社会の国際会議AIES 2026に採択された論文である。研究は安全対策を二つに分けた。

一つはRLHFやConstitutional AIのように、学習段階でモデルの「性格」を整える方法。もう一つは出力フィルターや安全分類器のように、利用時の「規則」で危険な回答を止める方法だ。研究者らは安全予算の配分を0から1の値で表し、利用規模に伴うフィルター性能の低下、共通原因による故障、性格づけの壊れやすさを含むモデルを作った。

楽観・中間・悲観の3条件で計算すると、利用規模が増えたとき性格づけ側へ移す最適配分は0.01から0.21だった。一方、性格づけが壊れる基本確率を変えると最適配分は0.50も動き、ほかの要因より影響が大きかった。開発者には、フィルターか学習かの二択ではなく、未知の入力でも振る舞いが保たれるか測る重要性を示す。

ただしこれは単純化した数理モデルとシミュレーションの結果で、実サービスの事故率を測った研究ではない。示された数値を製品へそのまま当てはめず、実データで検証する必要がある。