arXiv論文：音声AIの自動採点は「自然さ」の違いを見分けきれない——860音声・10観点で検証

結論から言うと、音声AIの出来を一つの「自然さ」スコアだけで自動採点すると、人が気づく発音やリズムなどの違いを見落とす可能性がある。2026年8月10日にarXivのcs.SDへ投稿された作業中・未査読の論文は、読み上げ音声の自動評価法そのものを点検した。

研究チームは自然さを、言語学に基づく10種類の知覚観点へ分解し、訓練を受けた言語学評価者が注釈した860件の音声から、観点別のメタ評価ベンチマークを作った。その上で、人の平均評価MOSを予測する4種類のモデルと、音声を理解できる大規模モデルを審査員として使う4種類の方法を比較した。結果として、MOS予測器は主に録音信号のきれいさへ評価が偏った。

音声LLM審査は質問文によって一部の誤りを見つけられたが、すべての観点へ安定して一般化しなかった。どちらの方式も、言語構造に関わる幅広い音声エラーを確実には捉えられないと著者らは報告した。読み上げアプリや音声案内を作る人は、総合点だけで採用モデルを決めず、発音、韻律、話者らしさなど用途別の人手確認を組み合わせる必要がある。

データ、注釈法、評価コードは公開予定だが、論文はWork in progressで査読前であり、日本語だけの性能や実サービスの利用者評価を直接示す研究ではない。