自然さのその先へ：言語学的に根拠のある次元で自動音声合成評価器を検証

最近、AIが作る音声って、本当に人間みたいになってきましたよね。まるで人間が話しているかのような自然な声で、ニュースを読んだり、オーディオブックを再生したり。でも、「本当に自然？」って聞かれると、ちょっと自信がない時もありませんか？

実は、AIが作った音声の「自然さ」をどうやって評価するかは、ずっと大きな課題でした。これまで使われてきた「MOS」（Mean Opinion Score）という評価方法は、たくさんの人に音声を聞いてもらって、「自然さ」を1から5の段階で点数をつけてもらう、というものでした。でも、この点数が本当に人間の感じ方を正確に表しているのか、よく分かっていなかったんです。

そこで、今回の研究では、この「自然さ」という感覚をもっと細かく見てみよう、ということになりました。人間の「自然さ」を感じる感覚を、なんと10個の「次元」に分解したんです。例えば、声のトーンが適切か、言葉の区切りは自然か、感情はこもっているか、といった具合です。そして、この10個の次元それぞれで、AIの音声合成（TTS: Text-to-Speech）の評価ができるように、新しい「ものさし」（ベンチマーク）を初めて作りました。

この新しいものさしで、これまでの評価方法をチェックしてみたところ、興味深い結果が出ました。従来のMOS予測器は、音声そのものの物理的な「音の綺麗さ」は評価できても、「自然さ」の細かいニュアンスまでは捉えきれていないことが分かりました。一方、最近注目されているAI言語モデル（Audio-LLM）を使った評価器は、指示（プロンプト）通りに動くことは得意なのですが、指示が少し変わったりすると、誤った評価をしてしまうことがあったんです。つまり、音声の中に隠れている「言葉の構造」に基づいた間違いを、正確に見つけるのが苦手だということ。

これは、私たちが普段、人の話を聞いて「なんか変だな」と感じるような、言葉の選び方や文の組み立て方からくる不自然さまで、AIの評価器はまだ見抜けていない、ということを示唆しています。AIの音声合成は日々進化していますが、それを評価するAIもまた、もっと高度な「人間らしい感覚」を理解できるようになる必要がある、ということなんですね。この研究は、そんな次世代の音声合成評価技術を開発するための、大切な一歩になりそうです。