GRAFT: ゼロショット音声合成における精密な発音のためのグラフト参照音声

最近、AIを使って「テキストから自然な音声を生成する技術」がものすごく進化しています。まるで人間が話しているかのような、クリアで聞きやすい声を作り出せるようになってきました。でも、この技術にもちょっとした「苦手なこと」があったんです。それは、普段あまり聞かないような専門用語や、外国から来た言葉、あるいは人名などの固有名詞を、正しく発音するのが難しいということ。AIは、テキストに書かれているそのままを学習するので、もし間違った発音を学習してしまうと、そのまま間違って出力してしまうんですね。音の粒（音素）を細かく指示するやり方でも、単語ごとに「こう発音してほしい」という細かい音響的なコントロールは、実は提供されていませんでした。

そんな中、この課題を解決する新しい技術「GRAFT（グラフト）」が登場しました。これは、AIがテキストを音声に変換する際に、「この単語は、こういう風に発音してね」と、具体的なお手本となる短い音声クリップを指定して、発音をより正確にコントロールしようというアイデアです。AIは、まずお手本となる音声から、単語の発音に関わる情報を「エンコード」という方法で取り出します。そして、その情報と、テキスト中の単語の位置を紐づけることで、AIは指定された単語の発音を、お手本に近づけるように学習するのです。

さらに面白いのは、この技術では「誰の声で出力するか」と「発音のお手本となる声」を別々にできる点です。たとえば、あなたの声で文章を読み上げてほしいとAIに頼むとき、発音のお手本は、まったく別人の音声から持ってきても大丈夫。最終的な出力は、ちゃんとあなたの声になっているのに、難しい単語の発音は、お手本に指定した通りの正確さになる、というわけです。実際に、このGRAFTという技術を使った実験では、人間がAIの作った音声を聞き比べて評価したところ、GRAFTが一番優れていると判断されました。特に、難しい単語の発音が、指定したお手本にそっくりだった、という点が評価されたようです。これで、AIによる音声合成が、もっといろいろな場面で、もっと正確に使えるようになるかもしれませんね。