SPARCLE：対照言語埋め込みによる話者認識アラインド表現

最近のAIによる音声合成技術は、まるで人間が話しているかのような自然な声を作り出せるようになってきました。これは、私たちが普段使っている文字（書記素）から音の情報を直接生成する技術が進んだおかげです。これまでの音声合成では、「音素」という音の最小単位を基本にしていましたが、最近は文字そのものから音を作り出す方が、より多くのデータを使えて性能が上がりやすいとされています。

ただ、文字から音を作るシステム（G2Pシステムと呼ばれます）には、話者ごとの声の微妙な違いを捉えきれないという課題がありました。例えば、同じ「あ」という音でも、Aさんの声とBさんの声では少し響きが違いますよね。これを捉えるのが難しかったのです。

そこで今回、研究者たちは「SPARCLE（スパークル）」という新しいモデルを開発しました。これは、話者ごとの声の特徴をより正確に捉えることを目指したものです。SPARCLEは、文字に話者固有の音響的な特徴を「付け加える」ことで、文字情報を強化します。具体的には、話者のID（誰の声か）をシステムに教えながら、文字とその音響的な響き（Wav2Vec2という技術で捉えた音の情報）をうまく「対応づける」ように学習させています。これは、たくさんの例を見せて、「この文字は、この人の声だとこういう音になる」というのを、似ているもの同士を集める（対照学習）ことで学ばせるイメージです。

このSPARCLEの良いところは、学習済みのモデルが、従来のG2Pシステムの代わりに使えることです。つまり、文字から音を作る部分を、SPARCLEが担当してくれるのです。研究の結果、SPARCLEを使うと、音声合成の「質」が向上し、特にデータが非常に少ない（リソースの少ない）状況でも、間違った単語が出力される割合を半分に減らすことができたとのことです。これは、限られたデータでも高品質な音声合成を実現できる可能性を示唆しています。