言語モデルのパープレキシティとASR単語誤り率の関係性の再検証：最新のEnd-to-End音声認識システムにおいて

音声認識の「賢さ」って、どう測ればいいんでしょう？これまで、AIがどれだけ自然な言葉の並びを予測できるかを示す「パープレキシティ（PPL）」という指標が、音声認識の正確さ（単語誤り率：WER）を測るのに役立つと考えられてきました。例えるなら、PPLが低いほど「この次はこの言葉が来そうだな」という予測が上手で、それが音声認識のミスを減らす、という関係です。昔のAIの時代は、このPPLとWERが、グラフにするときれいな直線になるような、わかりやすい関係にあったんです。でも、最近のAIはすごい進化を遂げています。特に「End-to-End」と呼ばれる音声認識システムは、AI自身が言葉の予測までこなせるようになり、外部の「言語モデル」に頼らなくても、ある程度賢く動けるようになりました。さらに、ChatGPTのような「大規模言語モデル（LLM）」との連携も可能になり、昔ながらのPPLとWERの関係が、そのまま当てはまるのか、ちょっと怪しくなってきたんです。

そこで今回の研究では、最新の音声認識システムを使って、このPPLとWERの関係をもう一度じっくり調べてみました。具体的には、①最新のシステムでも、外部の言語モデルを使うと、もっと認識精度が上がるのか？ ②PPLとWERの関係は、昔みたいにきれいな直線で表せるのか？ ③AIが一度にどれだけの情報（文脈）を理解できるか（エンコーダーのコンテキスト長）が、この関係にどう影響するのか？ ④そして、LLMのPPLは、普通の言語モデルのPPLと、同じような傾向を示すのか？といった疑問を解き明かそうとしています。AIの進化に合わせて、その「賢さ」の測り方も見直す必要がありそうですね。