AIの言葉の分け方、何が性能を決める？

皆さんは、普段何気なく使っているスマホやパソコン。 これらのAI（人工知能）が、私たちの言葉をどう理解しているか、考えたことはありますか？ 実は、AIが言葉を理解する上で、「言葉をどう区切るか（トークン化）」という作業がとても大切なのです。

これまで、AIの言葉の区切り方には、主に「BPE」と「UnigramLM」という二つの方法が使われてきました。 この二つは、それぞれ「データを小さくまとめること（圧縮）」を目指すか、「言葉の並びとして自然かどうか（尤度）」を重視するか、という「目的」が違います。 さらに、言葉を区切っていく「やり方」も、小さい単位から組み合わせていく「ボトムアップ方式」か、大きい単位から削っていく「トップダウン方式」か、と異なっています。

今回、この「目的」と「やり方」が、AIの言葉の理解力にどう影響するかを、もっと詳しく調べるための新しい研究が行われました。 研究者たちは、これまでの二つの方法だけでなく、色々な「目的」と「やり方」の組み合わせを試せるように、新しい「トークン化アルゴリズム」を開発したのです。

その結果、驚くべきことが分かりました。 AIの性能に大きく影響するのは、「データを圧縮する」といった「目的」よりも、「どうやって言葉を区切っていくか」という「やり方」の方だったのです。

さらに、多くのケースで、「ボトムアップ方式」、つまり、単語の細かい部分から少しずつ組み合わせていくやり方の方が、より少ない情報量（ビット数）で、AIが言葉を理解できることが分かりました。 これは、AIがより効率的に、そして賢く言葉を扱えるようになるための、とても大きな発見と言えるでしょう。

この研究結果は、これからAIがもっと進化していく上で、どのように言葉を扱えば良いか、という大切なヒントを与えてくれます。 例えば、私たちがAIに質問したときに、より早く、より正確に答えてくれるようになるかもしれませんね。