Prism Transformer: 階層的アテンション処理のためのプログレッシブヘッドスケジューリング

AIの進化は目覚ましいですが、その裏側では「もっと賢く、効率的に」という研究が日々行われています。今回ご紹介するのは、AIの「目」とも言える部分の仕組みを根本から見直そうという「Prism Transformer」という新しいアイデアです。

AI、特に文章を理解したり生成したりするAI（例えばChatGPTのようなもの）は、「Transformer」という仕組みをベースに作られていることが多いです。このTransformerの心臓部には「マルチヘッドアテンション」という機能があります。これは、AIが文章を読むときに、どの単語に注目すれば意味を理解しやすいかを判断する仕組みです。例えるなら、人間が文章を読むときに、大事な単語に線を引きながら読むようなものです。

従来のマルチヘッドアテンションでは、AIが文章を理解するために、いくつかの「注目ポイント」を同時に使っていました。しかし、その「注目ポイント」の数や、それぞれの「注目ポイント」がどれくらいの情報量を見られるか（これを「隠れ次元」と呼びます）は、AIのどの段階（層）でも同じように決まっていました。つまり、AIが文章の最初の方を読んでいるときも、最後の締めくくりを読んでいるときも、同じやり方で「注目」していたのです。これは、例えるなら、どんなに簡単な文章でも、どんなに複雑な論文でも、同じ太さのペンで線を引き続けるようなものです。

この「全部同じ」というやり方には、実は限界がありました。文章の最初の方では、たくさんの単語の関係性や、その場の状況（文脈）を広く捉える必要があります。しかし、従来のやり方だと、この「広く捉える」のが苦手だったのです。深層学習の専門家たちは、この「均一な割り当て」が、AIがより高度な理解をする上での「構造的なボトルネック（つまり、ここが詰まっていて先に進めない原因）」だと考えました。

そこで登場するのが、今回発表された「Prism Transformer」です。これは、この「全部同じ」というやり方をやめて、AIが学習を進めるにつれて「注目」の仕方を段階的に変えていくという、新しいアプローチです。具体的には、AIの層が深くなるにつれて、「注目ポイント」の数をどんどん増やしていきます。これにより、AIは自然に、文章の「局所的な情報」から「全体的な情報」へと、段階的に理解を深めていくことができるようになります。

Prism Transformerでは、文章の最初の方（初期層）では、少しだけ「注目ポイント」を使うけれど、それぞれが広い範囲の情報を見られるようにします。これにより、単語同士の複雑な関係性や、その場限りの意味をしっかり捉えます。一方、AIが文章の奥の方（深い層）に進むと、たくさんの「注目ポイント」を使い、それぞれが狭い範囲の情報に特化します。これにより、個々の単語が持つ専門的な意味や、細かいニュアンスを捉え、より洗練された理解に繋がるのです。これは、絵を描くときに、最初は大きな筆で全体の輪郭を描き、徐々に細かい筆でディテールを描き込んでいく作業に似ています。

この新しい仕組みによって、AIはより少ない計算量で、より深く、より正確に文章を理解できるようになる可能性が期待されています。AIの「読解力」をさらに高めるための、興味深い一歩と言えるでしょう。