MODE：MoEマルチモーダルLLMのための、モダリティ分解によるエキスパートレベル混合精度量子化

最近、私たちの生活に欠かせないものとなりつつあるAI。特に「大規模言語モデル（LLM）」と呼ばれるAIは、まるで人間のように文章を理解したり、作り出したりする能力を持っています。さらに、画像や音声といった様々な種類の情報（モダリティ）をまとめて扱える「マルチモーダルLLM」も登場し、AIの能力は飛躍的に向上しています。

中でも注目されているのが、「エキスパート混合（MoE）」という仕組みを取り入れたマルチモーダルLLMです。これは、特定の分野に特化した複数の小さなAI（エキスパート）を組み合わせて、問題に応じて最適なエキスパートを選んで処理させることで、効率よく高い性能を発揮するものです。例えるなら、様々な専門分野の先生がチームを組んでいて、質問の内容に応じて最適な先生が答えてくれる、というイメージです。これにより、AI全体の処理能力が向上し、より複雑なタスクもこなせるようになります。

しかし、この高性能なMoEマルチモーダルLLMには大きな課題がありました。それは、非常に多くのコンピューターの記憶装置（GPUメモリ）が必要になることです。高性能である分、たくさんの情報や計算を記憶する必要があるため、動かすのに莫大なコストがかかってしまうのです。これは、まるで高性能なスーパーカーが燃費が悪いようなもので、性能は良いけれど維持が大変、という状況です。

そこで研究者たちは、このメモリコストを削減するために「量子化」という技術を使います。これは、AIが使うデータの精度を落とすことで、必要なメモリ量を減らす技術です。例えるなら、絵を描くときに使う絵の具の数を少し減らしても、全体の絵のイメージは変わらないようにする、といった感じです。特に、MoE型のAIでは、それぞれの「エキスパート」ごとにデータの精度を調整する「エキスパートレベル混合精度量子化」という方法が効果的だと考えられていました。

ところが、この方法をMoEマルチモーダルLLMに適用すると、期待通りの効果が出ず、性能が大幅に落ちてしまうという問題が起きていました。その原因は、エキスパートがどの情報を重要だと判断するか、という部分に二つの「見過ごされていた偏り」があったためだと、今回の論文は指摘しています。

一つ目の偏りは、「クロスモーダルレベル」で発生していました。これは、画像とテキストのように異なる種類の情報を扱う際に、画像の情報量（ビジョントークン）がテキストの情報量（テキストトークン）よりも圧倒的に多いため、AIが画像を優先的に処理してしまい、テキストにとって重要なエキスパートがなかなか選ばれない、という問題です。まるで、たくさんの声の中から、大きい声ばかりが聞こえてきて、小さな声が埋もれてしまうようなものです。

二つ目の偏りは、「イントラビジョンレベル」で発生していました。これは、画像の情報の中にも、実はあまり重要ではない、繰り返しの情報（冗長なビジョントークン）がたくさん含まれているため、その冗長な情報がエキスパートの選択頻度を歪めてしまい、本当に重要な視覚情報に特化したエキスパートが選ばれにくくなる、という問題です。これは、写真の中に似たような背景がたくさん写っているために、本当に見せたい被写体が霞んでしまうような状況です。

これらの問題を解決するために、今回の研究では「MODE（モダリティ分解エキスパートレベル混合精度量子化フレームワーク）」という新しい技術を提案しています。これは、画像とテキストといった異なる種類の情報を分解して、それぞれに合わせた方法でエキスパートを選び、量子化を行うことで、AIの性能を落とさずにメモリコストを削減することを目指しています。この技術が実用化されれば、より高性能なAIが、もっと手軽に、私たちの身近なところで活用されるようになるかもしれません。