FRAME: 分数フーリエ変換エキスパートの混合による適応ドメイン学習

AI（人工知能）の世界では、大きなモデルをそのまま使うのではなく、特定の仕事に合わせて少しだけ賢くする「ファインチューニング」という技術がよく使われます。でも、このファインチューニング、実は工夫のしどころがたくさんあるんです。今回ご紹介するのは、そのファインチューニングをもっと賢く、効率的に行うための新しいアイデア、「FRAME」という仕組みです。

AIのモデルは、たくさんの「重み」と呼ばれる数値の集まりでできています。ファインチューニングでは、この重みを少しだけ調整します。これまでのやり方には、主に二つの考え方がありました。一つは、AIが扱っている「空間」という、私たちが普段イメージするような場所で重みを調整する方法（これを「低ランクアダプタ」と呼びます）。もう一つは、AIが内部で計算する際に使う「フーリエ変換」という数学的な道具を使って、周波数のような「スペクトル」という領域で調整する方法です。

しかし、研究者たちは「本当に一つのやり方（空間かスペクトルか）だけで、どんな仕事でも、AIのどの部分でも、一番うまくいくのだろうか？」と疑問に思いました。そこで彼らが考えたのが、「空間」と「スペクトル」の間を行ったり来たりできる、もっと柔軟な方法です。FRAMEは、この「分数フーリエ変換」という、空間とスペクトルの両方の性質を持つ変換を、いくつかの「エキスパート」に担当させる仕組みです。

このFRAMEでは、AIは仕事の内容や、処理している情報（トークン）に応じて、どのエキスパートの力を借りるかを選びます。あるトークンは空間に近いエキスパートに、別のトークンはスペクトルに近いエキスパートに、といった具合です。こうすることで、それぞれのトークンにとって最も都合の良い「ドメイン」、つまり計算しやすい場所で重みの調整ができるようになります。まるで、料理をする時に、切る道具は包丁、混ぜる道具はボウル、と使い分けるようなイメージです。

さらに、このエキスパートたちは互いに干渉しにくい（デコヒーレントになる）性質を持っています。これにより、複数の異なる仕事を同時に学習させる「マルチタスク学習」の効率が上がり、AI全体の性能向上が期待できるのです。この新しいアプローチは、AIモデルの学習をより効率的かつ効果的にするための、興味深い一歩と言えるでしょう。