PermDoRA -- 言語モデルにおけるアダプター干渉の理解：パラメータ空間幾何学の限界

最近、私たちの生活に深く入り込んできたAI、特に大規模言語モデル（LLM）は、様々な分野でその能力を発揮しています。しかし、これらのAIを特定の用途に特化させようとすると、一つの課題が浮上します。それが「アダプター干渉」と呼ばれる現象です。

想像してみてください。あなたは多機能なロボットを持っています。このロボットに「料理」という新しいスキルを教えるための「料理アダプター」と、「掃除」というスキルを教えるための「掃除アダプター」を取り付けたとします。それぞれのスキルはうまく機能するのですが、両方のアダプターを同時に使うと、ロボットの動きがおかしくなることがあります。これがアダプター干渉です。AIの世界では、特定の知識やタスク（例えば、医療に関する質問応答や法律相談など）に対応させるために「アダプター」と呼ばれる小さな追加モジュールをAIにくっつけるのですが、複数のアダプターを組み合わせたときに、それぞれの性能が落ちてしまうことがあるのです。

これまでの研究では、この干渉は、AIの学習に使われる「パラメータ」という数値の更新方向が重なり合うために起こる、と考えられてきました。例えるなら、料理アダプターが「右に腕を動かす」と指示し、掃除アダプターも「右に腕を動かす」と指示した際に、どちらの指示が優先されるべきかAIが混乱するような状態です。そのため、それぞれの更新方向がバラバラになるように（「直交」するように）学習させれば、干渉を防げると考えられてきたわけです。

しかし、今回発表された「PermDoRA」という研究は、この一般的な考え方に疑問を投げかけています。この研究では、重み分解低ランク適応（DoRA-RBAC）という新しい方法を使って、アダプターの干渉を分析しました。そして、従来の「ユークリッド幾何学」に基づくマージ戦略、つまり単純にパラメータの方向を直線的に考える方法と、より複雑な「リーマン幾何学」に着想を得た、AIの学習空間の形まで考慮したマージ戦略を比較しました。

その結果、彼らはパラメータの更新方向が重なることだけが干渉の原因ではないかもしれない、ということを示唆しています。AIの学習空間は、私たちが普段考えるような平らな平面ではなく、もっと複雑な曲がりくねった空間として捉える必要があるのかもしれません。この研究は、アダプター干渉というAIの大きな課題に対し、より深い理解を促すものであり、将来的には、もっと賢く、もっと多機能なAIを開発するための重要な一歩となるでしょう。