タイムライン検索

2026年6月11日

arXiv:2606.11262v1 発表タイプ：新規 概要：大規模言語モデル（LLM）におけるアクセス制御には、再トレーニングやドメイン間干渉なしにドメイン固有の動作を可能にするためのモジュール式メカニズムが必要です。アダプター合成中の干渉は、線形パラメータ更新の重複に起因するという一般的な仮説があり、直交性または方向独立性を強制することでマルチドメインパフォーマンスが向上すると示唆されています。私たちは、重み分解低ランク適応に基づいた階層的アダプター合成フレームワークであるDoRA-RBACを使用して、この仮説を検証します。LLaMA-3.1-8BおよびMistral-7Bにおける複数のQAベンチマーク（GPQA、PubMedQA、SimpleQA、WMDP）全体での正規化された方向平均によるフレシェ平均の近似である、幾何学を意識したリーマン幾何学に触発されたマージ戦略と、従来のユークリッドマージを比較します。

arXiv cs.LG