すべてを支配するマスク：編集後の隠れた事実とそれらを見つける方法

ニュース概要

ROMEやMEMITなどのナレッジ編集手法は、MLPの重みを変更することでトランスフォーマーモデル内の事実的関連付けを更新します。主に出力行動によって評価されていますが、内部メカニズムは未だに十分に検討されていません。本研究では、編集がどの事実が対象であるかに関係なく共通のメカニズムに依存しているかどうかを調査します。