DecodeShare：LLMデコード時判断の共有部分空間の追跡

皆さんは、ChatGPTのようなAI（大規模言語モデル、LLMと呼ばれます）が、たくさんのことをこなせるのをご存知かと思います。まるで万能選手ですよね。でも、その「裏側」で、AIがどうやって答えを出しているのか、特に、答えを一つずつ生成していく「デコード」の段階で、どんな共通の仕組みが働いているのかは、実はよく分かっていませんでした。

今回ご紹介する研究は、この謎に迫るものです。研究チームは、LLMがデコードしている時に、タスクの種類に関わらず共通して使われている「低次元部分空間」という、言ってみればAIの「秘密の作業スペース」のようなものを見つけました。この「DecodeShare」と名付けられた方法で、その空間を特定したのです。

さらにすごいのは、この秘密の作業スペースを意図的に邪魔してみたところ、AIの性能がガクンと落ちた、という実験結果です。しかも、AIが最初に情報を読み込む「プリフィル」の段階で使う情報や、全くランダムな情報で邪魔した場合よりも、このデコード時の秘密の空間を邪魔した方が、性能低下が大きかったとのこと。これは、この秘密の空間が、AIがタスクをこなす上で、とても重要な役割を果たしていることを示唆しています。

AIが特定のタスクをうまくこなすように「誘導」する技術（アクティベーションステアリング）にも、この発見が影響する可能性が示されています。AIの「思考」の方向性を変えるような指示が、このデコード時の共通空間と重なるかもしれない、というのです。

この研究は、AIがどのように「考えて」いるのか、そのブラックボックスを少しずつ開けていくための、また一歩進んだ成果と言えるでしょう。AIの内部メカニズムを理解することは、より安全で、より高性能なAIを開発するために不可欠だからです。