ターン平均SAEによる特徴発見と長文脈アトリビューション

AI（人工知能）って、最近すごく進化してますよね。特に、私たちが普段使っているスマホの音声アシスタントとか、文章を作成してくれるAIとか、色々なところで活躍しています。でも、これらのAIが「どうやって考えているのか」って、実はまだよく分かっていない部分が多いんです。まるで、高性能なブラックボックスみたいですよね。

AIの頭の中を覗くための「窓」となる技術として、「スパースオートエンコーダー（SAE）」というものがあります。これは、AIが文章を処理する時に、どんな情報に注目しているのか、その「特徴」を見つけ出すのに役立ちます。例えば、「今日の天気は？」とAIに聞くと、AIは「今日」「天気」といった言葉に注目している、というようなことをSAEは教えてくれるんです。

ただ、この従来のSAEには、ちょっと困った問題がありました。AIが長い文章を読んだり、長い会話を聞いたりすると、注目する「特徴」の数もどんどん増えてしまうんです。そうなると、AIが何に注目しているのかを一つ一つ調べるのが大変になってしまいます。まるで、たくさんの情報が詰まった長い手紙を読んで、どこに大切なことが書いてあるか探すようなものです。これでは、AIが長い文章をどう理解しているのかを深く調べるのが難しくなってしまいます。

そこで、今回の研究では、この問題を解決するための新しい方法、「ターン平均SAE」を提案しています。これは、AIが話す「ターン」、つまり一回の発言や一回の応答ごとに、そのターンの内容をまとめて、平均的な特徴を捉えようという考え方です。例えるなら、長い手紙を全部読むのではなく、手紙の各段落ごとに、その段落の「一番言いたいこと」を要約して理解しようとするイメージです。

この新しい「ターン平均SAE」を使ってみたところ、驚くべき発見がありました。AIに「この発言はどういう意味？」と評価してもらった結果、この新しい方法で捉えた特徴の方が、従来のトークン（単語や文字のような最小単位）ごとの特徴よりも、発言全体の意味合いをよりよく表していることが分かったのです。つまり、AIの「頭の中」を、より的確に、そして効率的に理解できるようになったということです。

さらに、この「ターン平均SAE」は、AIの「注意の向け方」をグラフで示すような、AIの解釈を助ける他の技術とも相性が良いことが分かりました。これにより、AIが長い文章や会話をどう理解しているのかを調べる作業が、ずっとシンプルになることが期待されます。長文のAIの仕組みを理解する上で、とても実用的で役立つ技術と言えそうです。