潜在CoT推論を動的システムとして解釈する

AIが物事を「考える」プロセス、特に「潜在推論」と呼ばれる、私たちが普段目にするような直線的な思考（CoT：Chain-of-Thought）とは違う方法で進むものを、もっと深く理解しようという研究が登場しました。

最近のAI、例えばCODIやCOCONUTといった技術は、人間が「こう考えてこう結論が出た」と一步一步追えるような透明な思考プロセスとは異なります。これらは、AIの頭の中の「隠れ空間」で、たくさんの可能性を同時に、まるで重ね合わせるように探りながら進んでいくのです。例えるなら、迷路を解くときに、一本道を進むのではなく、同時にいくつものルートを頭の中で試しているようなイメージです。

しかし、これまでの研究では、この「隠れ空間」でAIがどうやって思考を進化させているのか、そのダイナミズムまではっきりとは分かっていませんでした。圧縮されたり、ショートカットしたり、あるいは複数の可能性が混ざり合ったりする様子は捉えられても、その「動き」そのものを分析するのは難しかったのです。

そこで今回の研究では、このAIの隠れた思考プロセスを、「動くシステム」として捉え直しました。AIが使う「隠れトークン」というものを、空間の中での「軌跡」、つまり動きの線としてモデル化しました。そして、この動きを分析するために、物理学などで使われる「動的システム分析」という手法を応用しています。

具体的には、AIが思考を進めるごとの変化の様子や、その動きの一貫性、そしてちょっとした変化がどれだけ大きく影響するか（リアプノフ感度と呼ばれる指標）などを数値で測りました。さらに、UMAPやDMD/PHATEといった、複雑なデータを分かりやすい形に「見える化」する技術も使って、AIの思考の軌跡を観察しました。

その結果、AIの隠れた思考プロセスは、ただランダムに動いているのではなく、ある種の構造を持った「ダイナミクス（動き）」を持っていることが分かりました。そして、このダイナミクスには、大きく分けて2つの「安定性」のタイプがあることが明らかになったのです。

例えば、CODIというAIは、一度決めた思考の軌跡からあまり外れず、安定した「アトラクター」のように振る舞うことが分かりました。これは、ある結論に向かって、しっかりと進んでいくイメージです。一方、COCONUTは、不安定な「拡大システム」のように振る舞い、思考の幅を広げていくような動きを見せます。

さらに興味深いのは、SIM-CoTという、AIに思考の「お手本」を見せるような手法で学習させた場合です。この学習は、AIの根本的な思考のダイナミクスを変えるわけではなく、これらの安定した、あるいは拡大するような振る舞いを、より強化する効果があることが示されました。つまり、AIの「考え方」の質を変えるのではなく、その「考え方」をより確実にする、あるいはより広げる手助けをする、といったイメージです。

この研究は、AIがどのように「考えているのか」というブラックボックスを少しでも開け、その内部のメカニズムを理解するための重要な一歩と言えるでしょう。AIの信頼性や説明責任を高める上で、こうした「思考の動き」の分析は、今後ますます重要になっていくと考えられます。