完璧な検知、失敗した制御：言語モデルにおける「知ること」と「操ること」の幾何学

AI（人工知能）の進化が目覚ましい昨今、私たちがAIとどう向き合い、どう付き合っていくかが大きなテーマになっています。特に、AIが「賢くなる」だけでなく、私たちが望むように「動いてくれる」ことが重要視されています。この「賢さ」と「操りやすさ」の関係について、最新の研究が興味深い視点を提供しています。

AIの内部で、特定の情報や能力がどのように表現されているのかを理解し、さらにそれを私たちの意図通りに操作できるようにすること。これが、AIの仕組みを解き明かす「メカニズム解釈可能性」という分野の中心的な目標です。しかし、これには「ある情報を見つけ出す方向」と「その情報を操作・変更する方向」が同じか、それに近いという、暗黙の前提がありました。

今回の研究では、この前提を数学的な「幾何学」の言葉で検証しています。例えるなら、ある「モノ」を見つけるための「指さし方向」と、その「モノ」を動かすための「押し方向」がどれくらい一致しているか、というイメージです。もし、見つける方向と動かす方向がピタリと一致すれば、その「モノ」はとても操作しやすいと言えます。しかし、もし大きくずれていたら、見つけられても、それを意図通りに動かすことは難しくなります。このズレを数値化することで、「見つけること」と「操ること」の間のギャップを測ることができるのです。

研究チームは、AIモデル「Gemma 2-2B-it」を使って、いくつかの能力を調べました。例えば、AIが正しい形式で情報を出力するかどうか（クリーンなJSON形式か、それともマークダウン形式で囲むか）といった能力は、「見つける」方向と「操る」方向が、ある程度同じ方向（軸）にまとまっていることがわかりました。つまり、この能力に関しては、見つけやすく、操作もしやすいと言えるかもしれません。

しかし、AIがもっともらしく嘘をついてしまう「幻覚（ハルシネーション）」の問題は、そう単純ではありませんでした。AIは、存在しないものや間違った情報を、まるで本物のように見分ける能力（検知）においては、驚くほど高い精度（レイヤー5でAUC=1.000）を示しました。これは、まるで「嘘」と「本当」をきれいに線引きできるかのようです。しかし、その「嘘を見つける方向」と、AIに「嘘をつかせないように指示する方向」は、大きくずれていることが判明したのです。具体的には、両者の方向は約83度も離れていました。これは、AIが「嘘」を完璧に見分けられても、その「嘘」を止めさせるように操作するのは、全く別の話であることを示唆しています。この結果は、「見つけること」が必ずしも「操ること」を意味しない、という研究の核心を突いています。