言語モデルの失敗：確定的かつ持続的な推論失敗のトークンレベル特性

ChatGPTやClaudeなどの大規模言語モデル（LLM）が間違える理由を、その「考える過程」を細かく観察することで明らかにした研究が発表されました。簡単に言えば、AIが答えを導き出すとき、どの段階で道を踏み外すのかを詳しく調べたということです。

これまで、AIが間違えるのは単に「学習データが不足していた」とか「計算能力が足りない」というざっくりした理由で片付けられていました。しかし、この研究は違う角度から考えています。AIが間違えるプロセスには、実は2つの異なるタイプがあるということを発見したのです。

第一のタイプは「決定的な失敗」と呼ばれるものです。これはAIが推論の初期段階で誤った道を選び、一度その道に入ると、そこから逃げられなくなる状態です。例えば、数学の問題で最初の計算を間違えると、その後どれだけ計算を続けても正解にたどり着けない、という感じです。面白いことに、この状態では追加の情報を与えても、むしろ失敗を見つけにくくなってしまうそうです。

第二のタイプは「持続的な不確実性」です。これはAIが最後まで確信を持てないまま答えを出すケースです。各ステップで少しずつ疑いが積み重なり、最終的な答えの信頼度が低くなる。この場合は、推論の全体を見ないと成功と失敗の区別がつきません。

この研究チームは、23種類の異なるAIモデルとデータセットの組み合わせでこの現象を検証しました。その結果、この2つのパターンが一貫して観察されたのです。つまり、AIの間違え方には法則があり、その法則は特定のシグナル（不確実性の度合い）から検出できるということになります。

なぜこれが重要なのか。AIが医療診断や金融判断、法律相談など、間違えられない場面で使われる時代が来ています。AIが間違えそうなタイミングを事前に察知できれば、人間が確認するチャンスが広がります。また、AIが自分自身の推論を複数回試して、多数決で答えを決める「自己一貫性」という手法がありますが、この研究によると、どの失敗パターンに対して有効かが分かるようになるということです。

簡潔に言えば、黒い箱のように見えていたAIの失敗プロセスが、少しずつ透明になり始めたということ。AIとの付き合い方がより賢くなる可能性を秘めた研究です。