潜在的思考の形式化：LLMにおける思考表現の4つの公理

AI（人工知能）の進化が目覚ましい昨今、特に「文章を作ったり、質問に答えたり」するのが得意な大規模言語モデル（LLM）は、私たちの生活にもどんどん身近になっています。しかし、その賢さの裏側で、AIが「本当に考えているのか」「どういう仕組みで答えを出しているのか」については、まだ謎が多いのが現状です。

今回ご紹介するのは、そんなLLMの「思考」を、もっと分かりやすく、そして正確に評価するための新しい考え方です。これまで、AIの賢さを測るには、特定のテスト（ベンチマーク）でどれだけ良い成績を出せるかで判断されることがほとんどでした。でも、これだとAIが間違った時に、「AIの能力が足りないからなのか」、それとも「AIが答えを出すための表現の仕方が悪かったからなのか」が、はっきりしなかったのです。

例えるなら、テストの点数が悪かった生徒がいたとして、その原因が「勉強不足」なのか、「問題文の読み間違い」なのか、どちらか分からないようなものです。この研究では、AIの「思考の表現」そのものに注目し、その質を評価するための4つの「ルール」（公理）を考えました。それは、「因果性（原因と結果がきちんと繋がっているか）」「最小性（余計な情報がなく、必要な情報だけか）」「分離性（関係ない情報が混ざっていないか）」「安定性（少し条件が変わっても、結果が大きくぶれないか）」という4つです。

これらのルールを、AIのテストの点数に頼らず、直接「思考の表現」から計算できるような方法（定量的な尺度）も作りました。この新しい評価方法を使って、23種類の異なる問題を解かせる実験をしたところ、驚きの結果が出ました。なんと、この4つのルールをすべて完璧に満たすAIは、まだ見つかっていないのです。AIは、問題の種類を区別することはできても、同じ種類の問題で少し違う質問をされたときに、うまく区別できないことがあるようです。さらに、AIが「考えている」ように見える情報も、実は入力された情報の中にすでに含まれている以上の、新しい情報はあまり加えていない、ということも分かってきました。

これは、AIが人間のように自ら「思考」しているというよりは、与えられた情報を元に、そのルールに沿って「表現」を組み立てている、という側面が強いことを示唆しています。この研究は、AIの「思考」をより深く理解し、その能力を正しく評価するための、新しい一歩と言えるでしょう。