分割、プロンプト、集計：言語モデルにおける統計的自己整合性

最近、AI、特に「大規模言語モデル（LLM）」と呼ばれる、文章を作ったり質問に答えたりするのが得意なAIの能力について、「条件付き推論」という考え方が注目されています。これは、ある条件が与えられたときに、AIがどれだけ論理的に正しい予測ができるか、という見方です。もしこの考え方が正しければ、AIの予測は、確率の基本的なルール、つまり「自己整合性」というものを満たすはずなのです。

今回、そんなLLMの予測が、この「統計的自己整合性」という原則にどれだけ従っているかを調べる研究が登場しました。まるで、AIが数学のテストを受けているようなイメージですね。

研究では、少し変わった方法でLLMをテストしています。まず、情報を「二分木」という、枝分かれしていくような構造で整理します。例えば、ある集団を「Aグループ」と「Bグループ」に分け、さらに「Aグループ」を「A1」と「A2」に、といった具合に、どんどん細かく分けていくのです。そして、それぞれの細かく分かれたグループ（亜集団）について、LLMに「あなたはどんなグループですか？」と説明を読み込ませて、そのグループだと予測させます。さらに、細かく分かれたグループの予測結果を、元の大きなグループの予測結果と比べて、矛盾がないか、つまり「統計的自己整合性」があるかをチェックしました。

これは、例えば「果物」という大きなグループの予測と、「リンゴ」や「バナナ」といった小さなグループの予測が、ちゃんと整合性が取れているかを見ているようなものです。もしLLMが「リンゴは果物である」という基本的な事実を無視して、「リンゴは野菜である」と予測してしまったら、それは自己整合性が取れていない、ということになります。

この研究は、LLMが単に言葉を並べているだけでなく、ある程度、論理的・確率的な整合性を持って推論できているのかどうかを、より深く理解する手がかりを与えてくれるかもしれません。AIが私たちの生活にますます深く関わるようになる中で、その「頭の中」で何が起きているのかを理解することは、非常に重要になってきているのです。