LLMの論理的推論における構造的不確実性を用いた一貫性の定量化

最近、私たちの生活に欠かせないツールとなりつつある大規模言語モデル（LLM）。チャットボットとして質問に答えたり、文章を生成したりと、その能力には目を見張るものがあります。しかし、「本当にこの答えは信頼できるのか？」と感じたことはありませんか？

LLMは時々、同じ質問に対しても、異なる考え方（推論のプロセス）を経て同じ答えを出すことがあります。特に、いくつかのステップを踏んで結論を導き出すような複雑な問題では、この「考え方のブレ」が顕著になることがあります。例えるなら、数学の問題を解くときに、Aさんは遠回りな方法で、Bさんはスマートな方法で、どちらも正解にたどり着くようなものです。人間であれば「いろんな解き方があるんだな」で済みますが、AIの場合、この「考え方のブレ」が信頼性の問題につながることがあるのです。

これまでの研究では、LLMの信頼性を測る際、主に「最終的な答えがどれくらいバラつくか」に注目していました。つまり、同じ質問を何回か投げかけたときに、毎回違う答えが出てくるかどうかを見る方法です。しかし、今回の論文では、それだけでは不十分だと指摘しています。なぜなら、たとえ最終的な答えが同じでも、その答えに至るまでの「推論のプロセス」がどれだけ安定しているか、つまり「モデル自身が、自分の出した複数の考え方の中から、どれをより信頼できると考えているか」という視点が抜け落ちていたからです。

今回の新しい研究では、「構造的不確実性」という考え方を提唱しています。これは、LLMが自分で出したいくつかの推論プロセス候補の中から、「どれが一番良いか」をモデル自身に選ばせることで、その一貫性を測ろうとするものです。具体的には、まずLLMにいくつかの異なる推論プロセスを生成させます。次に、それらのプロセスをLLM自身に比較させ、「こっちのプロセスの方がより良い」という選好を判断させます。まるで、モデル自身が自分の出した答えをレビューするようなイメージです。

この自己選好のデータを使って、統計モデル（Bradley-TerryモデルやPageRank）で分析することで、どの推論プロセスがより一貫性があるかを数値化します。これにより、「試行ごとにランキングがどれだけ不安定か」と「一つの試行内で候補の曖昧さがどれだけあるか」という二つの側面から、LLMの信頼性をより深く理解できるようになるのです。この新しい視点は、これまでの「最終的な答えのばらつき」という評価方法を補完し、LLMの信頼性をより正確に評価するための重要な一歩となるでしょう。私たちがAIをより安心して使える未来のために、このような地道な研究が非常に大切なのです。