LLMエージェントにおける明確化要求のための不確実性分解

最近、私たちの身の回りでもチャットボットやAIアシスタントが活躍する場面が増えてきましたね。まるで人間のように自然な会話ができるようになってきていますが、実は彼らにも「苦手なこと」があります。それが「よくわからないことを、よくわからないと認識すること」なんです。

今回の論文は、このAIの「わからない」をどうにかしようという、非常に興味深い研究です。私たちが友達と話すとき、「それってどういう意味？」とか「もう少し詳しく教えてくれる？」と聞き返すことがありますよね。これは、相手の言っていることが曖昧だったり、自分の理解が不十分だったりする時に、お互いの認識を合わせようとする自然なコミュニケーションです。AIも、もっと私たち人間のように、曖昧な指示を受けたときに「これ、よくわからないから教えて！」と積極的に聞いてくるようになってほしい、というわけです。

これまでのAIは、たとえ指示が曖昧でも、とりあえず何か答えを出そうとする傾向がありました。しかし、それでは的外れな回答をしてしまうことも少なくありません。そこで研究者たちは、AIが「これは、私の知識では判断できない曖昧な指示だ」と自分で気づき、さらにその「曖昧さ」の種類を具体的に把握して、「この部分がわからない」と人間に伝えられるようにするための新しい考え方を提案しています。

これまでのAIの「わからない」は、大きく分けて2種類ありました。一つは「偶然的（aleatoric）不確実性」といって、サイコロの目のような、本質的に予測が難しい不確実さ。もう一つは「認識的（epistemic）不確実性」といって、データが足りないからわからない、という不確実さです。しかし、人間との対話においては、これだけでは不十分だと指摘されています。例えば、「今日のランチ、美味しいもの食べたいな」という指示は、偶然でも認識不足でもなく、「美味しいもの」の定義が人によって違う「仕様の曖昧さ」ですよね。AIには、こういった「仕様の曖昧さ」を認識し、それを「美味しいものって具体的にどんなものが好みですか？」と聞き返せるようになってほしいのです。

しかも、この「わからない」をAIに理解させる方法も工夫が必要です。AIの内部構造は複雑で、ブラックボックス化していることが多いため、内部の計算を細かく分析して「わからない」を特定するのは難しい。そこで、この論文では、AIに「プロンプト」、つまり指示や質問の形で「私はどれくらい自信がないか？」「何が曖昧なのか？」を自己分析させる手法を提案しています。これにより、AIがより人間らしい、きめ細やかなコミュニケーション能力を身につけ、私たちの生活をより豊かにしてくれる未来が期待されます。