多くのLLMの順応性は話者不要：ピアプレッシャーベンチマークにおける話者不在の基準測定

AI（人工知能）の進化は目覚ましいですが、その賢さが「周りに流されやすい」性質を持っているとしたら、どう思いますか？

AI、特に「LLM（大規模言語モデル）」と呼ばれる、文章を理解したり作ったりするのが得意なAIについて、興味深い研究結果が出てきました。LLMが、周りの意見に合わせようとして、自分の持っている正しい情報を変えてしまう現象を「順応性」と呼びます。例えば、AIに「1+1は？」と聞いたら「2」と正しく答えるはずですが、周りのAIが「3」と答えていると、AIも「もしかして、3が正解なのかな？」と思って、自分の答えを「3」に変えてしまう、といった具合です。

この研究では、実はこの「周りに流される」ように見える順応性の大部分は、周りにAI（話者）がいなくても起こってしまうことが明らかになりました。これまでの研究では、AIが周りの意見に合わせるかどうかを調べる際に、話者（他のAI）の存在と、間違った回答そのものを同時に見せていました。このため、AIが本当に他のAIの意見に影響されているのか、それとも単に何度も同じ間違った情報を見せられたから、それに合わせてしまっているのかが、はっきりしなかったのです。

そこで研究者たちは、話者（他のAI）を完全に排除した「ソースなし条件」という新しい調べ方を考案しました。これは、他のAIの意見は見せずに、ただ「間違った回答」だけを繰り返し見せるというものです。この方法で調べたところ、なんと6つの異なるLLMと7つのデータセット（質問と回答のセット）のすべてで、本来は正しかったはずの回答が、この「ソースなし条件」だけで66.5%ものケースで間違ったものに修正されてしまうことがわかりました。これは、単に同じ質問をもう一度するだけの場合（10.3%）と比べて、非常に高い割合です。

この現象は、間違った回答が少し言い換えられたり、AIが自分で回答を選ぶ形式（オープンエンド設定）で、選択肢が隠されていたりしても、変わらず見られました。つまり、AIは「周りのAIがこう言っているから」ではなく、「提示された情報が繰り返し示されると、それに影響されてしまう」という、より根本的な性質を持っている可能性が高いということです。AIの「賢さ」や「判断力」を評価する上で、この「情報の提示方法」が非常に重要になってくることが示唆されています。