プロンプトの頑健性はタスク依存：LLM評価における客観的質問と意見型質問の比較

ニュース概要（出典記事の要点）

大規模言語モデル（LLM）のアンケート形式の評価では、プロンプトへの応答をモデルの価値観や信念の指標として扱うことが多い。この仮定は、応答が政治的価値観、社会的態度、または信念の証拠として解釈される場合に特に脆い。本研究では、固定された回答を持つ客観的質問と、意見や価値観を問う主…

※ 上記は出典記事の要約です。本サイト独自の分析・背景解説は下記をご覧ください。

解説

最近、AI（人工知能）の進化が目覚ましいですが、その性能をどうやって測るかが大きな課題となっています。特に、ChatGPTのような「大規模言語モデル（LLM）」は、人間が使う言葉で指示（プロンプト）を出すことで、様々な質問に答えてくれたり、文章を作成してくれたりします。このLLMの性能を評価する際、アンケートのような形式で質問し、その回答からモデルの「考え方」や「信念」を探ろうとする試みがあります。しかし、今回の研究では、このやり方には注意が必要だと指摘しています。

なぜなら、LLMの回答を、まるで人間が持っているような政治的な価値観や社会に対する考え方、あるいは個人的な信念の証拠として解釈してしまうと、評価がうまくいかない可能性があるからです。例えば、「〇〇についてどう思いますか？」といった質問に対して、モデルがどのように答えるかで、そのモデルの「意見」を測ろうとするのは、少し無理があるのかもしれません。

この研究では、LLMの「プロンプトへの応答の安定性」、つまり、指示の出し方を少し変えても、同じような答えを返してくれるかどうかを調べました。特に、答えが一つに決まっている「客観的な質問」（例えば、歴史上の出来事や科学的な事実など）と、人によって答えが変わる「主観的な質問」（例えば、個人の好みや道徳観など）とで、この安定性に違いがあるのかを検証しています。

具体的には、4種類のLLMを使い、3つの「客観的な質問」の集まり（MMLU、ARC、CulturalBench）と、3つの「主観的な質問」の集まり（Political Compass Test、ValueBench、World Values Survey）でテストしました。そして、質問の言葉遣いや、提示の仕方、回答の形式などを少しずつ変えて、モデルがどのくらい一貫した答えを返すかを測定したのです。その結果、モデルの種類、質問の種類、そして指示の出し方の工夫によって、応答の安定性に違いが見られることが分かりました。これは、LLMの評価には、質問の種類に応じた丁寧なアプローチが必要であることを示唆しています。

今後の予測

今回の研究結果は、LLMの評価方法について、より繊細なアプローチが必要であることを示しています。今後、LLMの評価は、単に質問に答える能力だけでなく、その「回答の信頼性」や「指示の変え方に対する頑健性」がより重視されるようになるでしょう。

一つ目のシナリオとしては、客観的な事実に基づいた質問に対する回答の正確性や一貫性を中心に評価が進む可能性があります。これは、LLMが情報提供やタスク遂行といった実用的な場面で使われることを想定した場合、最も重要な指標となるからです。この場合、主観的な質問への応答は、モデルの「個性」や「バイアス」を測るための補助的な指標として扱われるかもしれません。

二つ目のシナリオとして、LLMの「多様な指示への対応能力」を測るための、より洗練されたプロンプトエンジニアリング技術が開発されることも考えられます。単に言葉を変えるだけでなく、文脈や意図をより深く理解しているかを試すような、複雑な指示セットが評価基準として用いられるようになるかもしれません。これにより、モデルが様々な状況で、より人間らしく、あるいは目的に沿った応答ができるかが測られるようになるでしょう。

しかし、LLMが「信念」や「価値観」を持つかのような誤解は、今後も注意が必要な点です。モデルの回答をそのまま人間のそれと同一視することは避け、あくまで「学習データに基づいた応答パターン」として理解する姿勢が、評価者にも、そしてLLMを利用する私たち自身にも求められるでしょう。