LLMの回答網羅性を評価する曖昧な多段質問データセット「DeepAmbigQA」

最近、AI、特に「大規模言語モデル（LLM）」と呼ばれるものが、まるで人間のように文章を作ったり、質問に答えたりできるようになってきました。ChatGPTなどがその代表例ですね。でも、AIが本当に「賢い」のか、どれくらい正確に答えられるのかを測るのは、実はとても難しいんです。

特に、AIが複数の情報を組み合わせて、文脈を理解しながら答える「多段的な質問」への対応は、これまでのAIの苦手分野でした。例えば、「あの映画に出てアカデミー賞を取った俳優さんって誰だっけ？」のような質問です。これに答えるには、まず「あの映画」がどれを指すのかを理解し、その映画の出演者リストを見て、さらにその中からアカデミー賞を受賞した人を探す、といった複数のステップを踏む必要があります。

そこで、Apple Machine Learning Researchという、アップルのAI研究チームが、このAIの「賢さ」をより正確に測るための新しい道具を開発しました。それが「DeepAmbigQA」という、ちょっと変わった質問集（データセット）です。

この「DeepAmbigQA」のすごいところは、ただ難しい質問を集めただけではないんです。例えば、「同じ名前の映画がいくつかあるけれど、そのうちのどれかに出演して、かつアカデミー賞も取った俳優は誰？」といった、あいまいさや複数の解釈が入り混じるような質問が意図的に作られています。これは、現実世界で私たちが受ける質問に近いかもしれません。

AIは、こうした質問に対して、たくさんの情報の中から必要なものを選び出し、それらをうまくつなぎ合わせて、最終的な答えを導き出す必要があります。この「DeepAmbigQA」というデータセットを使うことで、AIがどれだけこの複雑な作業をうまくこなせるのか、その「網羅性」をより詳しく評価できるようになる、というわけです。これまでのAI評価では見逃されがちだった、高度な理解力や推論能力を、この新しいデータセットでチェックできるようになったのは、AIの進化にとって大きな一歩と言えるでしょう。