間違った理由での正しいコーディング？ 理論的構成概念の測定器としてのLLMの妥当性検証

最近、AI、特にChatGPTのような「大規模言語モデル（LLM）」が、私たちの代わりに文章を読んだり、情報を整理したりする能力が注目されています。まるで、人間が「この文章はこういう意味だ」「この部分はこういう考え方に基づいている」と判断するように、LLMにも同じような「コーディング」をさせる研究が進んでいます。例えば、ある文章が「ポジティブな意見」か「ネガティブな意見」か、あるいは「〇〇という理論に基づいているか」といった、文章に隠された考え方（これを「構成概念」と呼びます）をLLMに読み取らせるわけです。

ここで一つ疑問が生まれます。LLMが人間と同じように「正しいコーディング」をしたとしても、それは本当に「正しい理由」でそう判断したのでしょうか？ 今回ご紹介する研究は、この点に鋭く切り込んでいます。LLMが人間の判断とどれくらい一致するか（これを「信頼性」と言います）を調べても、それがLLMの判断の「妥当性」、つまり「その概念を本当に正しく測れているか」とは別問題だと指摘しています。

なぜなら、LLMは、私たちが普段重視する「理論的な背景」を理解せず、単に文章の表面的な特徴や、他の情報との「相関関係」だけでコーディングにたどり着いている可能性があるからです。例えば、ある単語が出てきたら「ポジティブ」と判断する、といった具合です。これは、病気の原因を特定する際に、熱があるという「結果」だけを見て、本当の原因を見逃しているようなものです。そして、残念ながら、今の技術では、LLMが本当に理論を理解してコーディングしているのか、それとも単なる「まぐれ」なのかを区別することが難しいのです。

この「理論と結果のギャップ」を埋めるために、研究チームは「グレインキャリブレーション」という新しい方法を提案しています。これは、複雑な「構成概念」を、より細かい「節レベルの要素」に分解することから始まります。そして、それぞれの要素が文章のどこから来ているのか、証拠を集めながらテストします。さらに、それらの結果を、どのように組み合わせて最終的なコーディングにするかの「ルール」を、誰にでもわかるように明確に示します。このルールは、AIの内部で「ブラックボックス」のように処理されるのではなく、外から見える形で存在します。そのため、もしコーディングが間違っていたとしても、どの要素の判断が間違っていたのか、あるいは別の要素と混同してしまったのか、といった原因を詳しく追跡できるようになるのです。これにより、LLMのコーディングが、単なる一致率だけでなく、その「プロセス」の妥当性まで検証できるようになることが期待されています。