LLMの帰属評価指標は転移するか？データセットと構成要素を横断したRetrieval-Augmented Generation評価の監査

AIの文章生成技術、特に「Retrieval-Augmented Generation（RAG）」と呼ばれる仕組みが急速に進化しています。このRAGは、AIがインターネット上の情報などを参照しながら、より正確で根拠のある文章を作り出す技術です。例えば、ニュース記事を作成するAIが、過去の報道や統計データを参照して、事実に基づいた記事を書く、といったイメージです。この際、AIが参照した情報源（元ネタ）をきちんと示せているか、つまり「どこから情報を取ってきたか」を正しく評価する仕組みがとても重要になります。なぜなら、AIが嘘をついたり、間違った情報を伝えたりしないようにするためには、その根拠がどこにあるのかをしっかり確認する必要があるからです。

今回、研究者たちは、この「情報源の正しさ」を自動で評価する8つの方法（指標）を調べました。これらの指標は、単語がどれだけ一致するか、単語の意味合いがどれだけ似ているか、あるいはAIが文脈をどれだけ理解しているか、といった様々な角度からAIの回答をチェックします。そして、これらの指標が、AIの回答がどれだけ元ネタに沿っているか、情報源との関連性はどうか、といった異なる評価のポイント（構成要素）でも、同じようにうまく機能するのか（転移するかどうか）を検証しました。

しかし、残念ながら、この研究結果はあまり芳しいものではありませんでした。特に、AIが生成した文章が、本当に参照した情報源に基づいているかどうか、という最も私たちの生活や信頼性に直結する部分の評価においては、どの自動評価指標も期待通りの性能を発揮しませんでした。つまり、AIが作った文章が「ちゃんと元ネタ通りに書かれているか」を自動でチェックする今の方法は、まだ信頼性に欠ける、ということが示唆されたのです。AIの文章生成能力は日々向上していますが、その「信頼性」を測る技術は、まだ追いついていないのかもしれません。