証拠チェーン評価による校正済み選択的ファクトチェック

AIがニュース記事やSNSの投稿の真偽をチェックする技術は、日々進化しています。特に、ChatGPTのような「大規模言語モデル（LLM）」と呼ばれるAIは、驚くほど高い精度でファクトチェックができるようになりました。

しかし、ここに一つ、大きな落とし穴があります。それは、AIが「本当か、嘘か」を断定しなければならない場面で、たとえ証拠が弱かったり、情報が矛盾していたりしても、自信満々に「本当です」とか「嘘です」と答えてしまうことです。これは、AIが本当は確信が持てないのに、そう見えてしまう「自信過剰」な状態と言えます。まるで、テストで答えが分からないのに、適当にマークしてしまうようなものです。これでは、AIのチェック結果を鵜呑みにするのは危険ですよね。

この問題を解決するために、研究者たちは新しいアプローチを提案しました。それが「証拠チェーン評価（ECE）」という仕組みです。これは、AIにすべての主張に対して白か黒かをはっきり決めさせるのではなく、「自信がない」場合は「判定保留」できるようにした、いわば「選択的ファクトチェック」のフレームワークです。

具体的には、AIはまずウェブ検索や学術論文データベースなどを駆使して、主張の裏付けとなる証拠を集めます。そして、集めた証拠の信頼度や、情報源のメタデータ（情報源の質や出所など）を考慮して、最終的な判定を下します。もし証拠が不十分だったり、矛盾が大きかったりすれば、「保留」という選択肢を選ぶことができるのです。

このECEという仕組みを、ECE-Benchという評価システムで試したところ、AIが回答した主張に対する「選択的精度」、つまり「正確に判定できた割合」は97.8%にも達しました。これは、AIが自信を持って「保留」を選べた場合に、その判断が正しかった割合が高いことを示しています。

もちろん、ECEがすべての面で既存のAIを上回ったわけではありません。期待校正誤差やブライアースコアといった、AIの判定の正確さや信頼度を測る別の指標では、既存の強力なAIシステムを大きく超えるものではありませんでした。しかし、ECEの真価は、AIが「自信がない」場合にそれを正直に表現できる点にあります。これにより、AIのファクトチェック結果の信頼性が格段に向上し、私たちがAIの情報をより安心して利用できるようになることが期待されます。AIの賢い「迷い」を許容することが、AIの信頼を高める鍵となるのです。