LLMの政治情報仲介能力を評価するベンチマーク「Polistemics」

選挙の時期が近づくと、政治家の発言や政策の違いについて、インターネットで調べたり、AIに聞いたりする人も増えています。ところが、最新の研究で、多くの言語AI（大規模言語モデル）が、政治情報の仲介者として完全に信頼できるわけではないことが明らかになりました。

この研究が指摘するのは、AIが政治情報をどの程度まで責任を持って説明できるのかを、きちんと測る方法がこれまでなかったということです。情報技術の世界では「ベンチマーク」という共通の評価基準があって、複数のAIの性能を比較するのが一般的です。でも政治情報という複雑なテーマでは、そうした標準的なテストが存在していませんでした。

研究チームが開発した「Polistemics」という評価方法によると、AIにはふたつの顔があることが分かります。ひとつは肯定的な面。情報がはっきりしていて、矛盾がない場合、AIは比較的信頼できる答えを出します。ニュース記事の事実をそのまま説明させるようなシンプルな質問なら、AIは高い精度で対応できるということです。

しかし問題は、現実の政治議論はそう単純ではないということ。政治家の発言は文脈によって意味が変わったり、一人の政治家が過去に異なる立場をとっていたり、統計データの解釈が分かれたりします。こうした「ぼやけた状況」「矛盾した情報」「情報不足」の場面で、AIは途端に機能不全に陥ります。その結果、強い意見と弱い意見の違いが平らになってしまい、本来は明確に異なる主張まで同列に扱ってしまうリスクが生じるのです。

これは、SNSやアプリを通じてAIに政治相談をする一般ユーザーにとって、見逃せない問題です。「AIが中立的に説明してくれるから」と思って頼ると、実は複雑な政治判断の場面で、AIが根拠不十分な答えを自信たっぷりに出してくる可能性があります。特に選挙投票の判断に直結する情報では、こうした弱点が民主主義の質に影響しかねません。

この研究が重要なのは、AIの限界を明確にしたうえで、どの場面でAIを信頼できて、どの場面では人間の判断が必要かを、データに基づいて示そうとしている点です。デジタル技術が急速に進化する中で、テクノロジーの弱点を直視し、改善を促す基準をつくることは、社会全体のデジタルリテラシーを高める第一歩になるでしょう。