可能性か断定か？臨床テキストにおける診断の不確実性保持を評価するためのベンチマーク

最近、私たちの身の回りでもAI、特に大規模言語モデル（LLM）が活躍する場面が増えていますよね。例えば、調べ物をしたり、文章を要約してもらったり、なんてこともAIにお願いする機会があるかもしれません。医療の世界でも、AIが患者さんのカルテをまとめたり、診断書を作成する手伝いをしたりと、その活用が期待されています。

しかし、医療現場でAIを使うとなると、私たちが普段使うような文章とは少し違う、非常にデリケートな情報を取り扱うことになります。特に重要なのが「不確実性」の表現です。例えば、「肺炎の疑いがある」と「肺炎である」では、受け取る側の印象も、その後の治療方針も大きく変わってきますよね。医師は、検査結果や患者さんの状態を総合的に判断して、「もしかしたらこうかもしれない」「〜の可能性が高い」といった、証拠の強さに応じた言葉を選びます。この微妙なニュアンスが、次にどんな検査をするか、どんな薬を使うかといった、患者さんの命に関わる大切な決定に直結するからです。

今回の研究は、まさにこの「不確実性」をAIがどれだけ正確に理解し、表現できるのかを調べたものです。これまで多くの研究は、AIが生成する文章がどれだけ自然か、矛盾がないかといった点に注目してきました。でも、医療の文脈では、ただ流暢なだけでなく、「可能性」と「断定」の違いをしっかり区別できるかが極めて重要なんです。

研究チームは、まず「可能性のある肺炎」のように、不確実性を示す表現がどれくらいあるかを、実際の医療文書から集め、5つのレベルに分類しました。そして、そのデータを使って、いくつかのLLMがどれだけ正確に不確実性を保てるかをテストしたんです。その結果、驚くべきことに、AIは元の文章にあった不確実性の表現を半分も維持できていないことが分かりました。さらに、微妙なニュアンスの違い、例えば「〜かもしれない」と「〜の可能性が高い」といった隣り合うレベルの区別が苦手だということも判明しました。

これは、私たちがAIを医療現場で使う際に、非常に重要な警告を発しています。もしAIが「可能性のある」を「断定」に変えてしまったり、その逆をしてしまったりしたら、医師が誤った判断をしてしまうリスクにつながりかねません。今回の研究は、AIを医療に安全に導入するためには、単に文章が上手なだけでなく、医療特有の繊細な情報、特に不確実性の表現を正確に扱えるように、もっと改良が必要だということを教えてくれています。