「デザインによる忠実性」：多関係者向けLLM生成臨床試験要約の評価と改善

最近、AI、特に「大規模言語モデル（LLM）」と呼ばれる賢いコンピュータープログラムが、医療の世界でも活躍し始めています。例えば、新しい薬の効果を調べる「臨床試験」の結果を、お医者さんや患者さん、さらには保険会社のようなお金を出す側の人たちに分かりやすく伝えるための「要約」を作るのに使われているんです。

でも、ここで一つ大きな問題が。AIは時々、本当は証拠がないのに、あたかも事実であるかのように話してしまうことがあります。これを専門用語で「幻覚（ハルシネーション）」と呼ぶのですが、医療のような人命に関わる分野では、この「幻覚」がとても危険な落とし穴になりかねません。間違った情報が広まれば、治療方針に影響が出る可能性だってありますからね。

そこで、今回の研究では、このAIが作った臨床試験の要約が、どれくらい「本当のこと」に基づいているのか（これを「忠実性」と呼んでいます）を調べるための新しい方法を提案しています。具体的には、アメリカにある臨床試験のデータベースから200件の試験を選び出し、それぞれの試験結果の要約を、お医者さん向け、患者さん向け、支払者向け、と3つの異なる立場の人たちに向けてAIに作らせました。そして、それぞれの要約がどれだけ正確か、6つの観点から細かくチェックしたんです。

この調査で、今注目のAIモデルであるGPT-4o、Claude Sonnet 4.6、Gemini 2.5 Flashという3つのモデルが使われました。これらのモデルが作った合計1,800もの要約を分析した結果、残念ながら、どのモデルでも「裏付けのない主張」、つまり「根拠のない話」が一番の弱点であることが分かりました。全体として、3点満点で平均1.55点という結果で、まだまだ改善の余地が大きいことが示唆されています。

AIが医療分野で役立つのは素晴らしいことですが、その情報が正確で信頼できるものであることが大前提です。特に、臨床試験のような専門的で複雑な情報を扱う場合は、AIの「幻覚」を防ぎ、確かな情報だけを伝えるための工夫が、これからもどんどん必要になってきそうです。