マルチモーダルモデルの差分検出による特徴発見と制御

スマートフォンのカメラで撮った写真を見せて「この画像に何が写ってますか？」と聞くと、最新のAIはテキストだけでなく画像も同時に理解して、自然な日本語で答えてくれます。こうしたマルチモーダル大規模言語モデル（画像とテキストを両方処理できるAI）は、ここ数年で急速に発展してきました。

ただし、ここまで高度なことができるようになると、新しい問題が浮かび上がります。それは「このAI、実は何を考えて答えを出してるの？」という疑問です。

AIの内部は膨大な数の数学的な計算で成り立っていて、研究者たちが「黒い箱」と呼ぶほど、その判断の理由が見えにくくなっていました。医療診断や重要な判断に使う際、「なぜそう判断したのか説明してほしい」というニーズが出てきたのは自然なことです。

今回、研究者たちが発表した「MMDiff」というフレームワークは、この「黒い箱」を少し透明にしようという試みです。簡単に言うと、AIが何かを判断するときに、どの「特徴」に注目しているのかを人間にもわかる形に翻訳するツールだと考えてください。

例えるなら、AIの脳の中にある数千の神経回路をカテゴリー分けして、「このグループは色を認識している」「このグループは物体の形を認識している」といった具合に整理するイメージです。その結果、開発者は狙い通りの判断をさせるために、特定の特徴を強めたり弱めたりできるようになります。

これは単なる学問的な興味ではなく、実用的な意味も大きいです。AIを信頼できるものにするには、その判断が信頼できるものでなくてはいけません。医療、金融、法律といった分野では、AIが「こういう理由で判断しました」と説明できることが導入の条件になりつつあります。また、悪意のある使い方を防ぐためにも、AIの挙動をコントロールできることは重要です。