想像的知覚トークンがマルチモーダル言語モデルの空間推理を強化

スマートフォンやロボット、自動運転車。私たちの日常で活躍するAIは、目に見える情報を処理するのは得意です。しかし、実は大きな弱点を抱えていました。それは「見えていない空間をどう理解するか」という問題です。

例えば、あなたが部屋の角を曲がった先に何があるか。カメラには映っていませんが、人間は簡単に推測できます。背後に誰かいるか、隣の部屋の配置はどうなっているか。こうした「見えない情報を埋める力」こそが、実世界での行動に必要不可欠なのです。

従来のAIは、テキストで空間関係を説明されれば理解できました。「Aの左にB、Bの奥にC」という言葉ですね。でも画像を見ながら、自分で隠れた部分を推測することが難しかったのです。

この研究が提案した「想像的知覚トークン」という手法は、シンプルながら革新的です。AIに「見えない部分を想像する専用の思考パーツ」を与えたイメージです。映っていない領域に対して、モデルが能動的に「ここはこうなっているはず」と推測できるようにしたわけです。

検証に使われたタスクは、実はとても日常的。視点が変わった時に物体がどこへ移動するか、障害物の向こう側へ行くにはどのルートを通るか。これらは、ロボットが家の中を移動する時や、自動運転車が見えないカーブの先を予測する時そのものの課題です。

約20,000の学習例を用いて、この新しい手法を組み込んだAIシステムを評価したところ、従来のテキストベースの方法より優れた結果が出た。つまり、「言葉での説明」より「見えない部分を想像させる」方が、より正確な空間理解につながったということです。

この進展の本当の価値は、数値の改善だけではありません。AIが3次元世界をより人間らしく認識し始めたということです。人間が日々やっている「経験と想像に基づく推測」を、AIが学習可能なスキルとして獲得しつつあるのです。数年後、こういった技術が自動配送ロボットや介護用ロボット、AR・VRシステムの中に組み込まれているかもしれません。