ビジョン・言語モデルは人間のように検索するか？ 従来の視覚探索パラダイムにおける反応時間アナログとしての推論トークン

AI（人工知能）の世界では、日々新しい技術が登場し、私たちの生活を便利にしてくれています。中でも、画像を見て言葉を理解する「ビジョン・言語モデル（VLM）」の進化は目覚ましいものがあります。でも、こうしたAIは、私たちが物を見る時のように「考えて」いるのでしょうか？ 「この中に赤い丸はいくつある？」と聞かれたとき、私たちは無意識のうちに、まず赤いものを探し、次にそれが丸かどうかを確認しますよね。もし「赤いもの」がすぐに目に飛び込んできて（これを「ポップアウト」と呼びます）、それが丸ならすぐに答えられます。しかし、「赤い四角」と「青い丸」が混ざっている場合、一つ一つ順番に見ていかないと答えられないかもしれません。このように、私たちが何かを見つけ出すときの「反応時間」、つまりどれくらい時間がかかるかは、探し方が「一斉に」できるのか、それとも「順番に」やるのかを知る手がかりになります。

この研究では、AI、特にVLMが、私たちのこうした「視覚探索」の仕方をどれくらい真似できるのかを調べてみました。AIには、人間のように「反応時間」はありません。そこで、研究者たちはAIが「思考」するのに使う「推論トークン」、つまりAIが答えを出すまでにどれだけ「考えたか」を、人間の反応時間の代わりに使いました。具体的には、私たちが普段よく行う4つの視覚探索のやり方（特徴探索、結合探索、空間配置、列挙、傾きなど）をAIに試してもらったのです。そして、そのAIが「考えた回数」を、人間が実際に同じような課題でどれだけ時間がかかったかのデータと比べてみました。

その結果、AIは私たちの探し方の特徴をいくつか再現することがわかりました。例えば、単純な「特徴探索」（例：赤いものを探す）では、AIはあまり多く考えずに答えられたようです。これは、人間でもすぐに「パッ」と見つかるのと同じです。一方、「結合探索」（例：赤い丸を探す）では、探すものの数が増えるにつれて、AIが「考える回数」も増えていきました。これは、人間が一つ一つ順番に見ていくのと似ています。ただし、最新のAIは精度を保っていましたが、少し前のAIは、偶然当てたようなレベルにまで精度が落ちてしまったそうです。また、AIが「考えた回数」が増えるのは、単に画像がぼやけているからではなく、本当に「探す」という努力をしているからだということも分かりました。それでも、AIが人間と全く同じように見ているわけではない、という点も明らかになりました。AIは、人間が見るものとは少し違う情報に注目しているようです。