検索指標の誤謬：長期的なツール使用エージェントにおけるポリシーシグナルの測定

AI（人工知能）が、何かを判断する時に、過去の経験や情報から「次にどういう行動をとるべきか」を考えるのは、人間と同じですよね。この「次にどうするか」を決めるための情報を、AIがうまく探し出せているかを測る方法について、今回の研究は一石を投じています。

AIが何かを調べる時、検索エンジンを使います。その検索結果が、AIの「次にどうするか」を決める判断材料として、どれだけ役に立ったかを知りたい。そこで、これまでよく使われてきたのが「検索した情報が、目的の情報とどれだけ正確に一致するか」という指標でした。つまり、「探したものがバッチリ合っていれば、それはAIにとって良い情報だったはずだ」という考え方です。

しかし、この研究では、その考え方に疑問を投げかけています。AIが「次にどうするか」を決めるための「ポリシー」と呼ばれる情報（判断の指針のようなもの）を、検索がどれだけうまく提供できたかを、より詳しく調べてみました。

具体的には、Qwen2.5-3Bや7BといったAIモデルを使って、tau-benchというテスト環境で、AIが過去の行動履歴（軌道）や、あらかじめ正しいとされる情報（ゴールドポリシー）をもとに、どう判断するかを比較しました。その結果、あらかじめ正しい情報が与えられている（ゴールドポリシー条件付け）場合、整理された情報（コンパクトな構造化状態）を使うと、AIの判断精度が、そのままの行動履歴（生軌道）を使うよりも、0.13から0.17も向上することが分かったのです。これは、情報をうまく整理してAIに渡すことの重要性を示唆しています。

さらに、AIの判断に直接関係する「支配節」と呼ばれる情報（判断の決め手となる部分）が、検索でどれだけ上位に出てくるかを見てみました。すると、航空会社の予約状況のような、AIの状況を正確に表す情報が1番目に来るケースは、わずか7%に過ぎませんでした。つまり、検索しても、AIが本当に必要としている「決め手」の情報は、なかなか上位に出てこないという現実が浮き彫りになったのです。

それでも、AIの判断モデル（プライマリ3B分類器）は、検索で見つかった情報を使っても、正しい情報を使った場合とほとんど変わらない精度（マクロF1で0.58対0.60）を出すことができました。これは、AIが多少不正確な情報からでも、うまく判断を導き出す能力を持っていることを示しています。一方で、全く関係ない情報や、情報がない場合と比べると、やはり検索で得た情報が役立つことも示されました。

この研究は、AIの「次にどうするか」を測る上で、単に検索結果の一致率を見るだけでは不十分であり、AIが実際に判断を下すための「文脈」や「決め手」となる情報を、どれだけうまく提供できているかを評価する必要があることを示しています。AIの性能を正しく評価し、より賢いAIを開発するためには、新しい評価方法が求められていると言えるでしょう。