地上反復言語計画：パラメータ化された世界モデルがLLMエージェントの幻覚伝播をいかに低減するか

最近のAI技術の進化は目覚ましいものがありますが、その中でも「言語エージェント」と呼ばれるAIは、まるで人間のように言葉で考え、行動する能力を持っています。例えば、チャットボットに何かを頼むと、AIが自ら考えて最適な答えを出してくれる、といったイメージです。この言語エージェントが「世界」をどう理解し、どう行動するかを学習させるための「世界モデル」という仕組みがあるのですが、これがなかなか一筋縄ではいかないのです。

世界モデルには、大きく分けて2つのタイプがあります。一つは「エージェントベースの世界モデル」。これは、AIがAPI（他のプログラムとやり取りするための窓口）を呼び出して、言葉で柔軟に推論を進めるタイプです。しかし、このタイプは、時々「幻覚」と呼ばれる、事実に基づかない間違った推論をしてしまうことがあります。そして、この間違いが、どれくらい起こっているかを正確に測るのが難しいのです。

もう一つは「パラメータ化された世界モデル」。こちらは、あらかじめ学習させた「遷移予測器」のようなもので、次に何が起こるかを予測します。このタイプのエラーは、数値で測りやすいという利点がありますが、単体で計画を立てるのが少し苦手な面があります。

今回ご紹介する研究では、この2つのタイプの世界モデルを、4つの異なる「グラフ構造計画ベンチマーク」というテストで比較しました。グラフ構造計画ベンチマークというのは、AIが複雑な問題を段階的に解いていく能力を測るためのものです。この比較を通じて、研究者たちは「地上反復言語計画（GILP）」という新しいアプローチを考案しました。

GILPは、両方のモデルの良いところを組み合わせたような仕組みです。まず、学習済みの「パラメータ化された世界モデル」が、次に取るべき行動の候補や、その行動によってどう状態が変わるか、さらにはリスクや価値といった情報を提供します。次に、この情報をもとに、より柔軟な「LLMエージェント」が、具体的な行動や、想定される状態の変化を言葉で作り出します。最後に、「一貫性ゲート」という仕組みが、両者の間で意見の食い違いがないかチェックし、もし食い違いがあれば修正を促します。このように、パラメータ化されたモデルで基本的な予測をしっかり行い、LLMエージェントで柔軟な推論を行い、さらにチェック機能で間違いを防ぐという、まさに「いいとこ取り」の戦略と言えるでしょう。これにより、AIが「幻覚」を見てしまうことを減らし、より信頼性の高い行動ができるようになることが期待されています。