オフライン強化学習を用いたLLMエージェントハーネス制御の学習

普段、AI（人工知能）の「頭脳」にあたる大規模言語モデル（LLM）を賢く使うためには、AIに与える指示（プロンプト）を変えたり、AIのプログラムそのものを改良したりする方法が一般的です。でも、AIが実際に仕事を進めるための「手順」や「仕組み」にあたる部分は、あまり変えられない固定されたものとして扱われがちでした。この研究では、その「手順」や「仕組み」自体も、AIが学習して改善できる「制御できる部分」だと考え直しています。

具体的には、LLMの賢い部分（モデル本体）はそのままにして、もっと軽い「コントローラー」という部分が、AIがどのような行動をとるべきか、その構造的な手順を選んでいく、という仕組みを考えました。これは、AIが限られた回数の試行錯誤（有限ホライズン・ハーネスMDP）で学習していくイメージです。このコントローラーは、最終的な目標を達成できたかどうかという「報酬」だけを頼りに、より良い結果につながる行動を選べるように、過去の試行錯誤のデータ（オフラインロールアウト）から学習します。さらに、この研究では、最終的な答えがどれだけ正しかったかという「最終品質」と、AIが手順をどれだけちゃんと踏めたかという「事後ハーネス成熟度スコア」を分けて評価しています。後者は、AIが信頼できる実行パターンに沿って動けているかを測るものです。

この二つの評価を分けることで、AIが学習する過程の「履歴」を、限られた期間のデータ（有限バッファビュー）で見ることができるようになります。最終的な答えの質を上げるためには、過去のデータの中で良い結果が出ている行動をさらに強化することが必要ですが、AIの行動プロセス自体は、より良い結果につながる行動（アドバンテージ加重アクション）と一致していれば、いつでも改良できる、という柔軟性があるのです。つまり、AIの「やり方」を、その「結果」だけでなく、「プロセス」も評価しながら、継続的に賢くしていく新しいアプローチと言えます。