多ターン長期間計画の物理学：事前学習から事後学習まで、単一・複数教師のオンポリシーエージェント蒸留

AIが将来の出来事を予測して、長い目で物事を進める力、「計画力」。これがAIエージェントにとって、とても大事な能力だってことは、なんとなく想像できますよね。でも、どうやったらAIの計画力を効率よく高められるのか、その方法はまだハッキリしていませんでした。

そんな中、東京大学の研究者たちが、AIの計画力を育てるための新しい「育成プログラム」を提案しました。まるで、人間の子どもが段階を踏んで成長していくみたいに、AIもステップを踏んで賢くなっていくイメージです。

このプログラムは、大きく3つのステップに分かれています。

まず最初のステップは「事前学習」。ここでは、AIに基本的な計画の立て方を教え込みます。例えば、迷路を解くための基本的な動きを覚えさせたり、簡単な目標を達成するための手順を学ばせたりする感じです。

次に「事後学習（GRPO/OPD）」というステップに進みます。ここでは、より複雑で長丁場になる計画に挑戦します。GRPOやOPDといった、ちょっと専門的な名前の学習方法を使って、AIは長期的な目標達成のために、どう動けばいいのかを深く学んでいきます。これは、単に目の前のことだけでなく、数手先、数段先まで考えて行動する練習に似ています。

そして最後のステップが「蒸留」。この段階では、AIがこれまで学んだ様々な計画能力を、一つにまとめる作業を行います。たとえAIが一人で学んだこと（教師なし）でも、他のAIから教わったこと（教師あり）でも、その良いところを吸収して、より賢いAIへと「蒸留」していくのです。これにより、AIは色々な状況に対応できる、オールマイティな計画能力を身につけることができます。

この研究は、AIがもっと複雑な問題を自分で考えて解決できるようになるための、大きな一歩になるかもしれません。将来、AIが私たちの生活をより豊かにするために、計画的にサポートしてくれる日が来るのが楽しみですね。