汎用推論のための転移学習：マルチドメインRLVR向け自動カリキュラム

AI（人工知能）の世界では、コンピューターに「考える力」や「問題を解く力」を学ばせる研究が日々進んでいます。特に、人間のように色々な分野の問題を解けるようにする「汎用的な推論能力」の育成は、AI開発の大きな目標の一つです。今回ご紹介するのは、この汎用的な推論能力を効率よく育てるための新しい方法についてです。

AIの学習方法には、報酬（ご褒美）を与えながら試行錯誤させる「強化学習」というものがあります。この技術を、数学やプログラミング、科学といった、それぞれ異なる知識や考え方が必要な複数の分野（マルチドメイン）に応用し、AIに様々な問題を解かせる試みが行われています。しかし、こうしたマルチドメイン学習には、ちょっとした課題がありました。それは、ある分野で学んだことが、別の分野の学習にどれくらい役立つのか、その「スキルの伝わり方（転移）」が、分野によってバラバラだということです。

ところが、これまでのAIの学習計画（カリキュラム）は、どの分野をどれくらいの頻度で学習させるかがあらかじめ決められていたり、人が手で調整したりすることがほとんどでした。これでは、スキルの伝わり方がうまくいかない分野があっても、その分野の学習を優先するといった柔軟な対応ができませんでした。また、既存の学習計画では、「今、AIが一番伸びている分野」に注目して学習を進めるのですが、その分野での学習が、他の分野の学習にどれだけ良い影響を与えるかまでは考慮されていませんでした。

そこで、この研究では「Transfer-Aware Curriculum（TAC）」という、新しい学習計画の仕組みを提案しています。これは、AIが学習を進める中で、「この分野を学習させると、他のたくさんの分野の学習にも良い影響がありそうだ！」という、より広範囲に役立つ分野を優先的に学習させるものです。TACは、AIが学習する際に自然に生まれる情報（シグナル）を賢く利用することで、特別な手間をかけずに、どの分野の学習が最も効果的かを判断します。これにより、AIはより効率的に、様々な分野の問題を解けるようになることが期待されます。