ソルバーのボトルネックを打破：学習可能なフロンティアにおけるタスクジェネレーターのトレーニング

人工知能（AI）の進化が止まらない現代で、特に注目されているのが「強化学習」と呼ばれる技術です。これは、AIが試行錯誤を繰り返しながら、まるで人間がスポーツやゲームを学ぶように、最適な行動パターンを見つけ出す学習方法です。

しかし、この強化学習には大きな課題があります。それは、「ちょうどいい難しさの練習問題（タスク）」を用意し続けるのが非常に難しい、という点です。AIの能力がどんどん上がっていくと、これまで使っていた練習問題はすぐに簡単になりすぎてしまいます。かといって、ただ闇雲に難しい問題を作っても、AIにとっては「解けない問題」や「意味不明な問題」になってしまい、学習の役には立ちません。まるで、小学生にいきなり大学レベルの数学の問題を解かせたり、逆に赤ちゃんに簡単な足し算をさせたりするようなものです。

これまでの研究では、AI自身に「タスクジェネレーター」という、練習問題を作るAIを学習させることで、この問題を解決しようとしてきました。AIが成長するにつれて、それに合わせて適切な難易度の問題を生み出すようにするわけです。しかし、ここにも大きな壁がありました。

それは、練習問題を作るAIを評価するためには、実際にその問題が「解けるかどうか」を、別のAI（ソルバー）に解かせてみなければならない、という点です。もし、問題を作るAIが「これは良い問題だ」と考えても、実際に解くAIが「全然解けない」「時間がかかりすぎる」となれば、その問題は良い問題とは言えません。この「解けるかどうか」の確認作業が、特にソフトウェア開発のような複雑なタスクの場合、何十分もかかってしまうことがあります。これでは、問題を作るAIを効率的に学習させることができません。まるで、新しい練習問題を作るたびに、その問題を生徒に実際に解かせて、採点して、フィードバックを得るのに何時間もかかるようなものです。

今回発表された「PROPEL」という新しいフレームワークは、このボトルネックを解消しようとするものです。ソルバー（問題を解くAI）が実際に問題を解く時間を大幅に短縮し、効率的にタスクジェネレーター（問題を作るAI）をトレーニングできるようにする技術です。これにより、AIが自律的に、かつ効率的に、自身の能力を向上させるための適切な練習問題を生成できるようになることが期待されます。これは、AI開発のスピードを飛躍的に向上させる可能性を秘めており、より高度なAIの実現に向けた大きな一歩となるでしょう。