SEAD：エントロピー誘導型教師あり学習による、能力を考慮したオンポリシー蒸留

AI（人工知能）の世界では、より賢いAIを作るための研究が日々進んでいます。特に、AIに「教える」方法に注目が集まっています。今回ご紹介するのは、AIを効率的に育てるための新しい「教師あり学習」という手法です。

AIを育てる方法は、大きく分けて「先生（教師）」がいて、その先生の教え方を真似てAI（生徒）が学ぶ「教師あり学習」と、AIが自分で試行錯誤しながら学ぶ「強化学習」があります。今回注目するのは「オンポリシー蒸留（OPD）」という、教師あり学習の一種です。このOPDの面白いところは、先生の教え方が、生徒の「できる度合い（能力）」によって変わるという点です。例えば、生徒がまだ何も知らないのに難しい問題を教えられても、うまく学べませんよね。逆に、すでに知っていることを何度も教えられても、時間の無駄になってしまいます。OPDでは、このような「無駄」をなくすために、生徒の能力に合わせて先生の教え方を調整しようとします。しかし、これまでのOPDでは、この「無駄」をすべての教え方で同じように扱ってしまい、十分な効果が得られていませんでした。

そこで、研究者たちは「SEAD」という新しい手法を提案しました。SEADは、AIの「エントロピー」という指標を使って、どこをどう教えるのが効果的かを判断します。エントロピーとは、簡単に言うと「情報のばらつき具合」や「不確実さ」を表すものです。SEADでは、このエントロピーを3つのレベルで分析します。

まず、教える「単語（トークン）」レベルです。先生と生徒のエントロピーを比べることで、生徒がすでに理解している単語や、逆に理解が難しい単語を見つけ出します。これにより、約半分くらいの単語は、教える必要がない、または教え方を変える必要があると判断され、無駄な学習がスキップされます。次に、学習が進む「トレーニングフェーズ」のレベルです。学習が進むにつれて、AIの能力も成長していきます。SEADでは、この能力の成長に合わせて、教え方の「減衰」の仕方を調整します。最初は「フォワードKL」という方法で、次に「リバースKL」という方法へと、徐々に教え方を変えていくのです。

最後に、AIに与える「指示（プロンプト）」のレベルです。いきなり難しい指示を出すのではなく、簡単な指示から始めて、徐々に難しい指示へとステップアップさせていく「カリキュラム」方式を取り入れます。これにより、AIは無理なく、着実に能力を伸ばしていくことができます。

これらの3つのレベルでの調整は、それぞれが独立しているのではなく、お互いに協力し合って効果を発揮します。例えば、単語を選ぶときには、学習の進み具合（カリキュラム）が整っている必要がありますし、教え方を段階的に減衰させるためには、AIの能力が着実に向上している（これもカリキュラム）ことが必要になります。SEADは、こうしたAIの「できる度合い」を考慮することで、より効率的で効果的なAIの育成を目指す、新しいアプローチと言えるでしょう。