手続き的記憶蒸留：自己改善型言語モデルのためのオンラインリフレクション

AI（人工知能）の学習方法に、新しいアプローチが登場しました。これまでAIは、一度にたくさんの情報を学習する「エピソード」ごとに、その結果を評価して改善してきました。例えば、AIが何かを試して成功したか失敗したかを、その都度チェックして、次からどうすればもっとうまくいくかを考えるイメージです。この方法だと、AIは「このやり方でうまくいった」「この失敗はよくあるな」といった、そのエピソード内での学びは得られます。しかし、AIが学習を繰り返すうちに、エピソードをまたいで「この問題には、いつもこの戦略が有効だ」「この失敗パターンが何度も出てくる」といった、もっと長期的で共通する学びのヒントがたくさん出てくるはずです。ところが、これまでの学習方法では、こうしたエピソードをまたいだ貴重な情報が、あまり活用されずに捨てられてしまっていたのです。

そこで今回提案されているのが、「手続き的記憶蒸留（Procedural Memory Distillation、PMD）」という新しい学習方法です。これは、AIが学習の過程で得た「エピソードをまたいだ重要な学び」を、「手続き的記憶」という形で保存しておく技術です。この記憶は、AIが次に学習する際の「足場」のような役割を果たします。AIは、この記憶を参考にしながら学習を進め、最終的には、この記憶の内容がAI自身の性能（ポリシー）に吸収されるようにします。つまり、学習が終わった時点では、この「記憶」はAI本体には残らず、まるで人間が経験を積んで知識として体にしみ込ませるように、AIも賢くなるというわけです。これにより、AIは推論（実際に問題を解くとき）には、余計な記憶を持たずに、より効率的かつ洗練された動きができるようになると期待されています。AIがより賢く、そして応用が利くようになるための、新しい学習のカタチと言えるでしょう。