Muonの「Grokking」における有効成分

AIの学習において、「Grokking」と呼ばれる現象があります。これは、学習データに対する精度はなかなか上がらないのに、ある時点を境に突然、未知のデータ（テストデータ）に対する精度が劇的に向上する、という不思議な現象です。まるで、AIが「ひらめいた！」かのように、急に賢くなるイメージですね。

このGrokkingをより速く引き起こすための新しい技術「Muon」が注目されています。これまでの研究では、Muonの速さの秘密は「スペクトルノルム制約と直交化されたモーメンタム」にあると考えられていました。しかし、具体的にどの要素がどれだけ効果があるのかはハッキリしていなかったのです。

そこで、今回の研究ではMuonがなぜ速いのか、そのメカニズムを詳しく調べるための実験が行われました。AIの学習では、同じプログラムでも結果が変わることがあるため、色々な条件で試す「マルチシード」や、学習率（AIがどれくらい大胆に学習を進めるかの度合い）を様々に変える「マルチ学習率スイープ」といった、念入りなテストが行われました。

実験の結果、Muonの学習速度を速めている「主犯」は、「直交化」という技術であることが分かりました。直交化とは、AIが学習を進める上で、データの「方向性」を整えるようなイメージです。この直交化のおかげで、MuonはGrokkingの現象をより早く引き起こすことができたのです。逆に、スペクトルノルム制約だけでは、従来の学習方法（AdamW）よりも速くGrokkingを起こすことはできませんでした。

さらに、直交化を取り入れたMuonは、AIの「埋め込み」と呼ばれる、情報を整理・表現する部分の動きをうまくコントロールしていました。埋め込みの動きが大きすぎず、かつ適切な範囲に収まるようにすることで、AIはより少ない「ノイズ」で、より良い答えを見つけられるようになるのです。これにより、AIは未知のデータに対しても、より高い精度を示すことが期待できます。

この研究は、AIの学習プロセスをより深く理解する手がかりとなるだけでなく、今後のAI開発において、より効率的で高性能なモデルを作るための重要なヒントを与えてくれるでしょう。