ノイズ駆動型メタステーブル相からの脱出が深層ニューラルネットワークにおけるグロッキングを説明

皆さんは「AIが賢くなる」と聞くと、どんなイメージを持つでしょうか？まるで人間が新しい知識をどんどん吸収していくように、スムーズに学習が進むと思われがちかもしれません。しかし、実はAI、特に深層ニューラルネットワーク（DNN）の学習過程は、もっと複雑で、時には不思議な現象が起きることが知られています。

今回ご紹介する研究は、そんなAI学習の謎の一つ、「グロッキング」という現象に光を当てています。グロッキングとは、AIが訓練データ（学習に使うデータ）を完璧に覚えた後、しばらくしてから突然、未知のデータ（テストデータ）に対しても正しく答えられるようになる、という遅れてやってくる「ひらめき」のようなものです。普通なら、訓練データを覚えれば覚えるほど、すぐに汎化（未知のデータに対応する能力）も上がると思われますが、グロッキングの場合はなぜか時間差がある。この「なぜ？」が、これまでのAI研究者たちの頭を悩ませてきました。

今回の研究者たちは、このグロッキング現象を、物理学の「相転移」という考え方を使って説明しています。相転移とは、水が氷になったり、水蒸気になったりするように、物質の状態がガラッと変わること。AIの学習も、実はある「しきい値」を超えると、学習の質が大きく変わるというのです。

特に注目されたのが、「L2正則化」という、AIが特定の情報に過度にとらわれすぎないようにする「ブレーキ」のような技術です。このブレーキの強さを変えると、AIの学習状態がまるで水が氷に変わるように、ある瞬間を境に変化する、と研究は指摘します。そして、この「L2正則化」が特定の強さの時に、AIは「メタステーブル状態」という、いわば「不安定だけど安定している」ような状態に陥ることがあるそうです。

この状態は、AIが学習を進める上で、まるで低い山に閉じ込められているようなイメージです。周りにはもっと高い山（より良い学習状態）があるのに、小さなエネルギー障壁に阻まれて、なかなか抜け出せない。しかし、学習の過程で発生する「SGDノイズ」（学習の微調整で発生するランダムな揺らぎ）が、このエネルギー障壁を乗り越える「きっかけ」となり、AIは突然、より良い学習状態へと「脱出」する。これが、グロッキングの正体だというのです。研究チームは、この脱出にかかる時間が、物理学の「アレニウス則」という法則に従うことを実験で示し、意図的にAIをこの「閉じ込め状態」にすることで、グロッキングに似た遅延を再現することに成功しました。

つまり、グロッキングはAIが故障しているわけではなく、むしろ学習の過程で一時的に「足踏み」している状態。そして、その足踏みを乗り越えるための「きっかけ」が訪れると、一気にその能力を開花させる、というわけです。この発見は、AIの学習メカニズムを深く理解し、より効率的で信頼性の高いAIを開発するための重要な一歩となるでしょう。