ログアライメント比による訓練時の汎化診断

ニュース概要

パラメータ化理論で導入されたパラメータ活性化アライメント測度であるログアライメント比（LAR）を研究します。これを行列の正規化された2乗特異値のウェイトスペクトル p と正規化された2乗射影値のアクティベーションスペクトル q との重複として再構成します。