一般化レイリー商最適化による基盤保護適応

ニュース概要

ファインチューニングはファンデーションモデルを特殊化されたダウンストリームタスクに効果的に適応させますが、事前学習中に獲得した非対象の能力を低下させる可能性があります。既存の忘却認識方法は、通常、特殊な初期化または固定制約を通じて安全な更新を求めていますが、適応の規制は行いません。