大規模言語モデルの逐次的なポスト学習における表現の崩壊

ニュース概要

大規模言語モデルは現在、単一の命令チューニングパスではなく、一連のポスト学習段階を通じて適応されています。本論文は、こうした逐次的なポスト学習が内部表現を低ランク、異方性、均質な特徴空間へと徐々に圧縮するかどうかを検討しています。