近未来ガイダンスを通じたオンポリシー蒸留における推論軌跡の橋渡し

ニュース概要

オンポリシー蒸留（OPD）は、教師の監督下で自身のポリシーからサンプリングされた軌跡について学生モデルを訓練することで大規模言語モデルの推論を改善します。OPDは軌跡上で動作しますが、その学習シグナルはトークンレベルのままです。高損失トークンを通じて逸脱を特定します。