カリキュラムのカスタマイズ：動的データ・モデル互換性による学生中心の推論蒸留

ニュース概要

文書の発表。推論蒸留は大規模言語モデル（LLM）から小規模モデルへ複雑な推論能力を転移させますが、その成功は訓練データが学生モデルとどの程度合致しているかに依存します。本論文では、データ・モデル互換性（DMC）メトリクスを導入し、その適合性を評価するために使用できます。