ブラックボックスLLM蒸留のための境界行動無区別性

ニュース概要

ブラックボックスLLM蒸留は通常、出力マッチング問題として評価される。学生モデルが教師モデルの応答と意味的に類似しているか、またはタスク一貫性がある場合、成功と見なされる。しかし、出力の類似性は、学生が行動的に区別不可能であることを意味しない。