「弱い」シグナルから強いモデルへ: LoRAマージによる選好差集約

ニュース概要

強い大規模言語モデル (LLM) の訓練には高品質の教師データが必要ですが、それはしばしば不足しています。最近の研究により、弱い-より弱いモデルペア（例えばQwen3 4BとQwen 1.7B）からの対になった選好データが、個々の応答の品質が限定的であるにもかかわらず、効果的な教師信号を提供できることが示されています。