LLMジャッジ用の動的評価ルーブリックの生成と改善

ニュース概要

LLMジャッジは人間による評価に代わるスケーラブルな手法ですが、既存のルーブリックベースの方法は参照回答や専門家が作成したルーブリックなどの人間が注釈を付けたデータに依存しています。人間の注釈なしに細粒度の評価ルーブリックを自動生成する、訓練不要な方法を提案します。