PReMISE: LLM審査官の測定仕様としてのポリシールーブリック

ニュース概要

LLM審査官はオープンエンド型の回答を評価する際にますます使用されているが、それらのスコアはそれらを条件付ける採点基準に大きく依存している。「有用で事実的」であることを要求する曖昧なルーブリックは、事実を作成したり、ユーザーの意図に違反したりする磨かれた回答に報酬を与える可能性がある。再利用可能なルーブリックを扱っている。