学習におけるアノテーション飽和度を評価指標に依存させて推定する手法

AIの世界では、コンピューターに「これは猫です」「これは犬です」と教え込むために、たくさんのデータに正しいラベル（名前）を付ける作業が欠かせません。このラベル付けをする人を「アノテーター」と呼びます。でも、人間ですから、同じものを見ても意見が分かれることがありますよね？例えば、ある画像を見て「これは猫！」と断言する人もいれば、「いや、これは犬じゃないかな？」と迷う人もいるかもしれません。

実は、この「意見の不一致」こそが、AIの学習にとってとっても大事な情報源になることがあるんです。なぜなら、意見が分かれるということは、AIがまだその違いをはっきり理解できていない、つまり「学習が足りない部分」を示しているからです。逆に、みんなが「これは猫！」と一致していれば、AIはそれを比較的簡単に学べるはずです。

そこで今回の研究では、この「意見の不一致」がどれくらい学習に役立つのか、そして、その役立つ度合い（これを「アノテーション飽和度」と呼んでいます）が、AIの性能をどうやって測るか（「評価指標」といいます）によって変わるのではないか、という点に注目しました。

例えるなら、テストの点数（評価指標）を上げるために、どこまで勉強（アノテーション）すればいいか、という話に似ています。単にテストの点数を見るだけでは、どこが苦手なのか、あとどれくらい頑張ればいいのか、わかりにくいですよね。でも、先生（アノテーター）たちの間で「この問題は難しいね」とか「これは簡単だね」という意見のやり取りがあれば、生徒（AI）はより効率的に勉強を進められます。そして、その「意見のやり取り」がどれくらい重要かは、どんなテスト（評価指標）を目標にするかによって変わってくる、というわけです。

この研究では、「ChaosNLI」という、自然言語の理解度を測るためのデータセットを使いました。このデータセットは、項目ごとに100人ものアノテーターが判断を下しているという、とても詳しいものです。この100人全員の意見ではなく、一部の人たちの意見だけを取り出して（サブサンプリング）、AIモデルをさらに賢くする「ファインチューニング」という作業を行いました。その結果、どんな評価指標を使うかによって、AIが「もう十分学習したよ！」と感じる（飽和する）ポイントが違うことがわかったのです。つまり、AIの学習を効率的に進めるためには、どんな「ものさし」でAIの賢さを測るのかを考えながら、アノテーションの量を調整することが大切だ、ということを示唆しています。