アノテーターの安全ポリシーを解釈可能性で理解する

AIを開発する上で、「これならOK」「これはダメ」というルール（安全ポリシー）を決めるのは、とても大事な作業です。AIが変なものを作ったり、危険なことを言ったりしないように、人間がAIの先生になって、正しい出力を教え込む（データアノテーション）必要があります。でも、この先生役の人間たち（アノテーター）の間で、「この出力は安全か、そうでないか」の判断がバラバラになることが、実はよくあるんだそうです。

なぜこんなことが起こるのか、いくつかの理由が考えられます。まず、先生役の人間が、AIに何を教えるべきなのか、タスクを勘違いしてしまったり、やり方を間違えたりするケースです。AIの先生といっても、人間ですから、ミスはつきものですよね。もう一つは、ルールそのものがハッキリしない、ということです。安全ポリシーの言葉が、人によって「こうも取れるし、ああも取れる」という、あいまいな部分を持っているのかもしれません。例えば、「不快な表現」というルールがあったとして、何をもって「不快」と感じるかは、人それぞれですよね。

そして、一番根っこにあるのが、人間が持っている「価値観の違い」です。何が「安全」で、何が「危険」か、という考え方は、育ってきた環境や文化、個人の経験によって大きく変わります。AIに「安全なもの」を教えようとしても、先生役の人間たちの間でお互いの「安全」の基準が違えば、判断が一致しないのは当然のことかもしれません。Appleの研究では、こうしたアノテーションのズレを、AIが「なぜそうなったのか」を理解することで、より安全で信頼できるAI開発につなげようとしているのです。AIの先生たちが、なぜそんな判断をしたのか、その理由までAIが理解できるようになれば、AIはもっと賢く、そして安全になっていくはずです。