AIの「批評家」を賢く育てる新手法BPCOが登場

AI、特に文章を作ったり会話したりする「大規模言語モデル」って、最近すごく賢くなりましたよね。でも、もっともっと賢くするためには、AI自身が作った文章を自分で評価できるようになることが大切なんです。まるで、学校の先生が生徒の作文をチェックするように、AIにも「批評家」としての役割を担わせるイメージです。

ところが、これまでのAIの「批評家」を育てる方法は、ちょっと困った問題を抱えていました。それは、AIが一度に一つの文章しか評価できず、その評価も不安定になりがちだったことです。例えるなら、先生が採点する時に、生徒の答案を一枚ずつしか見られず、しかも日によって気分で点数が変わっちゃうような感じです。これでは、なかなか「できる批評家」は育ちませんよね。

そこで今回、この課題を解決する画期的な新技術「BPCO（Batch Policy Constraint Optimization）」が提案されました。BPCOのすごいところは、まず「信頼できる批評家」を育てられる点です。これは、AIが作った文章の、単語一つ一つ（トークンレベル）の良し悪しを正確に評価できる能力のこと。これにより、AIはより細かく、そして正確に自分の文章をチェックできるようになります。

さらにBPCOは、ただ単に評価を細かくするだけでなく、訓練そのものを安定させるための工夫も満載なんです。具体的には、「DPPO」という効率的な学習方法や、評価の「報酬」に上限を設けることで極端な評価を防いだり、過去の評価結果を参考にしたり、文章の長さに応じて評価の仕方を調整したりと、様々な技術を組み合わせています。これらの組み合わせによって、AIの「批評家」は、よりブレなく、そして効率的に、賢く育っていくことができるのです。この技術が進めば、AIがさらに私たちの生活に役立つ場面が増えていくかもしれませんね。