AIの賢さUP！「批評家なし」新手法BPO登場

AI、特に文章を作ったり質問に答えたりするのが得意な大規模言語モデル（LLM）の賢さを、もっともっと引き出すための新しい技術が発表されました。

AIを賢くする技術の一つに「強化学習（RL）」というものがあります。これは、AIに色々なことを試させて、うまくいったことには「ご褒美」を与え、うまくいかなかったことには「罰」を与えることで、AI自身に学習させていく方法です。ゲームのキャラクターを強くしていくイメージに似ています。

これまで、この強化学習でLLMを賢くしようとすると、「批評家（Critic）」と呼ばれる、AIの判断が正しいかどうかを評価する役目のAIが必要でした。しかし、この度開発された「ベルマン方策最適化（BPO）」という新しい手法では、この「批評家」が不要になったのです。

BPOは、どうやって批評家なしで賢くなれるのでしょうか？それは、「ベルマン方程式」という、AIの学習でよく使われる計算方法と、「方策ミラー降下（PMD）」という、AIの学習方法を効率化する技術を組み合わせたからです。PMDは、AIが次にどんな行動をとるべきか（＝方策）を、より良いものにしていくための手法なのですが、BPOはこれを、AIが経験する一連の出来事（＝軌跡）全体で見たときの「良さ」を直接計算するように、やり方を変えました。

このやり方を変えたことで、AIが学習する途中で出てくる「この時点でのAIの判断はどれくらい良いか」といった、細かい部分の評価（中間状態の価値推定）を省略できるようになりました。これは、例えるなら、料理を作る時に、一つ一つの工程の味見を省略して、最後に味見するだけで済むようになるようなものです。これにより、計算にかかる時間や手間を減らし、より効率的にAIを学習させることが期待できます。

さらにすごいのは、このBPOという新しい手法が、以前からあるPMDと同じように、最終的に最も良い結果をもたらすことが、理論的に証明されている点です。つまり、批評家がなくても、ちゃんとAIを賢くできる、ということです。

このBPO技術は、LLMの性能をさらに高め、より人間のように自然で、的確な文章を作成したり、複雑な質問に答えたりできるようになる可能性を秘めています。AIの進化がますます楽しみになってきました。