SPO++: 非同期エージェントRLのためのストリーム整合ポリシー最適化

ニュース概要

非同期エージェント強化学習の効率化を目指し、新たな手法「SPO++」が提案されました。従来のグループ相対強化学習では、複数のエージェントが同じ指示（プロンプト）に対する実行結果を待つ必要があり、特に複雑なタスクでは待ち時間が長くなるという課題がありました。 単一ストリームポリシー最適化（SPO）はこの問題を解決するため、プロンプト単位での価値推定を導入し、エージェント間の待ち時間をなくしました。しかし、SPOには、軌道（実行経路）ごとに計算されるアドバンテージを正規化する際の課題が指摘されていました。 SPO++は、このアドバンテージの正規化方法を見直し、軌道ごとの中心化処理を改善しました。具体的には、終端時点での結果に対するアドバンテージを、各行動のトークン単位で標準化することで、より正確な学習を実現します。この改良により、非同期環境下での強化学習がより効率的かつ安定的に行えるようになると期待されています。 引用元: arXiv cs.AI