検証可能な報酬によるキャリブレーションされた確率的予測

AI（人工知能）の世界では、予測の「正確さ」だけでなく、「確からしさ」をどれだけ信じられるかが、とても大事なテーマになっています。例えば、AIが「明日の株価は上がる確率が70%です」と予測したとしましょう。この70%という数字が、どれくらい信頼できるのか？というのが今回の研究のポイントです。

AIが何かを学習するとき、「強化学習」という方法がよく使われます。これは、AIが試行錯誤しながら、良い結果が出たら褒められ、悪い結果が出たら叱られる、というのを繰り返して賢くなっていくイメージです。この強化学習で、AIが「この予測はどれくらい当たる確率が高いか」を測るための「スコアリングルール」というものがあります。今回の研究では、このスコアリングルールがうまくいけば、AIは「本当に当たる確率」に近い予測ができるはずだと考えました。

しかし、実際には、AIの予測の「確からしさ」は、思ったほど高くないことがよくあります。そこで、これまでの研究では、AIが「自信がない」ということを、予測の「不確実性」として表現する、という方法が取られてきました。でも、今回の研究では、もっと踏み込んで、AIの予測そのものが「確率的な結果」として出力される、という「アレトリー予測」という考え方を採用しました。

この新しい考え方を試すために、アメリカンフットボール（NFL）の試合中に、各チームの勝率を予測するというテストを行いました。ここで参考にしたのは、実際のスポーツ賭博の市場です。もし、賭け市場で「このチームが勝つ確率は高い」と見られているなら、それはある程度信頼できる情報源だと考えたわけです。

ところが、実際に試合で起こった結果だけを基にAIに報酬を与えて学習させようとすると、うまくいきませんでした。なぜなら、試合の結果というのは、一つの出来事なので、それだけを頼りにAIが「確率」を正確に学習するのは難しいからです。まるで、サイコロを1回振った結果だけを見て、「この目が出る確率はどれくらいか」を正確に当てるようなものです。ノイズ（＝関係ない情報や偶然）が多すぎて、AIの学習がうまくいかないのです。

そこで研究チームは、「状態条件付き経験的勝率」という新しい考え方を導入しました。これは、過去の試合結果から、ある状況（状態）になったときに、どれくらいの確率で勝つのかを推定するものです。こうすることで、単一の結果に依存するノイズを減らすことができます。さらに、AIが学習する過程（勾配）が壊れてしまわないように、直接予測する方法や、勾配マスクという技術を使って、関係のない情報が学習に影響を与えないように工夫しました。