予測市場を再再生しLLM予測者を評価するHindcast

AI、特に「大規模言語モデル（LLM）」と呼ばれる、文章を作ったり質問に答えたりするのが得意なAIの能力を評価する新しい方法が発表されました。AIがどれだけ未来を上手に予測できるか、というのは、私たちの生活にも関わる重要なテーマですよね。

これまで、AIの予測能力を調べるには、「バックテスト」という方法がよく使われてきました。これは、過去の出来事に対してAIがどんな予測をしたかを見て、それがどれくらい当たっていたかを検証するやり方です。例えば、「来週の株価はどうなる？」とAIに聞いて、後からその回答が正しかったかどうかを確認するイメージです。

でも、このバックテストにはちょっとした落とし穴がありました。AIが過去の出来事を予測する時、実はその出来事が起こった後の情報や、AIが新しく学習したデータまで見ることができてしまう場合があるのです。そうなると、まるで「答えを知った上で問題を解いている」ような状態になってしまい、AIが本当に「未来を予測する力」を持っているのか、それとも「後出しの情報で賢く見せているだけ」なのか、区別するのが難しくなっていました。

そこで今回、arXivという論文が公開されるプラットフォームで発表された研究では、この問題を解決するための新しい手法「Hindcast」が提案されました。Hindcastのすごいところは、AIに予測をさせる時に、過去のある特定の時点までの情報しか与えない、という点です。例えば、2023年1月1日の予測をさせたいなら、その日までに分かっていた情報だけで判断させるようにするのです。これにより、AIが「見てから答える」ようなズルをできなくなり、情報に偏りのない、より公平な予測能力の評価が可能になります。

このHindcastという手法は、AIがどれだけ信頼できる未来予測ができるのかを、正確に、そして公正に確かめるための大きな一歩と言えるでしょう。AIの進化が加速する中で、その能力を正しく理解し、私たちが賢く付き合っていくために、このような新しい評価方法がますます重要になってきそうです。