大規模言語モデルはサイコロ遊びに関してどの程度信頼できるか？

ChatGPT や Claude といった大規模言語モデル（LLM）は、膨大なテキストを学習した「言葉の達人」です。しかし最新の研究で、こうした AI が確率や統計的な推論となると、意外と頼りにならないことが判明しました。

スタンフォード大学などの研究チームがサイコロやカード遊びといった、確率計算が必要な問題を AI に解かせる実験を行いました。その結果は興味深いものです。「サイコロを 2 回振って、6 が出る確率は？」といった教科書的な問題では、AI は 96%の精度で正解します。ほぼ満点です。

ところが、同じ確率の問題でも、ひと癖ある問題を出すと途端にダメになります。「直感と異なる結果」を扱う問題では、正答率が 59%にまで落ちてしまうのです。言い換えれば、コイン投げになると、成功と失敗を完全にランダムに選んでいる状態と変わりません。

何が起きているのか。研究によると、AI は「本当に確率を理解している」のではなく、学習データの中から「似たような問題の答え」をパターンマッチしているだけらしい。教科書に載っている標準的な問題は、学習データに何度も現れるので正解できます。一方、珍しい言い回しや、一般的な直感に反する設定の問題は、学習データに少なく、AI は「当て推量」に近い状態になってしまいます。

さらに厄介なのは、問題文の表現のわずかな違いで、AI の精度が大きく変わることです。特定の単語（トークン）への偏りや、紛らわしい表現があると、AI はたちまち混乱します。複数の要因が重なると、性能は雪崩式に低下するとのことです。

これは何を意味するか。金融機関がリスク計算に AI を使う、保険会社が確率モデルを構築する、医療現場で統計的判断が必要といった場面では、AI の出力を「そのまま信じる」のは危ないということです。今後、AI が確率や統計を扱う業務に投入される際は、結果の検証体制が不可欠になるでしょう。

AI は万能ではなく、領域によって得意不得意がはっきり分かれていることが、改めて浮き彫りになった研究です。