AIの数学力向上へ 新手法TTPOがラベル依存を克服

AI、特に文章を作るのが得意な「大規模言語モデル（LLM）」の数学的な問題を解く力が、最近ぐんぐん伸びています。これを支えてきたのが、モデルが一度学習した後に、さらに賢くするための「学習後手法」と呼ばれる技術です。でも、これらの技術には一つ大きな弱点がありました。

それは、テストの時、つまり実際にAIに問題を解かせるときに「正解ラベル」という、いわば答えのリストに頼りすぎてしまうことです。これでは、AIが本当に自分で考えて解く力をつけるのが難しくなってしまいます。

そこで、この問題を乗り越えるために、新しいアプローチ「TTPO」が提案されました。TTPOは、どうやってこの「正解ラベルへの依存」という壁を壊そうとしているのでしょうか。

これまでの一般的な方法では、AIにたくさんの問題を解かせ、その中で一番多く正解が出た答えを「擬似ラベル」、つまり「たぶんこれが正解だろう」というラベルとして使っていました。これは、まるでクラスの友達にアンケートを取って、一番多かった意見を正解にするようなイメージです。

しかし、この方法には落とし穴がありました。もし、友達の意見の多数決が間違っていたらどうでしょう？間違った意見が「正解」としてAIに教えられてしまい、AIの学習全体が間違った方向に進んでしまう可能性があるのです。さらに、AIの推論結果（ロールアウト）が、この「擬似ラベル」と一致しない場合、その推論結果は、もともとの多数決が正しかったかどうかに関わらず、間違っていることが多い、という奇妙な傾向（非対称な失敗モード）が見られていました。

TTPOは、この「間違った多数決に引っ張られやすい」という非対称な失敗モードに注目しました。そして、「同意する推論結果」は、まるで優秀な生徒のノートを写すように、学習に積極的に取り入れて（蒸留）、AIをさらに賢くします。一方で、「反対する推論結果」は、間違った考え方として、学習から遠ざけるように罰を与えます。

このように、TTPOは、AIが数学的な問題を解く際に、正解ラベルに頼るのではなく、自ら考え、より正確な推論ができるように導くことを目指しています。この新しい技術によって、AIの数学的推論能力はさらに進化し、これまで解けなかったような複雑な問題も解けるようになるかもしれません。AIが、単なる情報処理だけでなく、より高度な思考を持つようになる未来が、少しずつ見えてきていると言えるでしょう。