多言語の数学におけるLLMパラメータ：共有か、個別か？

最近よく耳にする「大規模言語モデル」（LLM）は、私たち人間が使う言葉を理解し、文章を作ったり、質問に答えたりするAIのことです。まるで賢いアシスタントのように、私たちの生活にどんどん入り込んできていますよね。そのLLMが、実は「数学」の問題を解くのが得意な場合と、そうでない場合がある、という話が今回の研究のテーマです。

特に面白いのは、同じLLMなのに、英語で数学の問題を解くのと、日本語や他の言語で解くのとで、その「得意さ」に差がある、という点です。まるで、ある人は英語の数学は得意だけど、フランス語の数学は苦手、といった具合です。なぜこんなことが起こるのでしょうか？

研究者たちは、この疑問を解き明かすために、LLMの「脳みそ」とも言える内部の仕組み、つまり「パラメータ」という部分を詳しく調べました。パラメータとは、LLMが言葉や情報を処理するときに使う「知識の塊」や「判断の基準」のようなものです。例えば、「りんご」という言葉を聞いたときに、「赤い」「果物」「甘い」といった情報を結びつけるためのルールが、このパラメータの中に詰まっている、とイメージすると分かりやすいかもしれません。

今回の研究で分かったのは、LLMが数学の問題を解くときに使うパラメータは、言語によって完全にバラバラなわけでも、完全に共通なわけでもない、ということでした。例えるなら、料理のレシピのようなものです。カレーを作るとして、基本的なスパイスの組み合わせ（共通部分）は世界共通だけど、使う肉の種類や隠し味（言語ごとの違い）は国によって違う、といった感じです。特に、LLMの「中間層」と呼ばれる部分に、言語を超えて共通する数学的な処理の仕組みが多く見つかったそうです。これは、LLMが数学を考えるときの「基本的な思考回路」のようなものが、ある程度共通していることを示唆しています。

さらに興味深いのは、「英語」が数学の問題を解くためのパラメータを最も多く持っている、という結果です。これは、LLMが開発される際に、英語のデータが圧倒的に多く使われてきた歴史と深く関係しています。英語の教科書や論文、ウェブサイトなど、数学に関する情報が英語で豊富に学習されているため、英語のLLMは数学の「知識量」が他の言語よりも多いのかもしれません。一方、インターネット上のデータが少ない言語、いわゆる「リソースの少ない言語」では、数学に関するパラメータも少ない傾向があることが示されました。

この研究は、LLMが単に言葉を操るだけでなく、その背後にある「思考のメカニズム」が言語によってどう異なるのか、という深掘りをしてくれるものです。私たちがLLMをもっと賢く、そして公平に使えるようにするためには、英語以外の言語での学習データをもっと増やし、多様な言語で数学的な推論ができるように改善していく必要がある、という示唆を与えてくれます。