「一つの言語、一つの表記」を超えて：PuMVRによる多言語VLMにおける表記バイアスの定量化

AIの進化は目覚ましいものがありますが、普段私たちが意識しないところで、実は「ちょっと待った！」という課題も隠れているんです。例えば、最近話題の「ビジョン・言語モデル（VLM）」という、画像を見てそれを言葉で説明したり、逆に言葉から画像を生成したりするAI。これが多言語に対応していると聞くと、「すごい！世界中の言葉で使えるんだ！」と嬉しくなりますよね。でも、今回の研究は、その「多言語対応」に潜む落とし穴を指摘しています。

多くのVLMは、「一つの言語は、たった一つの書き方（表記）で表される」と思い込んでいるようなのです。例えば、私たちが普段使っている日本語は、ひらがな、カタカナ、漢字と色々な書き方がありますが、基本的には「日本語」という一つの言語として認識されます。しかし、世界には、一つの言語に対して複数の書き方がある言語がたくさんあります。今回の研究で例に挙げられているのは、パンジャーブ語（3つの書き方がある）、セルビア語（2つの書き方がある）、ヒンディー語とウルドゥー語（同じ言葉でも書き方が違う場合がある）、クルド語など。これらの言語を使う人々は、世界中に数十億人もいると言われています。

この「書き方の違い」をAIが正しく理解できないとどうなるか？それは、AIがその言語のユーザーを正しく認識できず、能力が十分に発揮されない、つまり「表記バイアス」という問題が起きてしまうのです。せっかく多言語対応でも、書き方が違うだけでAIの精度が落ちてしまうのは、なんだかもったいないですよね。

そこで、研究者たちは「PuMVR（パンジャーブ多モード視覚推論）」という、新しい評価方法を開発しました。これは、パンジャーブ語の3つの書き方（グルムキー文字、シャーマキー文字、ラテン文字）を使って、画像に関する問題を解く375個のタスクでAIの能力を測るものです。文化的に意味のあるタスクを選ぶことで、より現実に近い状況でのAIの性能を評価しようとしています。

そして、このPuMVRを使って、最新のVLM10種類をテストしたところ、驚くべき結果が出ました。AIは、ある書き方では画像の問題をスラスラ解けるのに、同じ問題でも書き方が変わると、途端に解けなくなってしまうことが頻繁に起こったのです。これは「スクリプトギャップ」と呼ばれ、AIの「賢さ」が、言語そのものではなく、その「書き方」によって分断されてしまっていることを示しています。具体的には、書き方が違うだけで正答率に16%もの差が出たり、タスクの一貫性を示す「スクリプト整合性率」が24.8%と低かったりするという結果でした。この結果は、多言語対応AIの開発において、表記の多様性への配慮がいかに重要かを示唆しています。