AIのアラビア語・イスラム知識を測る新基準「QuranicMMLU」登場

AIが、私たちの日常生活に欠かせない言語をどれだけ「分かっているか」を測る技術は、日々進化しています。しかし、特定の文化や宗教に関する深い理解となると、AIの能力を正確に評価するのは難しいのが現状です。

そんな中、イスラム教の聖典であるコーランや、それに使われるアラビア語の理解度をAIがどの程度持っているかを測るための、新しい評価方法「QuranicMMLU」が開発されました。これは、単に「質問に答える」というレベルを超えた、より高度な評価を目指しています。

従来のAI評価では、AIが文章を読んだり聞いたりして、その意味を理解しているかを、質問に正しく答えられるかで判断することが一般的でした。しかし、QuranicMMLUでは、言語のより細かい部分にまで踏み込んでいます。具体的には、「音声（音の認識）」「形態（単語の形や変化）」「統語（文の構造）」「意味（言葉の本当の意味）」「語用論（文脈に応じた言葉の使い方）」という5つの側面からAIの能力を分析します。

さらに、ただ評価するだけでなく、「このAIは、どれくらい難しい問題を解けるのか？」「どれくらい深いレベルで理解しているのか？」といった、AIの「考える力」や「理解の深さ」まで、段階的に評価できるようになっています。まるで、学習塾のテストで、基礎問題から応用問題まで、レベル別に成績が出るようなイメージです。

この新しい評価方法を使って、12種類のAIシステムが試されました。その結果、特にコーランやアラビア語の学習に特化したAIが、他の汎用的なAIよりも優れた成績を収めたのです。これは、特定の分野に特化したAIが、その分野においては高い能力を発揮することを示唆しています。

このQuranicMMLUの開発は、イスラム文化圏の人々はもちろん、アラビア語を学ぶ人々、そしてイスラム関連の情報を扱うAIサービスにとっても、非常に重要な意味を持つでしょう。AIが、私たちの文化や歴史をより深く理解し、より正確に情報を提供できるようになるための、大きな一歩と言えます。