クリーンテキストを超えて：ノイズのあるテキストでのベンガル語イベント検出におけるエンコーダーとデコーダーのロバスト性の評価

AIの進化は目覚ましいですが、私たちが普段使っている言葉は、いつもきれいな文章ばかりではありませんよね。例えば、話し言葉を文字に起こした時や、タイピングミスで少し変わったスペルになってしまった時など、いわゆる「ノイズのあるテキスト」は日常にあふれています。

特に、ベンガル語のような、まだAIによる技術開発が進んでいない（低リソース言語と呼ばれます）言語では、こうした「ノイズ」に対するAIの強さ、つまり「ロバスト性」がどれくらいあるのか、あまり調べられてこなかったのが現状です。今回、この点が「クリーンテキストを超えて」という研究で、深く掘り下げられました。

研究者たちは、まずベンガル語のニュースで起こる出来事（イベント）を自動で見つけ出すための、新しい「ものさし」となるデータセットを作りました。これは、普通のきれいなニュース記事だけでなく、実際に音声認識で文字にしたものや、スペルミスなどがある文章も含まれています。全部で40種類もの出来事（イベントサブタイプ）があり、9,979もの文章に印（アノテーション）がつけられています。これは、ベンガル語でのイベント検出研究にとって、とても貴重な「ベンチマーク」となります。

そして、このベンチマークを使って、二つのタイプのAIモデルの性能を比べました。一つは「エンコーダー専用モデル」と呼ばれるもので、ベンガル語でよく使われる「BanglaBERT」や「XLM-R」といったAIです。もう一つは、「デコーダー専用の大規模言語モデル（LLM）」で、「Llama 3」や「Gemma 3」といった、最近話題のAIです。

実験の結果、驚くべき違いが見えてきました。エンコーダーモデルは、きれいな文章では非常に高い性能を発揮しましたが、ノイズのある文章になると、その力はガクンと落ちてしまいました。まるで、きれいな道ではスイスイ走れるけれど、デコボコ道になると途端に遅くなってしまう車のようです。

一方、デコーダー専用のLLMたちは、ノイズに強いという特性を見せました。特に、出来事を示す言葉（イベントトリガー）が壊れてしまっているような、かなりひどいノイズに対しても、エンコーダーモデルよりはるかに高い性能を保っていたのです。これは、LLMが文章全体の意味をより柔軟に理解しようとする仕組みを持っているからだと考えられます。つまり、多少の「ぼやけ」があっても、全体として「何が起こっているか」を捉えようとする力があるわけです。

この研究は、AIが現実世界で本当に役立つためには、きれいなデータだけでなく、私たちが普段使うような「ノイズのある言葉」にも対応できることが重要だと教えてくれます。特に、ベンガル語のような言語でAI開発を進める上で、非常に示唆に富む結果と言えるでしょう。