クラス重み付けと閾値調整を備えたTransformerベースモデルによる多言語極性検出

インターネットに溢れる様々な意見。その中でも、ある話題に対して「賛成」なのか「反対」なのか、あるいは「中立」なのか、さらには「どんな種類の意見」なのかを自動で判断する技術が進んでいます。今回ご紹介するのは、この「意見の極性検出」という分野で、特に複数の言語や文化、そして様々な出来事に対する意見を、AIを使って分析しようという研究です。

この研究では、英語とスワヒリ語という、異なる言語圏の意見を分析対象にしました。なぜスワヒリ語かというと、アフリカの多くの国で使われる重要な言語だからです。そして、意見の分析も、単に賛成か反対かだけでなく、「どんな種類の意見か」という分類や、「意見がどの部分で表明されているか」という特定まで含めた、3つの細かいタスクに分けて行われました。これは、SNSなどで短いコメントから、より詳細な意見を読み解こうとする試みと言えるでしょう。

AIモデルには、「Transformer（トランスフォーマー）」という、最近のAIで非常に活躍している仕組みを採用しています。具体的には、英語には「RoBERTa-base」、スワヒリ語には「AfroXLMR-base」という、それぞれ得意な言語に特化したモデルを使いました。これらのモデルは、大量のテキストデータを学習することで、言葉のニュアンスを捉えるのが得意です。

ただ、インターネット上の意見には、「賛成意見が圧倒的に多い」とか、「反対意見がほとんどない」といった、意見の偏り（ラベル不均衡）がつきものです。そのままAIに学習させると、少数派の意見を見落としてしまう可能性があります。そこで、この研究では「クラス重み付け」という工夫をしました。これは、数少ない意見にもっと注目するように、AIに指示を出すようなイメージです。さらに、「閾値調整」という技術も使っています。これは、AIが「これは賛成意見だ」と判断する際の基準を、意見の種類ごとに細かく調整することで、より正確に分類できるようにするものです。これらの技術を組み合わせることで、複雑で偏りのある意見データから、より質の高い分析を目指しました。

その結果、テストでは、賛成・反対の二項分類ではまずまずの成績でしたが、意見の種類の分類や、意見の特定といった、より難しいタスクでは、まだ改善の余地があることが示されました。しかし、複数の言語や複雑な意見分析に対応できる可能性を示した点で、意義のある研究と言えるでしょう。AIが、私たちの多様な意見をどう理解していくのか、今後の発展が楽しみです。