製品の望ましさに関する数値的・分類的隠れた感情分析の効率性と説明可能性のためのLLM利用評価

皆さんは、商品やサービスを使った後、レビューを書いたり、アンケートに答えたりした経験がありますか？多くの場合、そこには「良い」「悪い」といった直接的な評価だけでなく、「ちょっと使いにくかった」「デザインは気に入ったけど、機能は期待外れだった」のような、言葉の裏に隠された微妙な気持ちや感想が含まれています。こうした、言葉の端々からユーザーが本当にどう感じているのか、つまり「製品の望ましさ」を正確に読み取るのは、実はとても難しい作業です。たくさんの意見を一つ一つ読んで、その隠された感情を数字にしたり、カテゴリーに分けたりするのは、時間も手間もかかります。

そこで、この研究では、今話題のAI、特に「大規模言語モデル（LLM）」という、人間のように文章を理解したり生成したりするのが得意なAIに注目しました。LLMを使えば、こうした言葉の裏にある感情を、もっと効率よく、そして分かりやすく分析できるのではないかと考えたのです。具体的には、LLMに製品に関する「生の声」、つまり直接的な評価ではなく、感想や意見が書かれた文章（定性的なフィードバック）を読ませて、その製品がどれくらい「良い」と感じられているかを、数字（数値感情スコア）やカテゴリー（カテゴリ感情分類）で表す方法を提案しています。

この新しい方法の腕前を試すために、研究者たちは「ZORQ」と「CARMA」という2つのデータセットを使いました。これらのデータセットには、106人もの人たちが、製品について書いたたくさんの意見が含まれています。そして、LLMが分析した結果を、人間が時間をかけて丁寧に評価した「正解」と比べてみました。驚くべきことに、LLMは、直接的な評価が書かれていない文章からでも、製品の「望ましさ」を非常に高い精度で捉えることができたのです。数値で表すスコアでは、人間がつけた点数とほとんど同じような結果を出し（ピアソン相関係数で最大0.97）、意見を「ポジティブ」「ネガティブ」などのカテゴリーに分ける分類でも、94%という高い正しさを示しました。さらに、LLMは、意見が色々な形で書かれていても、その分析結果にぶれがなく、常に高い信頼性を見せたのです。これまでの、単語の意味だけを見て感情を判断するような方法や、別のAIモデルでは、ここまで良い結果は出ませんでした。

この研究は、私たちが普段何気なく書いている製品への感想が、AIの力でより深く、そして正確に理解できるようになる可能性を示しています。これは、企業が製品を改善したり、新しい製品を開発したりする上で、非常に役立つ情報源になるでしょう。ユーザーの「隠れた声」を聞き逃さないための、強力なツールが登場したと言えます。