大規模言語モデルのパーソナライゼーション能力のベンチマーク

「パーソナライゼーション」というと、最近ではAIが私たちの好みに合わせて情報を届けてくれる、というイメージが強いかもしれません。例えば、ネットショッピングで「あなたへのおすすめ」が出てきたり、動画サイトで次に見たいコンテンツを提案されたりするようなことです。

このパーソナライゼーションの考え方は、実はAIの世界だけでなく、心理学やマーケティングの世界でもずっと前から研究されてきました。簡単に言うと、「誰かに何かを伝えたいときに、その人（受信者）の状況に合わせてメッセージを変えて、望む行動をとってもらう」という技術です。例えば、ある商品を買ってほしいときに、Aさんには「お得な情報」を、Bさんには「限定品」をアピールするなど、相手に合わせて伝え方を変えるイメージですね。

そして今、この「メッセージを相手に合わせて変える」という技術を、AI、特に「大規模言語モデル（LLM）」が得意になってきています。LLMは、まるで人間のように文章を理解し、生成する能力を持っています。これにより、従来のように「在庫があるものの中から選ぶ」といった制約がなくなり、相手の状況に合わせて無限のバリエーションのメッセージを作り出せる可能性が出てきました。

しかし、ここで新しい疑問が生まれます。「今のAIは、本当に『相手に合わせたメッセージを送る』という、古典的な意味でのパーソナライゼーションをうまくできているのだろうか？」ということです。

これまでのAIのパーソナライゼーションを測るテストは、少し偏りがありました。それは、AIが「自分（送信者）」のために、ユーザー（受信者）にどう適応するか、という視点でしか見ていなかったからです。つまり、AIが「このユーザーが喜ぶような情報を提供しよう」という、AI自身のサービス向上に役立つかどうかを測っていたのです。

ところが、本当のパーソナライゼーションは、もっと複雑な「二者間」の問題です。AIが生成したメッセージが、本来の送り手（例えば企業）の意図通りに、第三者（＝メッセージを受け取った人）の行動をうまく引き出せるかどうか、という点が重要になります。これは、実際に広告の効果を調べるA/Bテストや、少人数のモニターを使った実験でしか調べられてきませんでした。しかも、新しいAIモデルが登場するたびに、こうした実験をゼロからやり直すのは大変です。

そこで、この研究では、AIが「相手（受信者）の行動を促す」という、より本質的なパーソナライゼーション能力を、どのように測れるのか、という点に焦点を当てています。AIが、相手の状況を理解した上で、効果的なメッセージを生成できるのか。この能力を、もっと効率的かつ正確に評価できる新しい方法が求められているのです。