双方向の情報の非対称性を持つコンテキストバンディット型監視ゲーム

AIが私たちの仕事を手伝ってくれる時代、AIに「ちゃんとやってる？」って目を光らせたい時ってありますよね。でも、AIだって「こっちは一生懸命やってるのに！」って思ってるかもしれません。そんな、人間とAIがお互いをちょっとずつ見張り合っているような状況を、もっとうまく回していくための研究が発表されました。

この研究で面白いの��、人間とAIがお互いの「内緒話」を持っているところなんです。人間は、自分が「これが一番やりたい！」と思うこと（報酬関数）を、AIには内緒にしています。一方、AIは、自分が提案するやり方（行動の質）がどれくらい良いか、人間には内緒にしているんです。これって、例えば、ロボットが普段私たちが直接見られない場所を調べている時なんかによくあるシチュエーションですよね。ロボットは「このやり方で大丈夫！」って思っていても、人間にはその確信度が分からない、といった具合です。

この研究では、そんな「お互い様」な状況を「監視ゲーム」という形で考えてみました。さらに、AIの学習方法の一つである「コンテキストバンディット」という仕組みを応用しています。これは、たくさんの選択肢の中から、その時々で一番良さそうなものを選んでいくイメージです。物理的な動きや状況の変化を一旦抜きにして、AIが「一回でこの状況を正確に判断する」という、普段なら難しいことを、この研究では可能にしています。そして、人間とAIが「共通の認識」を、ゲームが進むにつれてお互いに分かり合っていくように設計されています。

研究者たちは、このゲームをうまく進めるための「チームで一番良いやり方」と、AIが「とりあえず、今できる一番良いやり方」という、２つの考え方を示しています。AIが私たちの指示を理解し、より良く行動するためには、お互いの「見えない部分」をどう扱うかが大切だということが分かります。