DemoPSD: 不一致を調整した方策自己蒸留

スマートフォンのアプリが、より賢く、より速く動くようにするために「知識を渡す」という手法があります。大きなAIモデルが小さなAIモデルに知識を教える「自己蒸留」という技術がそれです。ところが最近、この教え方に落とし穴があることが分かってきました。

教師役のAIが詳しすぎる説明をしてしまうと、生徒役のAIは「先生の真似をするだけ」になってしまい、本来は自分で判断する力が育たなくなるのです。また、教え方の細かさから、うっかり学習用データの情報が漏れてしまう危険性も出てきました。

この課題に対して、研究者たちが「DemoPSD」という新しい仕組みを考えました。簡単に言うと、先生のアドバイスと生徒自身の判断をバランスよく混ぜながら学ばせるやり方です。完全に先生の言う通りにさせるのではなく、「先生のやり方と自分のやり方を合わせた『折衷案』から学ぶ」というイメージです。

このアプローチの良いところは二つあります。一つ目は、AIが過度に先生に依存しなくなり、自分で考える力を保ちやすくなること。二つ目は、詳しすぎる教え方をしないので、元のデータが無意識のうちに流出する危険性を減らせることです。

生成AIやチャットボットが日常生活に溶け込む中で、こうした安全で効率的な学習方法の開発は、ユーザーの信頼を保つためにも重要です。単に賢いAIを作るだけでなく、どうやって賢くするのかという「プロセス」も問われる時代になってきたということですね。