ProtoAda: マルチモーダル継続学習における プロトタイプ誘導型適応アダプタ展開と幾何学的統合

画像認識とテキスト処理を同時にこなす最新のAI技術が、学習中にうまく機能しない問題が指摘されています。その理由と解決策を説明しましょう。

【何が問題だったのか】 チャットボットが写真を見て説明したり、画像から情報を抽出したりするマルチモーダルAIは、複数のタスク（仕事）を同時に学び続ける必要があります。これを「継続学習」と呼びます。

これまでの方法では、画像とテキストがどの程度似ているかという単純な指標だけで、どのタスクに力を入れるかを判断していました。ところが、タスクによって出力形式が異なると（例えば、短い説明文を出力するタスクと、複数の選択肢から選ぶタスク）、AIの学習時に「勾配干渉」という現象が起きます。

勾配干渉は、野球選手がテニスの練習を同時にするときのように、異なる動きの学習が互いに邪魔をしている状態です。その結果、性能が低下してしまいました。

【新しい解決策「ProtoAda」】 この研究が提案する新手法は、出力形式の違いをきちんと認識させることが鍵です。「プロトタイプ」というサンプルを使い、タスクの特性を事前に把握させます。その上で、各タスク専用の「アダプタ」（適応器）を準備し、幾何学的な方法で統合します。

イメージで言えば、野球選手にはバット握りの練習を、テニス選手にはラケット握りの練習を別々に行わせた上で、共通の体幹トレーニングで統合する、という感じです。

【実務への影響】 この技術が実用化されると、スマートフォンのカメラで品質検査を行うシステムや、医療現場で画像と患者記録を同時に分析するAIなど、画像とテキスト両方を使う実務的なツールの精度が向上します。特に、ユーザーの使い方の変化に合わせてAIが学び続ける必要があるサービスでの効果が大きいと考えられます。

学術界での進歩ですが、スマートスピーカーや自動運転車といった日常生活に関わるAI技術の土台になる研究といえます。