AIが画像と文字を賢く学ぶ新技術！視覚依存性を考慮

AI、特に画像と文章の両方を理解できる「マルチモーダル大規模言語モデル（MLLM）」が、どんどん新しくなる情報に対応して、もっと賢くなっていくための新しい方法が考えられました。これは「マルチモーダル教師なし継続的ポストトレーニング（MU-CPT）」と呼ばれています。

皆さんが普段使っているAIアシスタントや、画像の説明をしてくれるAIなどを想像してみてください。これらのAIは、たくさんのデータ（文章や画像）を事前に学習することで、私たちの質問に答えたり、指示を実行したりできるようになります。しかし、世の中の情報は常に更新されていくので、AIもそれに合わせて学び続ける必要があります。

これまでのAIの学習方法では、新しいデータが次々と入ってきても、AIがその情報をうまく取り込んで、さらに賢くなるのが少し大変でした。特に、画像と文章を扱うAIの場合、文章の中のどの言葉が画像のどの部分と強く関係しているか、つまり「視覚依存性」がどれくらい強いか、という点に注目していませんでした。たとえば、「赤いリンゴ」という言葉があったとき、この「赤い」や「リンゴ」という言葉は、画像の中のリンゴを指している可能性が高いですよね。でも、「そして」のような言葉は、画像の内容とはあまり関係がありません。

今回の研究では、この「視覚依存性」の違いが、AIが新しい情報を学習する際にとても大切であることが分かったのです。そこで、研究チームは「視覚依存性を考慮したフレームワーク（VDA）」という新しい仕組みを開発しました。この仕組みを使うと、AIは画像との関連が特に強い言葉や情報により多く注目して学習を進めることができます。これにより、AIは無駄なく、より効率的に新しい知識を吸収できるようになるのです。

この技術が進むと、例えば、最新のニュース記事とそれに付随する画像をAIが学習する際に、記事の内容と画像の関連性をより深く理解できるようになり、より正確で気の利いた回答や情報提供ができるようになるかもしれません。絶えず変化する現代社会において、AIが常に最新の情報に適応し、その能力を高め続けるために、これは非常に重要な進歩と言えるでしょう。