テスト時自己進化型GUI視覚的グラウンディング、リフレクション誘導型オンポリシー自己蒸留による

皆さんが普段使っているスマホやパソコンのアプリ。あれって、見た目が少し変わるだけで、操作に迷うことってありますよね。AIにも同じようなことが起きているんです。

AIが画面を操作する「GUIエージェント」という技術があります。これは、AIが人間のように画面を見て、ボタンを押したり文字を入力したりするものです。例えば、オンラインショッピングで欲しい商品を探したり、予約サイトで手続きをしたりするのに役立ちます。

でも、今までのAIエージェントには大きな弱点がありました。それは、一度作られたら、そのAIは基本的に「学習停止」してしまうこと。新しいアプリや、デザインが変わったウェブサイトが出てくると、AIは「あれ？このボタンどこだっけ？」と戸惑ってしまい、うまく操作できなくなってしまうんです。

そこで今回、新しいAIの学習方法が提案されました。まるでAIが自分で「勉強し直す」ようなイメージです。この新しい仕組みは、「テスト時自己進化フレームワーク」と呼ばれています。

このフレームワークのすごいところは、AIが実際に動きながら、自分でどんどん賢くなっていく点です。人間が「このボタンはここだよ」と教えなくても、AI自身が試行錯誤して学習します。具体的には、「探索」「評価」「反省」「内部化」という4つのステップを繰り返します。

まず「探索」で、AIはいろいろな操作を試してみます。次に「評価」で、AIの操作がうまくいったか、もっと良い方法はないかをチェックします。この評価役として、AIの中でも特に賢い「大規模言語モデル（MLLM）」が使われます。この賢いAIが、まるで先生のようにAIの操作を評価し、「もっとこうすれば良かったね」という「反省点」を見つけ出します。

そして、「反省」のステップで、その反省点をまとめます。最後に「内部化」で、その反省点をAI自身の知識として取り込み、次に活かせるようにします。この「評価→反省→内部化」のサイクルを繰り返すことで、AIは未知の画面や操作にも柔軟に対応できるようになるのです。

この技術が進めば、AIエージェントは、私たちが使うどんなアプリやウェブサイトでも、よりスムーズに、より正確に操作できるようになるかもしれません。例えば、複雑なソフトウェアの操作をAIに任せたり、高齢者向けの分かりやすいインターフェースをAIが自動で作り出したりといった未来が考えられます。AIが自分で学び、進化していくことで、私たちのデジタル生活はもっと便利になるはずです。