VISUALSKILL：コンピューター利用エージェントのためのマルチモーダルスキル

最近、AIが私たちの代わりにコンピューターを操作してくれる「コンピューター利用エージェント」（CUA）という技術が注目されています。これは、私たちがマウスを動かしたり、キーボードを打ったりするのと同じように、AIがパソコンの画面を見て操作するようなイメージです。AIが特定の作業を自動でこなしてくれるので、私たちの仕事がぐっと楽になるのではと期待されています。

これまでのCUAは、あらかじめ決められたテスト（ベンチマーク）では人間と同じくらいの精度で作業できるようになってきました。しかし、実際に私たちが普段使っているような複雑な作業、例えば「新しいソフトの使い方を覚えて、それを使って資料を作る」といった長期的なタスクや、AIが一度も触ったことのない未知のソフトを扱うとなると、まだまだ苦手な部分が多かったんです。

なぜ苦手だったかというと、これまでのAIは、コンピューターの操作方法を「文字」だけで覚えていました。例えば、「このボタンを押す」という指示は文字で理解できても、実際に画面に表示されているボタンがどんな形をしているのか、どこにあるのかといった「見た目」の情報はあまり重視されていなかったんです。人間は画面を見て直感的に操作できますが、AIはそれが苦手でした。

そこで今回登場したのが「VISUALSKILL」という新しい考え方です。これは、AIがコンピューターの操作方法を「文字」だけでなく、「見た目」（画像や図）も一緒に覚えるようにしよう、という提案です。例えるなら、これまでのAIが分厚い取扱説明書を文字だけで読んでいたのに対し、VISUALSKILLは、文字だけでなく、写真やイラストが豊富に載った「図解入りマニュアル」を使って学習するようなものです。

VISUALSKILLでは、それぞれのソフトや作業に合わせて、文字と図を組み合わせた「スキル」のライブラリを作ります。AIは、必要な時にこのライブラリから関連する「トピック」（作業の項目）を選び、文字情報と図をセットで取り出して学習します。このスキルを作るプロセスもユニークで、まず作成済みのドキュメント（マニュアルなど）を分析し、さらに実際に動いているソフトの画面を探索することで、より実践的なスキルを身につけていくという二段階の仕組みになっています。

この技術が進めば、AIが今まで以上に柔軟に、そして効率的に私たちのコンピューター作業をサポートできるようになるでしょう。新しいソフトの導入や、普段の定型業務の自動化など、私たちの生活や仕事に大きな変化をもたらす可能性を秘めていると言えます。