デスクトップGUI遷移を理解できるか？ Desktop-Delta Benchで評価

パソコンのマウスやキーボード操作を自動でやってくれるAI技術の評価方法が、大きく変わろうとしています。

これまで、このようなAI（デスクトップ操作エージェント、略してCUAと呼ばれる）がどの程度使い物になるかは、簡単な判定方法で測られていました。具体的には「タスクが完了したか、しなかったか」「その画面（スクリーンショット）が正しく見えているか」という、やや表面的な指標ばかりでした。

しかし現実のパソコン操作は、もっと複雑です。あるボタンをクリックすると別の画面に移動し、さらに別の操作をして初めてゴールに達する、という連鎖的な流れが起きます。このプロセス全体をスムーズにこなせるかどうかが、本当の実用性を左右するのです。

この課題に目をつけた東京大学の研究者たちが開発したのが「Desktop-Delta Bench」というベンチマーク（評価基準）です。音声認識や翻訳の性能を測るのに「テストセット」を使うように、パソコン操作AIの実力を測る統一的な物差しがなかったわけです。

このベンチマークには、何が含まれているのか。研究者たちは、50種類のタスク領域にわたる2,013個の事例を用意しました。Webページの検索から、ファイル管理、複数のアプリを組み合わせた業務シミュレーションまで、実際の職場で起こりそうなシーンばかりです。

なぜこれが大事なのか。AIが「職場を担当する同僚」として機能するには、タスク完了の有無だけでなく、その過程での判断力が問われるからです。画面が変わったときに「何が起きたのか」を理解し、次のステップを判断できるAIと、そうでないAIでは、実務での信頼性が大きく異なります。

たとえば、「このフォルダにファイルを保存して、その後メールで送付する」という指示があったとき、単に「タスク完了」判定するだけでなく、保存後の画面変化をちゃんと認識したうえで、正しくメール送信へ進んだのかまで評価できるようになるわけです。

こうした評価基準ができることで、AI企業は自分たちのモデルの本当の力を客観的に測定できるようになります。また、企業がAIを導入する際の判断材料も整うでしょう。「このAIツール、本当に業務効率化に役立つのか」という問いに、より説得力のある答えが示せるようになるのです。

これは学術的な議論にとどまりません。テレワークの定着、業務自動化のニーズ高まりに伴い、AIが人間の仕事をどこまでサポートできるかは、多くの企業にとって現実的な課題になっています。