中間表現なしで動画の動きを画像に転送、キャラアニメAI「SCAIL-2」

動画の動きをキャラクターに転写するAI技術が、また一歩進化しました。清華大学とZ.aiの研究チームが発表した「SCAIL-2」は、これまでの技術とは異なり、途中の段階を挟まずに、動画の動きを直接キャラクターに適用できる点が大きな特徴です。

これまでの技術では、例えば人間が踊っている動画の動きをアニメキャラクターに真似させたい場合、一度人間の動きを骨格データのような「中間表現」に変換し、それをキャラクターに当てはめるという手順が必要でした。このプロセスは、まるで通訳を挟むようなものです。通訳が優秀であれば問題ありませんが、少しでもニュアンスが伝わりにくかったり、情報が失われたりする可能性がありました。また、この通訳の作業自体に手間や時間がかかったり、特別な知識が必要だったりすることもありました。

SCAIL-2がすごいのは、この「中間表現」を必要としない点です。つまり、通訳を挟まずに、動画の動きをキャラクターに直接伝えるようなイメージです。これにより、よりスムーズで自然な動きが再現しやすくなるだけでなく、作業の手間も大幅に減らすことができます。まるで、人間の動きをそのままキャラクターの体にコピー＆ペーストするような感覚に近いかもしれません。

この技術は、アニメーション制作の現場に大きな変化をもたらす可能性を秘めています。例えば、動きの多いアクションシーンやダンスシーンなど、手作業でキャラクターの動きを作るのが非常に大変だった場面で、SCAIL-2を使えば、実写の動きをベースに、よりリアルで迫力のあるアニメーションを効率的に作れるようになります。また、ゲーム開発においても、キャラクターの動きのバリエーションを増やすのが容易になるでしょう。

さらに、エンターテインメント業界だけでなく、バーチャルYouTuber（VTuber）のような分野でも活用が期待されます。VTuberがより多彩で自然な動きを表現できるようになれば、視聴者とのコミュニケーションも一層豊かになるはずです。専門的な知識がなくても、誰もが手軽に高品質なアニメーションを作れるようになる未来が、少しずつ現実味を帯びてきています。