動画生成による推論学習「OpenCoF」

皆さんは、動画をAIに作ってもらうって聞くと、どんなイメージを持ちますか？きっと、すごい映像がパッと出てくる！って思うかもしれませんね。でも、実はAIが動画を作る時、その裏側で「なぜこういう動きをするのか」「次に何が起こるか」といった、いわば「考える力」、つまり推論能力がとても大切なんです。東京大学の研究チームが、この動画生成AIの「考える力」をグンと高める新しい方法を発表しました。

この新しいアプローチの名前は「Chain-of-Frame（チェーン・オブ・フレーム）推論」。なんだか難しそうですが、これは動画の「フレーム」、つまり一枚一枚の絵を順番に追いながら、そこに何が起こっているのか、そしてそれがどう繋がっていくのかを、AIが段階的に理解していくイメージです。例えば、ボールを投げる動画があったら、「ボールが手に握られている」→「腕が振り上げられる」→「ボールが空中に放たれる」→「ボールが放物線を描いて落ちていく」…といった具合に、出来事の連鎖をフレームごとに追っていくんです。

これまでの動画生成AIは、こうした出来事の繋がりや、複雑な原因と結果の関係を理解するのが少し苦手でした。だから、時々「あれ？なんでこうなったの？」と不自然な動画ができてしまうこともあったんです。でも、この「Chain-of-Frame」推論を取り入れた新しいフレームワーク「OpenCoF（オープン・コフ）」を使えば、AIは動画の「ストーリー」をより深く理解できるようになります。まるで、人間が映画を観て、登場人物の行動や物語の展開を理解するのに似ていますね。

さらにすごいのは、この研究のために、AIの推論能力を鍛えるための大規模なデータセット「OpenCoF-17K（オープン・コフ・じゅうななケイ）」も作られたことです。これは、1万7千もの動画とその詳細な推論プロセスがセットになった、まるでAIの「教科書」のようなもの。そして、この教科書でしっかり勉強したAIモデル「Wan-CoF（ワン・コフ）」も開発され、実際に高い推論能力を示しているそうです。この技術が進めば、よりリアルで、もっと私たちの意図を理解してくれる賢い動画生成AIが生まれるかもしれません。例えば、子供向けの教育動画で、登場人物が「なぜ」そう行動するのかをAIが説明してくれる、なんてことも夢じゃなくなるかもしれませんね。