3D認識能力を高めた、暗黙的・明示的ジオメトリを持つVLM

最近のAIって、写真を見て「これは猫だね」「これは車だね」って判断するのは得意ですよね。でも、その「モノがどういう形をしているか」「空間でどういう位置にあるか」といった、いわゆる「3次元（3D）の情報」を理解するのは、まだまだ苦手なAIが多いんです。

多くのAIは、私たちが普段見ているような平らな画像（2次元、2D）から学習しています。そのため、立体的なものを扱おうとすると、どうしても壁にぶつかってしまうんですね。

そんな中、この課題を乗り越えようという新しいAI技術が登場しました！その名も「VLM-IE3D」です。このAIは、ただ画像を見るだけでなく、動画から「モノの形」や「空間の広がり」といった3Dの情報を学習して、それをAIの「知識」として取り込むことができるんです。

具体的には、AIが「形」を理解するための「暗黙的（あんもくてき）」な情報と「明示的（めいじてき）」な情報を使い分けます。暗黙的な情報というのは、例えば「この物体は丸っこい」「この物体は角張っている」といった、はっきりとは言えないけど、なんとなく感じ取れる形の特徴のこと。一方、明示的な情報というのは、「この物体の長さは〇〇センチ」「この物体は△△の角度で傾いている」といった、具体的な数値で表せる形のことです。これらを「ジオメトリトークン」という形でAIに教え込むんですね。

さらに、このVLM-IE3Dは、「3D対応アダプター」という特別な仕組みも持っています。これは、AIが3Dの情報をよりスムーズに、そして正確に扱えるようにするための「通訳」や「補助輪」のようなものだと考えてください。このアダプターのおかげで、AIは3D空間での物体の位置関係や、物体の細かい形状をより正確に把握できるようになります。

この技術が進化すると、例えば、自動運転の車が周りの障害物をより正確に認識したり、ロボットが複雑な作業をより上手にこなせるようになったり、さらには、仮想空間（メタバースなど）で現実世界と同じようにモノを操作できるようになるかもしれません。私たちの生活をより便利で安全にする可能性を秘めた、注目の研究と言えるでしょう。