NVIDIAのAIが現実世界の映像からどのような3D環境を作り出すことができるのかは、以下のムービーで確認できます。
このディスプレイ上に表示されている映像は、グラフィックエンジンを用いて生成されたものではなく、AIが「現実世界の映像を変換して作成した3DCG」です。
「もしも現実世界のムービーをベースに新しい世界を生成できるAIモデルを訓練することができたならどうなるでしょうか?」
そんな理想を現実のものとしたのが、NVIDIAが開発したAI。現実世界のムービーから、AIは3DCGのバーチャル世界を作り出すことが可能です。
さらに、別のセグメンテーションネットワークを使用することで、一連の映像から高レベルの意味抽出が可能になるよう工夫を凝らしているとのこと。
それがどういうことかというと、Unreal 4を用いて映像を色分けすることで、映像内の物体を種類ごとにレイヤー分けし、異なる色をつけていきます。例えば以下の映像の場合は道路が白、自動車が黄色、建物は青緑となっており、物体と物体の境界線を正しく認識できていることがわかります。
その後、ネットワークがこの表現を画像に変換。これが現実の映像をAIがバーチャル映像に変換する大まかな流れです。
そして、このAIを用いることで現実の映像をデジタル映像に変換する以外にどのようなことができるのかというと、「僕の共同著者に江南スタイルを踊らせることもできます」とWang氏。
「これは機械が作った映像です。私じゃありません」とLiu氏が照れ気味に語ってムービーは終了しました。