NVIDIA、画像から立体物を生成するAI「3DのDALL-E」を発表

人工知能によって生成された画像が爆発的に増加した後、このテクノロジーの次のステップが見えてきました。 NVIDIA は、ビデオ ゲーム、映画、メタバースで使用できる3D オブジェクトを生成できる新しい AI モデルであるGET3D を発表しました。 GPU と複数の角度から撮影した 2D 画像の助けを借りて、モデルは高忠実度のテクスチャを備えた複雑な形状を作成できます。

NVIDIA ブログの投稿によると、エンジニアは 100 万枚の画像を使用して人工知能モデルをトレーニングしました。複数の A100 Tensor コア GPU の助けを借りて、チームは 2 日で目標を達成しました。同社によると、 GET3D は 1 つの GPU を使用して 1 秒あたり 20 個のオブジェクトを生成できるため、アーティストやコンテンツ クリエーターの作業が容易になります。

現実の世界は多様性に満ちています。通りにはユニークな建物が建ち並び、さまざまな車両が行き交い、多様な群衆が行き交います。これを反映した 3D 仮想世界を手動でモデリングするには時間がかかり、詳細なデジタル環境を完成させることが困難になります。

エヌビディア

これまでのところ、GET3D は車、椅子、動物、バイクから人間、建物に至るまで、さまざまなオブジェクトを生成できます。モデルを別の NVIDIA AI ツールと組み合わせて、特定のスタイルのオブジェクトを作成できます。エンジニアらは、複雑なトポロジとリアルなテクスチャを備えた詳細な 3D メッシュを作成して、ゲーム エンジンやレンダリング アプリケーションにエクスポートできると述べています。

3D オブジェクトはビデオ ゲームや映画で使用できるように編集できます

GET3D の重要なポイントの 1 つは、結果を編集できることですが、これまでの試みでは困難でした。一見したところ、結果は詳細なメッシュとテクスチャ モデルを使用して写真測量技術を使用した場合に得られるものと似ています。唯一の欠点は、このクラスのモデルでは、ポリゴン数を最適化するためにその後の「クリーニング」作業が必要になることです。

3D 生成モデリングに関するこれまでの研究では、幾何学的詳細が欠如しており、生成できるメッシュ トポロジが制限されており、通常はテクスチャをサポートしていないか、合成プロセスでニューラル レンダラーを使用しているため、一般的な 3D ソフトウェアでの使用は簡単ではありません。

他のディープ ラーニング モデルと同様に、トレーニング データ セットが大きいほど、より良い結果が得られます。 GET3D は合​​成データ セットを使用しますが、研究者らは次のバージョンでは実世界のデータでトレーニングすることを計画しています。

NVIDIA はすでに GET3D モデルの次のバージョンを計画しています

人工知能による 3D オブジェクトの作成は興味深いものであり、 NVIDIA は重要な一歩を踏み出しました。ただし、ビデオ ゲーム、映画、その他のエンターテイメント アプリケーションの3D モデルは、MindjourneyやDALL-E の実験よりもはるかに複雑です。これらのオブジェクトがアニメーションを含むゲームやシーンで使用される場合、ポリゴン数やトポロジなどの追加の特性を満たす必要があります。

数週間前、同様のアプリケーションが Twitter のトレンドになりました。 Kaedim は、人工知能を使用して 2D 画像から 3D モデルを作成することを約束するサービスで、複数のアーティストの注目を集めました。真実とは思えないほどの結果を発表した後、同社が嘘をつき、3D 専門家を使用していると非難する人もいました。

結局、Kaedim 氏は名乗り出て、オブジェクトの作成には AI アルゴリズムが使用されているが、最終結果は人間が編集していると述べました。 「品質管理エンジニア」はモデルをレビューし、クライアントが要求する品質基準を満たすようにモデルを調整してから送信します。これにより手作業に比べて生産時間が最適化されますが、このアルゴリズムは依然として信頼できる結果を提供できません。