NVIDIA、AI駆動のMetaHumanキャラがPC上で簡単に構築・展開できる「NVIDIA ACE」向けのUnreal Engine 5プラグインを発表

NVIDIAは、Unreal Fest Seattle2024において、NVIDIA ACE 向けの新しい Unreal Engine5オンデバイス プラグインをリリースし、Windows PC 上で AI 駆動の MetaHuman キャラクターの構築と展開を容易にしたと発表した。ACE は、生成 AI による音声、知能、アニメーションを提供するデジタル ヒューマン テクノロジのスイート。

開発者は、Autodesk Maya で AI を使用したフェイシャル アニメーションのための新しい Audio2Face-3D プラグインにアクセスできるようになった。このプラグインにより、開発者はシンプルで効率化したインターフェースを使用して、Maya でのアバター開発をスピードアップし、簡素化することができる。このプラグインにはソースコードが付属しており、開発者は好みのデジタル コンテンツ制作(DCC)ツール用のプラグインを開発することができる。

また、Epic の Unreal Pixel Streaming テクノロジを活用した Unreal Engine5レンダラー マイクロサービスを構築した。このマイクロサービスは現在、NVIDIA ACE Animation Graph マイクロサービスと Linux オペレーティング システムを早期アクセスでサポートしている。Animation Graph マイクロサービスは、リアルで応答性の高いキャラクターの動きを可能にし、Unreal Pixel Streaming のサポートにより、開発者は MetaHuman の作品をあらゆるデバイスにストリーミングすることができる。

■最新の ACE の進歩で MetaHuman に生命を吹き込む

NVIDIA ACE Unreal Engine5サンプル プロジェクトは、デジタル ヒューマンをゲームやアプリケーションに統合しようとする開発者のためのガイドとなる。このサンプル プロジェクトは、オンデバイス ACE プラグインの数を増やしている

開発者は、知的財産のコンテキストに関する情報でデータベースを構築し、低遅延で関連性の高い応答を生成し、その応答が対応する MetaHuman のフェイシャル アニメーションを Unreal Engine5でシームレスに駆動させる。これらのマイクロサービスはそれぞれ、Windows PC 上で低遅延かつ最小限のメモリ フットプリントで動作するように最適化されている。

新しいプラグインは近日公開予定。今すぐ始めるには、適切な NVIDIA ACE プラグインと Unreal Engine サンプルを MetaHuman キャラクターと一緒にダウンロードしてほしい。

■Maya ACE プラグインで3D アニメーションを効率化

Autodesk Maya は、ゲーム開発者やテクニカル アーティストが高品質な3D グラフィックスを作成するための高性能なアニメーション機能を提供する。開発者は Audio2Face-3D プラグインを使用して、キャラクターの高品質で音声駆動型のフェイシャル アニメーションを簡単に作成できるようになる。ユーザー インターフェースは効率化されており、Unreal Engine5環境にシームレスに移行できる。ソース コードとスクリプトは高度にカスタマイズ可能で、他のデジタル コンテンツ制作ツールで使用するために修正できる。

始めるには、API キーを取得するか、Audio2Face-3D NIM をダウンロードしてほしい。NVIDIA NIM は、使いやすい推論マイクロサービスのセットで、あらゆるクラウドやデータセンターでの基盤モデルの展開をスピードアップする。次に、Autodesk Maya2023、2024、または2025を所有していることを確認してほしい。そして、Maya ACE Github リポジトリにアクセスしてほしい。そこには、Maya プラグイン、gRPC クライアント ライブラリ、テスト アセット、サンプル シーンなど、Audio2Face-3D の探索、学習、革新に必要なすべてのものが含まれている。

■UE5Pixel Streamer によるデジタル ヒューマンの大規模展開

クラウドを通じてデジタル ヒューマンを展開する開発者は、できるだけ多くの顧客に同時にリーチしようとしているが、高忠実度のキャラクターをストリーミングするには、大量の計算リソースが必要。本日、NVIDIA ACE の最新の Unreal Engine5レンダラー マイクロサービスは、早期アクセスで NVIDIA Animation Graph Microservice と Linux オペレーティング システムのサポートを追加した。

Animation Graph は、アニメーションのステート マシンとブレンド ツリーの作成を容易にするマイクロサービス。開発者は、アニメーションのブレンド、再生、および制御のための柔軟なノードベースのシステムを利用できる。ピクセル ストリーミング機能を備えた新しい Unreal Engine5のレンダラー マイクロサービスは、Animation Graph マイクロサービスからのデータを消費するため、開発者はクラウド上のサーバーで MetaHuman キャラクターを実行し、そのレンダリング フレームと音声を WebRTC(Web Real-Time Communication)を介して任意のブラウザやエッジ デバイスにストリーミングすることができる。