NVIDIA、デジタル ヒューマン、コンテンツ制作、生産性、開発を強化するAI基盤モデルを発表

NVIDIA(エヌビディア)は、1月6日、デジタル ヒューマン、コンテンツ制作、生産性、開発を強化する、NVIDIA RTX AI PC 上でローカルに実行される基盤モデルを発表した。

NVIDIA NIM マイクロサービスとして提供されるこれらのモデルは、最大3,352兆演算/秒の AI パフォーマンスと32GB の VRAM を備えた新しい GeForce RTX50シリーズ GPU によって高速化される。NVIDIA Blackwell アーキテクチャをベースに構築した RTX50シリーズは、FP4演算のサポートを追加した最初のコンシューマー向け GPU であり、前世代のハードウェアと比較して AI 推論パフォーマンスが2倍向上し、生成 AI モデルをより小さなメモリ フットプリントでローカルに実行する。

GeForce は長い間、AI 開発者にとって不可欠なプラットフォームだった。最初の GPU アクセラレーテッド ディープラーニング ネットワークである AlexNet は、2012年に GeForce GTX580でトレーニングした。また、昨年は、公開した AI 研究論文の30% 以上で GeForce RTX の使用が引用した。

今では、生成 AI と RTX AI PC があれば、誰でも開発者できる。AnythingLLM、ComfyUI、Langflow、LM Studio などの新しいローコードおよびノーコード ツールの波は、熱心なユーザーがシンプルなグラフィカル ユーザー インターフェイスで複雑なワークフローに AI モデルを使用できるようにしている。

これらの GUI に接続した NIM マイクロサービスにより、最新の生成 AI モデルに簡単にアクセスして展開できるようになる。NIM マイクロサービス上に構築した NVIDIA AI Blueprint は、デジタル ヒューマン、コンテンツ制作などのための使いやすい事前構成済みのリファレンス ワークフローを提供する。

AI 開発者や愛好家からの高まる需要に応えるため、あらゆる主要な PC メーカーとシステム ビルダーは、GeForce RTX50シリーズ GPU を搭載した NIM 対応の RTX AI PC を発売する。

NVIDIA の創業者/CEO であるジェンスン フアン(Jensen Huang)は「AI は、知覚 AI から生成 AI、そして今ではエージェント型 AI へと、光速で進化しています、NIM マイクロサービスと AI Blueprint は、PC 開発者や愛好家に AI の魔法を探求するための構成要素を提供します」と述べた。

・AI を NIM 対応にする
基盤モデル(膨大な量の未加工データでトレーニングしたニューラル ネットワーク)は、生成 AI の構成要素。NVIDIA は、Black Forest Labs、Meta、Mistral、Stability.AI などの主要なモデル開発者からの、RTX AI PC 向けの NIM マイクロサービスのパイプラインをリリースする。ユース ケースは、大規模言語モデル(LLM)、ビジョン言語モデル、画像生成、音声、Retrieval-Augmented Generation(RAG)用の埋め込みモデル、PDF 抽出、コンピューター ビジョンに及ぶ。

Black Forest Labs の CEO である Robin Rombach 氏は「FP4 演算を備えた GeForce RTX 50 シリーズ GPU により、これまでは大規模なデータセンターに限定されていた膨大なモデルを、PC 上で実行できるようになります。FLUX を NVIDIA NIM マイクロサービスにすることで、より多くのユーザーが AI を展開して体験できるようになり、驚異的なパフォーマンスも実現します」とコメントした。

さらに NVIDIA は本日、幅広いエージェント型タスクで高い精度を提供するオープン モデルの Llama Nemotron ファミリを発表した。Llama Nemotron Nano モデルは、RTX AI PC およびワークステーション向けの NIM マイクロサービスとして提供され、命令の追跡、関数呼び出し、チャット、コーディング、数学などのエージェント型 AI タスクに優れている。

NIM マイクロサービスには、PC で AI を実行するための主要なコンポーネントが含まれており、RTX PC やワークステーション、クラウドなど、NVIDIA GPU 全体に展開できるように最適化されている。

これにより、開発者や愛好家は、Windows Subsystem for Linux(WSL)を搭載した Windows11PC でこれらの NIM マイクロサービスをすばやくダウンロード、セットアップ、実行できる。

Microsoft の Windows 担当コーポレート バイス プレジデントである Pavan Davuluri 氏は「AI は Windows 11 PC のイノベーションを急速に推進しており、Windows Subsystem for Linux (WSL) は Windows Copilot Runtime と並んで Windows 11 での AI 開発のための優れたクロスプラットフォーム環境を提供します。Windows PC 向けに最適化された NVIDIA NIM マイクロサービスにより、開発者や愛好家に Windows アプリにすぐに統合できる AI モデルを提供し、Windows ユーザーへの AI 機能の展開をさらに加速するでしょう」とコメントした。

RTX AI PC で実行される NIM マイクロサービスは、AI Toolkit for VSCode、AnythingLLM、ComfyUI、CrewAI、Flowise AI、LangChain、Langflow、LM Studio など、主要な AI 開発およびエージェント フレームワークと互換性がある。開発者は、これらのフレームワーク上に構築したアプリケーションとワークフローを、業界標準のエンドポイントを介して NIM マイクロサービスを実行する AI モデルに接続できるため、クラウド、データセンター、ワークステーション、PC 全体で統一したインターフェイスで最新のテクノロジを使用できる。

また、NVIDIA ChatRTX 技術デモのリリースが近日予定されており、さまざまな NIM マイクロサービスを体験することもできる。

・エージェント型 AIに表情を与える
ユーザーや開発者がエージェントやアシスタントを構築するために NIM をどのように利用できるかを示すために、NVIDIA は本日、Project R2X を発表した。これは視覚機能を備えたアバターで、ユーザーに瞬時に情報を提供したり、デスクトップ アプリやビデオ会議通話を支援したり、文書を読んだり要約したりすることができる。

このアバターは、NVIDIA RTX Neural Faces という、従来のラスタライズを完全に生成したピクセルで強化する新しい生成 AI アルゴリズムを使ってレンダリングされる。そして表情は、唇や舌の動きを改善する拡散ベースの新しいNVIDIA Audio2Face-3Dモデルによってアニメーション化される。R2X は、OpenAI の GPT4o や xAI の Grok などのクラウド AI サービスや、CrewAI、Flowise AI、Langflow などの開発者向けフレームワークを介して、PDF リトリーバーや代替の LLM などの NIM マイクロサービスや AI Blueprintに接続することができる。サインアップして Project R2X の最新情報を確認してほしい。

・AI Blueprint が PC に登場
NIM マイクロサービスは、RTX PC でローカルに実行できるリファレンス AI ワークフローである AI Blueprint を通じても、PC ユーザーに提供される。これらの Blueprint を使用すると、開発者は PDF ドキュメントからポッドキャストを作成したり、3D シーンでガイドした魅力的な画像を生成したりできる。

PDF からポッドキャストへの Blueprint は、PDF からテキスト、画像、表を抽出して、ユーザーが編集できるポッドキャスト スクリプトを作成する。また、Blueprint で利用可能な音声やユーザーの音声サンプルを使用して、スクリプトから完全なオーディオ録音を生成することもできる。さらに、ユーザーは AI ポッドキャスト ホストとリアルタイムで会話して、特定のトピックについて詳しく知ることができる。

Blueprint は、言語用の Mistral-Nemo-12B-Instruct、テキスト読み上げと自動音声認識用の NVIDIA Riva、PDF 抽出用の NeMo Retriever マイクロサービス コレクションなどの NIM マイクロサービスを使用する。

3D ガイド付き生成 AI の AI Blueprintにより、アーティストは画像生成をより細かく制御できる。AI は単純なテキスト プロンプトから素晴らしい画像を生成できるが、言葉だけを使用して画像の構成を制御するのは難しい場合がある。この Blueprint を使用すると、クリエイターは Blender などの3D レンダラーにレイアウトした単純な3D オブジェクトを使用して、AI 画像生成をガイドできる。アーティストは3D アセットを手動で作成するか、AI を使用して生成し、シーンに配置して3D ビューポート カメラを設定できる。次に、FLUX NIM マイクロサービスによって提供されるパッケージ化したワークフローが、現在の構成を使用して、3D シーンに一致する高品質の画像を生成する。

NVIDIA NIM マイクロサービスと AI Blueprintは、2月から利用可能になり、GeForce RTX50シリーズ、GeForce RTX4090および4080、NVIDIA RTX6000および5000プロフェッショナル GPU の初期ハードウェア サポートが提供される。今後、追加の GPU がサポートされる予定。NIM 対応の RTX AI PC は、Acer、ASUS、Dell、GIGABYTE、HP、Lenovo、MSI、Razer、Samsung、および地域のシステム ビルダーである Corsair、Falcon Northwest、LDLC、Maingear、Mifcon、Origin PC、PCS、Scan から発売される予定。