REALITYの研究開発部門「GREE VR Studio Laboratory」は、10月19日、メタバース時代の先端研究開発成果であるバーチャル演奏技術「AI Fusion」の映像を公開した。
近年、メタバースのサービスにおいて、3D空間でのアバターの表現力向上が期待されている。
多くの人々が集まるメタバースでのアバター技術は、個々のユーザーによる表現力とリアルタイムのモーション生成技術の融合であり、その技術向上はクリエイターエコノミーとしての価値や可能性を拡げるものになる。
今回公開した映像はREALITYが提供するスマートフォン向けメタバース「REALITY」で利用できるアバターとスマートフォンからの顔認識に、表現力高く汎用的な音楽演奏表現を実現する「AI Fusion技術」を融合させることで実現したミュージックビデオ風のデモ映像。
■研究内容
実験用に書き起したオリジナル楽曲「ツユハナビ」(作詞作曲・菜那) にあわせてピアノ、エレキギター、エレキベース、ドラムの4種類の楽器の正しい演奏を行う腕や指の動作を生成。今回発表したアバター操作アシストAI技術「AI Fusion」により、全身のモーションや表情を動的に融合させ、リアルタイム映像で自然で高度な演奏パフォーマンスを自由に行うことを可能にしている。
歌唱の表情はスマートフォン向けメタバース「REALITY」と共通のアルゴリズムで収録し、全身動作はVFX映画の製作などに使われるクレッセントにて収録した。
技術部分の解説を下記動画で公開している。
■今後の展望
今回開発した技術を使用して、将来的には任意の楽曲を自由な空間で、スマートフォンだけで歌唱や高度な演奏を他のユーザーと同時に全身動作で表現できる可能性がある。
近い将来、サイバー万博のようなオンラインイベントが当たり前になる時代では、現在のカラオケにあたるような「誰でも、楽しく、自己表現ができる」体験は、アバターとメタバースで活躍するクリエイターエコノミー創出の時代であり、その基盤技術となることが期待できる。
■関連サイト
