ANYCOLOR、stuとVTuberに特化したMRライブシステムを共同開発　1月に開催されたイベントで実証実験を実施

ANYCOLOR<5032>とstuは、本日（2月26日）、VTuberに特化したMRライブシステムを共同開発し、2025年1月8日と9日に開催された「ANYCOLOR/にじさんじ 新技術実証実験イベント ver.2025.01」にて実証実験を実施したことを発表した。

「ANYCOLOR/にじさんじ 新技術実証実験イベント ver.2025.01」は、Meta Quest3とスマートフォンで体験可能なMR形式のライブイベントとなっており、にじさんじ所属の「加賀美ハヤト」が出演するトークと音楽ライブの2本立て形式で実施された。

これまでのVTuberの音楽ライブは、会場のLEDモニターに表示される映像を視聴する体験が主体的だったが、本イベントではヘッドマウントディスプレイやスマートフォンで体験者自身の視点でリアルタイムに鑑賞可能なシステムを開発し、新感覚なライブエンターテイメントの提供を目指した。

◆システム開発について

本イベントのシステムでは低遅延なデータ伝送により、VTuber・司会者・体験者が相互にコミュニケーションすることが可能となり、音声についてはイヤホンなどではなく、通常のライブと同じく会場のスピーカーで聞く設計となっており、より臨場感のあるライブ体験を提供した。

また、MR技術を用いて、VTuberがより目の前に実在する体験を実現するため、VTuberライブに特化した伝送システムとMR合成システムの2つを開発した。

リアルタイムに相互コミュニケーションを可能とするためには、ライバーの動きや照明等の演出信号を、複数台のヘッドマウントディスプレイやスマートフォンに低遅延で伝送する必要がある。そのため、これまでstuと共同開発を進めてきた、VTuberライブに特化した独自のデータ圧縮手法を基にリアルタイムでMRライブが可能な伝送システムを新たに開発した。

加えて、リアルタイムに精度の高い映像をコンポジットすることが課題となっていたため、Meta Quest3の基本機能をベースにした新たな機能を開発し、物理空間と音・照明が連動したVTuber専用のMR合成システムを開発した。

また、一般的な会場は無線で大量の端末にデータを送受信できる設計にはなっておらず、リアルタイムでMRコンテンツを提供するにあたり障壁となっていたが、大量のデータを安定して伝送するために、会場のネットワークインフラから再設計を行い、リアルタイムMRライブに最適なネットワーク機材を選定してデータフローを見直すことで、オペレーターの負担を下げつつ安定したデータ配信を可能にした。

◆今後の展望

リアルタイムMRライブシステムの開発により、VTuberがより身近に感じられる体験が実現し、これまで以上に自由度の高いコンテンツを企画・提供することができるようになった。

本イベントで実証実験した技術は、ライブのみならず、ゲーム、展示会、テーマパーク、ショッピングモールのイベントスペースといった様々な場所で応用が可能だ。

同社は今後も「魔法のような、新体験を。」を届けられるよう、新たな挑戦に向けて取り組み続けていくとしている。