AI Vtuber『ゆめみなな』を支える技術とは？KLabが語る3Dライブ制作とAI活用の最前線

KLab<3656>は7月2日、同社オフィスにてAI VTuber『ゆめみなな』の3Dライブに向けた技術説明会を開催した。

本説明会は、7月7日に配信予定の初のオンライン3Dライブ「ゆめみなな生誕祭2026」に先立って行われたもの。当日はライブ映像の一部が先行公開されたほか、2026年2月のデビューから現在までの活動、AI VTuberの配信を人間がリアルタイムで支える「アシストプレイ配信」、さらにAIを活用した3Dライブ演出技術について紹介された。

デビューから半年で3Dライブへ。AI VTuber『ゆめみなな』の歩み

最初に登壇したのは、「ゆめかいろプロダクション」プロデューサーの萱沼由晴氏。ここでは、AI VTuber『ゆめみなな』がデビューしてから現在に至るまでの歩みが紹介された。

『ゆめみなな』は、2026年1月15日にYouTubeチャンネルを開設。1月30日には1st MV「ナナノホシノナ」を公開し、同MVは6月時点で260万再生を突破したという。さらに初配信では、同時接続者数2200人以上を記録するなど、デビュー直後から大きな注目を集めた。

3月以降は活動の場をさらに広げていく。VTuber文化祭「ぶいかる」ではファンとの1on1イベントを実施。また、初のコラボ配信として「犯罪学教室のかなえ先生」との配信も行われた。
また4月には、初の案件配信として「100時間カレー」のPR配信を実施。加えて、『かまいたちの夜×3』を皮切りにゲームプレイ配信にも挑戦した。

萱沼氏は『かまいたちの夜×3』の配信について、「人間の手を一切入れない、7時間に及ぶ長時間配信という挑戦的な企画」だったと振り返る。AI VTuberが長時間にわたってゲームをプレイするという試みでありながら「しっかりと犯人を特定してゲームクリアにたどり着けました」と説明。配信を見守る側としては「ハラハラドキドキしながら見守っておりました」とその挑戦を振り返った。

また、直近の動きとしては、VTuber事務所「ゆめかいろプロダクション」が、経済産業省によるコンテンツ産業成長投資支援事業「IP360」の開発プラットフォーム構築支援に採択されたことにも触れられた。

萱沼氏は、これまでの活動について「ゲーム配信、食レポ、1on1トークなどさまざまな挑戦をここまで駆け抜けてきた」とコメント。そのうえで、7月7日に開催される『ゆめみなな』の3Dライブについて、「VTuberにおける1つの目標」と位置づける。

AIを活用することで、短時間かつ高品質、高効率な3Dライブ制作を実現できるのではないか。今回のライブは、そうした期待も込められているようだ。

完全自動プレイから、人間とAIが協力する「アシストプレイ配信」へ

続いて、AIエンジニアの加納基晴氏より、AI VTuberの配信を支える「アシストプレイ配信」について紹介された。

『ゆめみなな』にとって最初のゲーム実況となった『かまいたちの夜×3』では、AIによる完全自動プレイに挑戦。実際の配信では、キャラクター名の入力を自らやり直して修正したり、感情を込めてセリフを読み上げたりといった動作も、AIが自動で行っていたという。

しかし現在のAI単体では、複雑な操作や素早い判断が求められるゲームへの対応はまだ難しい。操作が比較的シンプルなタイトルであれば対応できるものの、ゲームごとに個別の実装が必要になるため、配信を量産していくうえでも課題があった。

そこで採用されたのが、人間とAIが協力して配信を行う「アシストプレイ」という方針だ。人間がゲーム操作を担当し、AIは人間の声やゲーム画面を認識しながらコミュニケーションを取り、共同で配信を進めていく。

実際の配信では、「かいろちゃん」と呼ばれる人間のパートナーが操作を担当。これにより、RPGのような複雑なゲームや、利用規約への同意画面など、素早い判断や細かな操作が求められる場面にも対応できるようになった。今後も、さまざまな定番ゲームへの挑戦を予定しているという。

今後の技術的な課題としては、現在2～3秒ほどかかっているレスポンス速度の向上、会話における自然な話者交代、RPGなどで重要になる長期的な記憶と理解の精度向上などが挙げられた。

加納氏は、こうした課題があることを認めつつも、開発においてもっとも大切にしているのは「視聴者に面白いと思ってもらえること」だと語る。単に技術的な完成度を追求するだけでなく、どのような状況や展開であれば面白い配信になるのか。その視点を持ちながら、今後も試行錯誤を続けていく考えだ。

3Dライブ制作の工数とコストを、AI活用で半分以下に

続いて、3Dデザイナーの田中典氏より、「AIによる3Dライブの演出技術について」の説明が行われた。ここではまず、3Dライブ制作における課題が紹介された。
3Dライブを実施するには、キャラクターやステージ、プロップなど、さまざまな3D素材を用意する必要がある。これらの制作には、平均して1つあたり3～4ヶ月ほどかかるという。

さらに、モーション収録にも課題がある。VTuberの場合、タレントが遠方に住んでいるケースもあり、収録日とスケジュールが必ずしも合うとは限らない。また、ライブ演出に欠かせないライティング、カメラワーク、表情付けなどは、1時間のライブであっても、収録時間は1日～2日がかりであり、3～4人が同時に動く必要がある。
そのため、3Dライブ制作には一般的に数百万円規模、場合によっては500万円から数千万円に及ぶコストがかかることもあるという。

こうした課題を解決するため、KLabではAIを活用した制作ツールの開発を進めてきた。「ゆめみなな生誕祭2026」では、短期間でキャラクター、ステージ、プロップの制作を行ったほか、モーションについてはスタジオで事前収録する形を採用。タレントが一堂に会することなく、必要な収録を進められる体制を整えた。ちなみに、使用したツールはClaudeやCopilot、ChatGPTなど多岐にわたるとのこと。

特に工数がかかるライティング、カメラワーク、表情付けについては、半自動化ツールを制作。これにより、従来の3Dライブと比べて、制作期間やコストを半分以下に抑えることができたという。

AIの活用は、単に作業を置き換えるものではなく、これまで大きな負担となっていた工程を効率化し、限られた期間や人数でも3Dライブを実現するための手段として導入されている。田中氏の説明からは、AI VTuberの活動を継続的に展開していくうえで、制作体制そのものを見直そうとする狙いがうかがえた。

音源解析をもとに、リップシンクやカメラワークを半自動で生成

続いて、田中氏からは実際に開発されたツールの機能について紹介された。まず紹介されたのがリップシンク機能だ。キャラクターモデルには、あらかじめ「AIUEO」と無音状態にあたる表情キーを設定しておき、音源から声の音程を解析。現在どの母音が発音されているのかを推測し、モーションデータとしてタイムライン上に出力する仕組みとなっている。

また、口の形も単一ではなく、通常の口、怒り口、笑い口など複数のパターンを用意。タイムライン上で部分的に表情を選び、演出に合わせて調整することも可能だという。

今回のメイン機能として紹介されたのが、カメラワークの半自動生成だ。楽曲の音源を解析し、BPMや楽曲内の盛り上がり、カットの切り替えタイミングなどを判断。その情報をもとに、タイムライン上へ自動でマーカーを配置していく。

さらに、正面から映すのか、左右から映すのか、下から見上げるのかといったアングルや、カメラの動きに関する情報も組み込まれており、それらをもとにカメラワークを生成できる。

ライティングについても同様に、音源解析をもとにタイムライン上へ自動配置できる仕組みが用意されている。楽曲の展開に合わせて照明演出を設定することで、手作業の負担を減らしながらライブらしい演出を作り込めるようになっている。

そのほか、画面効果の機能も紹介された。雨が降る表現や、右から左へ差し込む光のような演出を、映像の上に重ねる素材として配置できる。素材さえ用意しておけば、さまざまなエフェクトをワンクリックで乗せられるなど、カスタマイズ性も確保されている。

これらの機能によって、従来は人の手で細かく調整していたリップシンク、カメラ、照明、画面効果といった工程を、音源解析を起点に効率化できるようになった。ライブ演出の品質を保ちながら、制作工数を大きく削減するための仕組みと言える。

発光表現やキャラクターの見栄えも独自実装で調整

ツールの機能としては、映像表現に関する独自実装も紹介された。たとえば「Bloom」は、光っている部分にブラーをかけ、発光しているように見せるUnityの機能だ。ただし、標準機能のままでは処理が重くなりやすいため、KLabでは軽量なブラー処理になるよう独自に実装しているという。

さらに、「Bloom Star Burst」と呼ばれる機能も用意。強く発光している部分を中心に、十字方向へ光が伸びるような表現をシェーダーで実現している。ライブ映像らしい華やかさを加えるための機能と言える。

キャラクターのシェーダーについても、汎用のものではなく独自実装を採用している。ライブでは強い照明が当たる場面も多いため、どの角度から見ても一定の面積に影が入るように調整。正面からライトが当たっている場合でも陰影が残るようにすることで、ハイコントラストな絵作りを目指したという。

また、アニメ的な表現として「鼻ぽちライト」も実装されている。これはカメラの角度に応じて、キャラクターの鼻に小さなハイライトを入れる機能だ。絵柄を崩さずに情報量を増やし、キャラクターの見栄えを高める工夫となっている。

こうした機能は、単に作業を効率化するだけでなく、AI VTuberの3Dライブを映像として魅力的に見せるためのものだ。発光、影、ハイライトといった細かな要素まで調整することで、限られた制作期間の中でもライブらしい画作りを実現している。

AI活用により、3ヶ月でゼロから3Dライブを実現

田中氏は最後に、AIを活用したツール開発の意義についても語った。従来、制作を効率化するためのツール開発には、高度なエンジニアリングの知識が求められていた。そのため、デザイナー側に「こういう機能があれば便利なのではないか」という発想があっても、それを実際にツールとして形にするには大きなコストがかかっていたという。

しかし今回はAIを活用することで、3ヶ月という短い期間でゼロから3Dライブを実現することができた。キャラクターやステージ、演出まわりの制作だけでなく、カメラワークやライティング、表情付けといった工数の大きい部分まで、AIと連携したツールによって効率化している点が大きな特徴だ。

田中氏は、VTuberのように短いスパンで多くのコンテンツを制作していく現場では、今後さらにAI連携ツールの重要性が増していくと説明。今回の3Dライブをきっかけに、開発したツールの外販についても検討していきたいとした。

ゆめかいろプロダクション AI3Dライブツール・制作 お問い合わせフォーム

【PR】