CAC Holdings<4725>子会社のシーエーシーは、音声から3Dキャラクターの表情アニメーションを自動生成する「DeepEmo」のデモエディタの提供を2024年12月10日より開始すると発表した。このデモエディタは、Unityのプロジェクトとして提供するもので、AIが台詞音声を解析して感情データを出力し、その感情データをもとに、3Dキャラクターの表情アニメーションを自動生成するとのこと。
ゲーム開発をはじめとした3Dキャラクターの表情アニメーションは、アニメーターが1つのキャラクターごとに手作業で表情を作成する必要があり、多大な工数が発生している。特にゲーム内に登場するキャラクターや台詞が多くなるほど、制作コストが増大する傾向にある。
今回、CACが開発したデモエディタでは、音声データと感情解析したCSVをインポートするだけで、簡単にセリフと感情に合わせた3Dキャラクターの表情アニメーションをUnity上で自動生成することができる。
表情生成の基本となる9種類の感情(平常、怒り、恐怖、嫌悪、喜び、悲嘆、信頼、興味、驚き)に対応するブレンドシェイプをプリセットとして登録することで、台詞の感情に合わせたリップシンク付きの自然な表情アニメーションを生成する。
■効果
DeepEmoは、ある大手ゲーム開発企業での導入事例では、従来アニメーター1人日あたり2分程度の作業量だった表情アニメーション制作において、約95%の工数削減を実現した。具体的には、1,000分の台詞に対する表情付けの工数が、従来の500人日から25人日程度まで大幅に削減され「表情制作の効率化に大きく貢献し、制作時間を大幅に削減できた」といった評価されている。今回提供開始するデモエディタでは、この効果をより手軽に体感すると考えている。
■DeepEmoのデモエディタ開発の背景
DeepEmoは感情表出音声をもとにディープラーニングを用いて、平常、怒り、恐怖、嫌悪、喜び、悲嘆、信頼、興味、驚きの9つの感情を推定するアルゴリズム。収録した台詞音声を解析し、0.32秒ごとに変化する感情値を生成する。
これまでDeepEmoは、音声データから解析した感情値をCSVファイルとしてユーザーに提供してきたが、この方式ではユーザー側で感情解析データを解釈し、また、それをもとに表情を生成するシステムの構築を個社ごとに行うため、実際の開発現場への導入にはハードルが高いという指摘があったという。このような課題を解決し、より効率的な開発環境を実現するため、本デモエディタの開発に至ったとのこと。
■今後の展開
CACでは、今回のデモエディタを実際のゲーム開発現場で活用する中で、様々な開発者からフィードバックをし、現場のニーズに即した機能強化を進めていく。将来的には、複数の3D制作プラットフォームへの対応や、既存パイプラインとの連携、一括表情適用機能の実装、VRM形式への対応など、開発現場の多様なニーズに応えていく予定。
また、ゲーム制作に限らず、メタバースやVtuber等、3Dキャラクターを活用したデジタルコンテンツ制作全般へのサービス展開も視野に入れている。DeepEmoが提供する感情解析・表現技術を通じて、人とデジタルキャラクターとのより豊かなコミュニケーション体験の実現を目指していく。
