CRI、CEDECで音声解析リップシンクのセッションを実施　音声データから口の動きを自動生成するミドルウェアが登場！！

CRI・ミドルウェア<3698>は、9月4日～9月6日にパシフィコ横浜で開催される日本最大のゲーム開発者向けカンファレンス「CEDEC 2019」で、音声データから自然な口の動き（口パターン）を自動生成する音声解析リップシンクミドルウェア「CRI ADX LipSync」についてのセッションを行うと発表した。

ADX LipSyncはディープラーニングによる音声解析技術を活用し、キャラクターの発話に合わせて最適な口の動きを自動生成する、今秋リリース予定のミドルウェアになる。口の動きを作成する際には、セリフの一音一音に対して手作業で口の形を設定する方法や、
セリフの音量に合わせて口の大きさを変化させるなどの方法がとられていた。

しかしADX LipSyncではこれらの方法よりもさらに効率的で自然な口パターンを生成するという。

セッションでは口パターンの作成の基礎知識や実装手法の比較、ADX LipSyncの特長を紹介するほか、展示ブースではゲーム内の会話シーンを想定した、セリフに合わせた自然な口パターン生成デモや、ボイスチャットを想定した、マイク入力した音声データからの
リアルタイム口パターン生成デモを披露する。

■ADX LipSyncについて
音声データの入力から自然な口の動きを自動で生成ADX LipSyncは入力された音声データの波形を解析し自動で適切な口の動きを生成する。また、口の形だけでなくマ行・バ行・パ行などの両唇音を発音する際はいったん唇を閉じるなどの口の開閉まで、実際の発音に即した口パターンを再現することができる。

生成した口パターンは様々なモデルデータに組み込みやすい形式で出力され、2D/3Dモデルの両方に活用することができる。

・マルチリンガル対応
ADX LipSyncは日本語のみならず、あらゆる言語で口パターンを生成することができる。日本語、英語、中国語などの複数言語でワールドワイド展開するタイトルの開発を大幅に効率化する。

・サウンドミドルウェア「CRI ADX2」と連携
CRIの統合型サウンドミドルウェア「CRI ADX2」と連携し、口パターンとサウンドを同一のツールで編集することができます。音声波形データを見ながら口の形やタイミングなどを調整することができるため、スピーディな開発に貢献する。


■CEDEC2019出展概要 
会 期：9月4日～6日
場 所：パシフィコ横浜
出展概要：累計5,000タイトル以上に採用されているオーディオミドルウェア「CRI ADX2」、および今秋リリースの音声解析リップシンクミドルウェアの最新技術展示を行う。ADX2ではUnreal Engine 4向けの「サウンド空間デザイン機能」やワークフロー改善に
貢献する新機能などを紹介します。新リップシンクミドルウェアでは実際のモデルデータを使用したリアルタイム音声解析技術のデモを中心に紹介する。

セッション：9月4日13時30分〜14時30分

「キャラクターをより魅力的に！ゲーム向けリップシンクミドルウェア」
https://cedec.cesa.or.jp/2019/session/detail/s5ce392857c2d5