CRIミドルウェア、「Live2D Cubism」に「CRI LipSync」を提供…音声だけで2Dキャラクターの高精度なリップシンクが可能に

CRI・ミドルウェアは、2Dイラストを立体的に動かすソフトウェア「Live2D Cubism(ライブツーディー キュビズム)」の開発・販売を行うLive2Dが提供する製品「Live2D Cubism」に、CRIの音声解析リップシンクミドルウェア「CRI LipSync」が採用したことを発表した。

CRI LipSyncは、信号処理と機械学習を組み合わせた独自の解析エンジンを搭載したミドルウェア。解析のための事前学習を話者ごとに行う必要がなく、誰の音声でもリアルタイムに解析し、高精度なリップシンクデータを生成することができる。

■ 音声データだけで高精度なリップシンクが可能に。制作工数を大幅に削減
CMやアニメといった映像作品から、家庭用ゲーム、VTuber配信アプリなどさまざまな分野で、言葉(音声)に合わせてキャラクターの唇の形や舌の位置を動かす「リップシンク」の需要は高まりつつある。しかし、音声に合わせて自然な動きをつけるには唇の動きや舌の位置を細やかに設定する必要があり、非常に手間がかかる。VTuber配信などで使用されるカメラ映像を元にしたリップシンクの手法もあるが、トラッキング精度の問題や、実際の人間の口の動きとキャラクターとして表現したい口の動きが異なるなど、リップシンクの精度が低いという課題がある。

CRI LipSyncを利用することで、音声データから高精度なリップシンクが可能になり、制作工数を大幅に削減することができる。

■ Live2D Cubism5.0では、2Dアニメーションモデルに加え、モデルに合わせた高精度なリップシンクの作成が可能に
Live2D CubismにCRI LipSyncが標準搭載したことにより、2Dアニメーションモデルの制作からアプリケーション上での利用まで、あらゆる場面でCRI LipSyncの高品質なリップシンクをキャラクターに適用することが可能になった。

Live2D Cubism SDKは対応プラットフォームが幅広く、Windows、macOS(Apple Silicon対応)をはじめ、iOS、Android、Webブラウザにも対応している。CRI LipSyncは今後新たにWebブラウザにも対応し、これら全てのプラットフォームでリアルタイム音声解析をサポートする。

また、Live2D Cubism Editor上で音声解析ができるため、モデルの作成時にリップシンクを含めた動作確認までを一貫して行うことができ、クリエイターの作業能率が向上する。

■Live2D Cubismグループ グループリーダー 佐藤 健一氏のコメント
「導入のきっかけは、VTuberなどアバターとしてモデルを活用するニーズが増加し、音声に連動して口を動かすリップシンクの需要が高まったことです。高精度でかつリアルタイムで動作可能な処理速度、さらに多くのプラットフォームへの対応が求められましたが、これらの要件を満たす製品としてCRI LipSyncを採用する決定に至りました。」

CRI LipSyncの製品詳細についてはこちら
https://game.criware.jp/products/lipsync/

Live2D Cubismの製品詳細についてはこちら
https://www.live2d.com/