CRI、音声から口の動きを自動生成するミドルウェア「ADX LipSync」をTGS2019に出展　ボイス付きストーリー制作の工数削減に貢献、Vtuberでの利用も

CRI・ミドルウェア<3698>は、「東京ゲームショウ2019」のビジネスデイでて、音声データから自然な口の動き（口パターン）を自動生成する音声解析リップシンクミドルウェア「CRI ADX LipSync」を出展した。

「ADX LipSync」は、ディープラーニングによる音声解析技術を活用し、キャラクターの発話に合わせて最適な口の動きを自動生成するミドルウェアとなる。
 

ゲームでボイスを実装することが当たり前となりつつあるが、ゲーム開発・運営の現場では、キャラクターのセリフ一音一音に対して手作業で口の形を設定したり、セリフの音量に合わせて口の大きさを変化させたりする点に工数がかかるという課題が出ているそうだ。「ADX LipSync」はこうした課題に対応し、工数削減に貢献するという。

会場のデモでは、あらかじめセットされたボイスデータで自然に口を動かすだけでなく、リアルタイムでの自動生成にも対応していることも示した。例えば、マイクなどを使って話すと、キャラクターがそれに合わせてリアルタイムで口を動かしてくれるのだ。口の動きを見ていても、特に違和感を覚えることはなかった。
 

同社によると、来場者からは「自動生成でも自然に見える」「いつから使えるのか」など好意的な反応が多かったそうだ。大手ゲーム会社からは通常のシーンでは自動生成したものを使い、重要なシーンでは自動生成したものをベースにカスタマイズできるのかといったことも聞かれたという。このほか、リアルタイムでキャラクターの口を動かせるため、Vtuberでの利用可否についての問い合わせもあったそうだ。

なお、提供時期については「今年の秋には出したい」とコメント。「当社のサウンドミドルウェアCRI ADXを使っていなくても単体で使えるようにした。開発発表の段階で、各方面から届く反響が予想以上に大きかったためだ」と述べ、今秋のリリースに期待を示した。


 

CRI・ミドルウェア