CRI、音声解析によりゲームキャラなどの唇の動きを生成する音声解析リップシンクミドルウェア「CRI LipSync Alive」を世界に向けて提供開始

CRI・ミドルウェア<3698>は、本日（11月12日）、音声解析によりゲームキャラクターなどの唇の動きを生成する音声解析リップシンクミドルウェア「CRI LipSync Alive」を世界に向けて提供開始することを発表した。

機械学習による音声解析技術と、事前解析ツール向けに独自開発した技術で、どんな言語にも対応するリアルで自然なリップシンクアニメーションを生成する。デジタルキャラクターが自然に口を動かし、話すことが当たり前となったゲームやエンタープライズ市場に向け、高機能なリップシンク機能を提供し、事業の拡大に貢献する。

■機械学習による音声解析技術で、あらゆる言語の「リアル」を生成

「CRI LipSync Alive」は音声解析により口の動きを生成する音声解析リップシンクミドルウェア。既に提供中の「CRI LipSync」の次世代ツールとして、これまでに蓄積してきたノウハウを活かしながら新しい機能を追加した。「CRI LipSync Alive」はこれまで「あいうえお」の5つで出力していた音声解析結果を、5つの母音と9つの子音を含む最大14種のアニメーションカーブとして出力する。これにより、英語やフランス語などに必要不可欠な口の動きを再現する。また声の抑揚から口の開き具合に補正をかけることで、リアルさを追求した3D作品のキャラクターも、デフォルメされた2Dキャラクターも、あらゆる言語を表現力豊かに話せるようになる。

音声解析にはChatGPTなどで使用されているTransformerを基にした独自の機械学習モデルを用いており、高い精度での解析を実現している。得られた解析結果は手元でも編集可能なため、開発途中のセリフの変更や、キャラクターの個性を演出する細かい調整も容易だ。

■ゲームやエンタープライズで生き生きと活躍するキャラクターを技術で支援

CRI最初のリップシンクツールの提供から約25年、同社はゲーム開発者だけでなく幅広いユーザー層に向けて口の動きのパターンの提供を行ってきた。「CRI LipSync」はリアルタイム解析により、ライブ歌唱やトークをCGキャラクター映像に反映させ、デジタルアバターで活動するVTuberの存在感と魅力を高めている。今回新たに提供を開始する「CRI LipSync Alive」も、将来的に「CRI LipSync」と同様、リアルタイムでの解析などに対応していく予定だ。また、より自然な表情を演出する研究も進めている。

昨今、デジタルキャラクターは口や表情を動かして話す事が当たり前となっています。グローバル向けに提供されるゲームタイトルでは、音声や口パターンを言語ごとに作り分ける作品が多数存在している。AIアシスタントの浸透とアバター適応も進んでおり、デジタルキャラクターが違和感なく口や表情を動かす技術はエンタープライズ分野でも求められる。CRIはこのような市場環境に向け、高品質かつ自由度の高いリップシンクツールを世界に提供する。3年後には世界のゲーム市場向けに「CRI LipSync Alive」で300ライセンスの提供を、またエンタープライズ市場に向けて、同社の技術導入を目指す方針だ。

▼「CRI LipSync Alive（シーアールアイ リップシンク アライブ）」
https://game.criware.jp/products/lipsync-alive/