CRI・ミドルウェア、ウェブテクノロジ、ツーファイブ、アールフォース・エンターテインメントは、2021年8月3日から5日にかけて参加費無料のオンライン展示会「CRI CREATORS CONFERENCE 2021」を開催しました。
同展示会では、CRIが提供するデジタル展示会プラットフォーム・DXExpoで各社の製品を紹介するブース展示が行われたほか、YouTubeのCRI・ミドルウェアチャンネルで講演や各社のブース紹介が行われました。本稿では8月4日に行われた講演のひとつ「CRI LipSync最新情報・デモ」のレポートをお届けします。
講演のモデレーターは、CRI・ミドルウェアのエンターテインメント事業本部 研究開発部のエンターテインメント事業本部 研究開発部 家室 証氏が務めました。CRI LipSyncは、入力された音声データを解析して自然な口の動きのパターンを自動生成する音声解析リップシンクミドルウェアです。イラストを自然にアニメーションさせるLive2Dのキャラクターや、CGで作成されたキャラクターなど、2Dと3Dの両方に対応しています。
家室氏はCRI・ミドルウェアの広報担当兼マスコットキャラクターであるりんごの3Dモデルを使い、まずは実演デモを行いました。CRI LipSyncに対して音声を入力すると、画面左に表示されている「A」「I」「U」「E」「O」の基本5母音のブレンド量と、口の幅、高さを示す「Width」、「Height」の口形状情報を得られます。
「10ms単位の入力音声を解析し、20msほどの遅延で口の動きを得られます」と家室氏は説明します。遅延とはいえ、"20ms程度"はほぼ体感できない程度の時間です。
口形状の情報を得るにあたり、話者を用意する必要はありません。CRI LipSyncの設定をなんら変更することなく、録音音声を再生するだけでも同様の結果を得られます。言語も日本語だけでなく英語や中国語など、多言語に対応しています。
また、情報として出力されないだけで内部では子音の判定も行われています。たとえば「ぱぱぱぱぱぱ」と実際に発声すると「ぱ」一音ごとに口が閉じられますが、「らららららら」は口を閉じることなく発声できます。そうした子音による口の動きの違いも即座に取得し、出力されることが実演されました。
家室氏は実演を通して「CRI LipSyncは、CRI・ミドルウェアがこれまでに培ってきた音声信号処理や、機械学習の技術や知見をもって開発したミドルウェアです。技術的な面にもご興味がおありの方は、弊社のメンバーによる過去のCEDECの講演をご参照ください」と続けました。
用途に合わせた3つのパッケージ
次に、製品構成が紹介されました。CRI LipSyncは用途に合わせて「LipSync V」、「LipSync Tools」、「LipSync Library」という3つのパッケージが用意されています。
「LipSync V」は、マイク入力や独自のオーディオシステムとつなげることを想定したパッケージ。です。Unityに対応しており、ゲームエンジン用プラグインとしてもさまざまな機能が用意されつつ、シンプルに独自の音声入力と解析を行うモジュール――「V」というパッケージ名の通り、VTuberのシステムの構築などが想定されています。
「LipSync Tools」は、入力された音声ファイルを解析し、テキスト形式で出力するCUI（character user interface）ツールです。MayaなどのDCCツールや、手持ちのアニメーションシステムに出力結果を取り込む、などの用途が想定されています。
そして「LipSync Library」は、サウンドミドルウェア「CRI ADX2」と連携し、入力された音声を即座に解析して口パターンを出力する拡張機能で、UnityとUnreal Engine 4に対応していいます。
続いては、採用実績が紹介されました。MyDearestが開発した、PS VR専用のVRインタラクティブストーリーアクション『ALTDEUS: Beyond Chronos』は「LipSync Tools」が採用されており、"VRゲームにおけるキャラクターのリップシンク"という極めて重要な役割を担いました。
また、VTuberとして不動の人気を誇るキズナアイが2020年12月29日にオンラインで開催したライブイベント「Kizuna AI 2nd LIVE "hello, wolrd 2020"」では「LipSync V」が採用されており、キズナアイのライブやMVシーンのリップシンクに活用されたとのことです。
使いやすさが向上した直近のアップデート情報
最後に、最近のアップデート情報が紹介されました。「ゲームエンジンで、より多彩なキャラクターモデルをより魅力的に動かすためのアップデートを頻繁に行っています」と語る家室氏。今は3パッケージ共通で使用できる解析モジュールと、それを利用するための組み込み用APIのアップデートが行われています。解析モジュールの詳細は後日あらためて発表予定とのことで、セッションでは組み込み用APIの紹介が行われました。
「LipSync V」では、Unreal Engine 4に対応したプラグインの提供が始まりました。出力結果をキャラクターモデルへ反映させる処理は自分で記述する必要があるものの、Blueprintを用いれば独自の加工処理なども自由に組み込めるようになりました。
また、既存のUnity向けプラグインでは、加工処理やコンポーネントとの接続をC#で記述しなければなりませんでしたが、それもエディター上で完結できるようにUnity Animationベースでの制御機能を追加。出力結果をそのまま利用する、早めに大きく口を開けるようにしてハキハキしゃべるような演出にする、アニメ風の口の動きにする…など、口の動きをGUIで手軽に調整できます。
Live2Dモデルのマウスパラメータは、従来のCRI ADXではスクリプトで記述する必要がありましたが、これもGUIで行えるようになりました。Live2Dデータの制御への対応に関する詳細は、CRIWARE Portalで2021年3月11日に公開された記事「ADX LipSyncでLive2Dデータを動かそう」で解説されています。
家室氏は「実は、これらのアップデートはあるユーザー様の要望で開発を始めました。これからも個別の事情に寄り添っていきたいと思いますので、お気軽にご試用、お問い合わせください」としつつ、「私たちは個別の要望に応じ、幅広い用途でご利用いただける新たな機能の開発につなげていくことを大きな喜びとしています。これからもキャラクターを魅力的に動かすために、ミドルウェアとしての使命を果たしていきます」とセッションをまとめました。
2021年8月1日に設立20周年をむかえ、その記念事業として国内のCRIグループ4社（CRI、ウェブテクノロジ、ツーファイブ、アールフォース・エンターテインメント）を1か所の拠点へと集結させたCRI・ミドルウェア。2021年内にはコーポレートサイトの全面リニューアルを行い、翌2022年中には、CRI ADXへの理解度を視覚化できる検定を開始する予定とのことです。
