CRI、自然な口の動き方を自動生成するリップシンクミドルウェア「CRI ADX LipSync」をCEDECセッションにて紹介 | GameBusiness.jp

CRI、自然な口の動き方を自動生成するリップシンクミドルウェア「CRI ADX LipSync」をCEDECセッションにて紹介

CRI・ミドルウェアは「CEDEC 2019」で音声データから自動で自然な口の動きを生成する音声解析リップシンクミドルウェア「CRI ADX LipSync」についてのセッションを行うと発表しました。

その他 イベント

CRI・ミドルウェアは、パシフィコ横浜で9月4日から6日にかけて行われる「CEDEC 2019」にて今秋リリース予定の「CRI ADX LipSync」(以下、「ADX LipSync」)についてのセッションを行うと発表しました。

「ADX LipSync」は、ディープラーニングによる音声解析技術を活用し、音声データの波形から自然な口の動きを手作業による設定よりも効率的に自動生成する音声解析リップシンクミドルウェアです。マ行・バ行・パ行などの発音の場合も一度唇を閉じるなど実際の発音に基づいた口の動きを再現することができます。また、日本語のみならず、英語や中国語などマルチリンガルも対応するほか、「CRI ADX2」とも連携できるので口パターンとサウンドを同一ツールで編集することも可能です。

今回のセッションでは、口パターンの作成の基礎知識や実装手法の比較、「ADX LipSync」の特徴を紹介します。加えて展示ブースでは、ゲーム内の会話シーンを想定したデモや、ボイスチャットを想定したマイク入力からのリアルタイムで口パターンが生成されるデモが披露。また「CRI ADX2」ではUnreal Engine 4 向けの「サウンド空間デザイン機能」やワークフロー改善に貢献する新機能が紹介されるということです。

CEDEC2019 出展概要


会 期:2019年9月4日(水)~6日(金)
場 所:パシフィコ横浜
出展概要:累計 5,000タイトル以上に採用されているオーディオミドルウェア「CRI ADX2」、および今秋リリースの音声解析リップシンクミドルウェアの最新技術展示を行いま す。ADX2 では Unreal Engine 4 向けの「サウンド空間デザイン機能」やワークフロー改善に貢献する新機能などを紹介します。新リップシンクミドルウェアでは実際のモデルデータを使用したリアルタイム音声解析技術のデモを中心にご紹介します。

セッションの詳細はこちら

ADX LipSync について


音声データの入力から自然な口の動きを自動で生成
ADX LipSync は入力された音声データの波形を解析し自動で適切な口の動きを生成します。また、口の形だけでなくマ行・バ行・パ行などの両唇音を発音する際はいったん唇を閉じるなどの口の開閉まで、実際の発音に即した口パターンを再現することができます。生成した口パターンは様々なモデルデータに組み込みやすい形式で出力され、2D・3Dモデルの 両方に活用することができます。
マルチリンガル対応
ADX LipSync は日本語のみならず、あらゆる言語で口パターンを生成することができます。日本語、英語、中国語などの複数言語でワールドワイド展開するタイトルの開発を大幅に効率化します。
サウンドミドルウェア「CRI ADX2」と連携
CRIの統合型サウンドミドルウェア「CRI ADX2」と連携し、口パターンとサウンドを同一のツールで編集することができます。音声波形データを見ながら口の形やタイミングなどを調整することができるため、スピーディな開発に貢献します。
《ふーまん》

関連ニュース

特集

人気ニュースランキングや特集をお届け…メルマガ会員はこちら