【ありブラ vol.13】リズムゲーや音ゲーを作りやすくする新技術(音ズレ解消!遅延推測機能とは?)

連載 その他

【ありブラ vol.13】リズムゲーや音ゲーを作りやすくする新技術(音ズレ解消!遅延推測機能とは?)
  • 【ありブラ vol.13】リズムゲーや音ゲーを作りやすくする新技術(音ズレ解消!遅延推測機能とは?)
  • 【ありブラ vol.13】リズムゲーや音ゲーを作りやすくする新技術(音ズレ解消!遅延推測機能とは?)
  • 【ありブラ vol.13】リズムゲーや音ゲーを作りやすくする新技術(音ズレ解消!遅延推測機能とは?)
GameBusiness.jp、インサイドをご覧のみなさま、こんにちは!

今年もGTMFのシーズンが到来です。おそらく当blogの読者の方には今さらご説明の必要もないかもしれませんが、「Game Tools & Middleware Forum」を略してGTMF、つまり、ゲーム向けのツールやミドルウェアに関するイベントです。出展者や講演者は、CRIのようなT&Mベンダーが中心です。そして来場される方は、ほとんどがゲーム開発者やゲーム産業に関わる方々。近年はコンシューマー機だけでなく、モバイル向け(もしくは両方)ゲームを開発されている方の来場も非常に増えているようです。もちろんCRIも出展しています。

ボク自身は、直接GTMFに関わることは少なくなりましたが(記念すべき第1回目の開催をウェブテクノロジさんと一緒に立ち上げた当時のことを思い出すと、今もこうして続いていることをとても嬉しく思います。規模も大きくなりましたね!)、東京開催については、なるべく参加するようにしています。ちなみに今年の東京開催は、来たる 7月17日(金)です!事前登録はこちらからどうぞ。また、イードさんの記事(開催直前、最新の開発技術が集う「Game Tools & Middleware Forum」見どころ)もどうぞご参考下さい。



さて、このGTMFの開幕にあわせて、CRIからは「とあるニュース」が発表されました。

それが、こちら。

【ニュースリリース】
CRIWARE、Android アプリの音ズレを解決する新機能
音楽と描画タイミングの自動補正を実現
http://www.cri-mw.co.jp/newsrelease/2015/e78k1e0000002uev.html


「愚直な技術屋集団」を自称し、縁の下の力持ちとして、いつも謙虚にミドルウェアの開発とサポートに地道に励んでいるCRIですが、新しい技術や長年の悩みを解決するための手法を披露する際は、ちょっとだけ「ドヤ顔」したくなることもあります(笑。今回も、実はそんなニュースです。

実は、スマホで「音ゲー」を開発する際の諸問題については、1年以上前からボクのブログ(旧blog「ひらけ!ブラックボックス」)でも継続的にご紹介してきました。他のエントリと比べても、スマホ音ゲーやAndroid発音遅延に関する記事はアクセス数も多く、開発者やゲームプレイヤーの皆さんの注目度の高さを肌で感じておりました。

そんなわけで、blogという媒体で「ひっそりと(?)」新技術の芽吹きを育んできたわけですが(笑)、今回、いよいよ正式リリース&お披露目となりました(感涙。

今回は、過去の経緯を振り返りながら、スマホ「音ゲー」や「リズムゲー」で陥ることの多い技術的課題をご紹介しつつ、今回のCRIWARE(ADX2)に搭載された新機能の詳細について迫りたいと思います。過去記事をお読み頂いたことのある方には、ちょっとリフレインになってしまうかもしれませんが…ごゆるりとお付き合い下さい。

それでは「ありがとう、ブラックボックス」略して「ありブラ」、今週もスタートです!ぜひリラックスしてお楽しみ頂ければと思います。

スマホ音ゲーの開発が難しい「原因」を探る



blog上で初めて「スマホ向け音ゲー開発」について取り上げたのは、2014年の2月(1年以上前)でした。

当時のエントリでも触れましたが、音ゲーやリズムゲーにとって大事なのは「音楽とシンクロする楽しさ」がベースにあることです。そのうえで、プレイヤーのアドリブや「GOODを越えたCOOL」を判定するしくみが適度に実装されていることで、より深みのあるゲームになります。

人間の感性をコンピュータが把握/判定するのは実はとても難しいことです。タイミングや演出やスコアや操作感やフィードバックなどさまざまな要素を総動員して「気持ちの良いもの」を目指しているのが、音ゲーと言っても過言ではありません。

音ゲーや「音楽に合わせてアクションするゲーム」を開発しようとした場合、技術的に高確率で直面する3つの課題あります。それは、以下のとおりです。

【スマホで音ゲーを開発する際の3つの課題】
(a) 再生時刻と聴こえる音のズレ
(b) タッチ操作の判定遅延
(c) タッチ音の再生遅延


「気持ちのよい」音ゲーは、当たり前のことですが、「見た目」と「音」がきちんと一致しています。でも、この当たり前のことが、スマホの場合は解決しにくい厄介な課題になるのです。「機種やOSの差異によるトラブル」や「端末細分化の問題」は、音ゲーにも深刻な影響をもたらします。

具体的には、OSの種類」「OSのバージョン」「機種の違い」の組み合わせが、音の再生や再生タイミングにクリティカルに影響してしまうのです。すべての組み合わせを検証できれば良いものの、それはコストや端末確保の面で現実的ではないですし、アプリリリース後にも次々と新機種が発売されるので本当に頭の痛い問題です。

特に、端末細分化の問題が大きい「Android」において問題になることが多いです。

というのも、上記の3つの課題すべてに「端末差」が存在するからです。


▲スマホゲームも、最近は「音」の重要性がますます高まってきています

(a)の「再生時刻と聴こえる音のズレ」とは、ゲームシステムが内部的に把握している再生時刻と実際にゲームユーザの耳に聴こえている音にズレが発生してしまうケースです。

(b)の「タッチ操作の判定遅延」とは、ゲームユーザのタッチ操作をハードウェアが認識し、それをソフトウェア(アプリ)側が判定する際に遅延が発生してしまうケースです。

(c)の「タッチ音の再生遅延」とは、タッチ操作によって発音させる音の再生が想定しているタイミングより遅延してしまうケースです。

「リズムどおりにタップしているのにMISSになる」

「ポーズからゲームを再開するとBGMがズレている」

「音楽にも表示マーカーにも完全に一致しているのにタッチが正しく認識されない」

「タッチしてもすぐに音が鳴らない」

「真剣にプレイしてもデタラメにタッチしまくってもスコアが変わらない」

「音がブチブチと途切れてリズム感が狂ってしまう」


こんな悩みやユーザクレームは、上記の3つの課題のうち、いずれか(ないしは複合的な)に起因するものがほとんどです。

さて、どうやってこれらの課題を解決するか?

安直には、ユーザ操作の判定基準を緩くするアプローチがありますが、さじ加減が難しく、やり過ぎるとヌルゲーになりすぎてしまうリスクもあります。コンフィグやチュートリアルなどでユーザ側に調整させるやり方もありますが、ユーザはゲームを楽しみたいのに余計な負担をかけたくないという一面もあります。

となると、「技術」のチカラでこの問題に真っ向から向き合っていこう!ということになります。

というわけで、こうした問題を解決しようと、当時、CRIの内部には「音ゲー対策委員会」なるプロジェクトが発足しました。

遅延推測というチャレンジ



「音ゲー対策委員会」による日々の研究開発の結果、2014年9月、とある技術のデモンストレーションを動画で公開しました。

それが、こちらです。


▲遅延のない音ゲーをAndroidで実現するための研究

この技術デモでは、Androidの実機を用いて「サウンド再生遅延(レイテンシ)」を“見える化”しています。視覚的に、音のズレを認識することができるようになっています。そのうえで、新たに開発した技術により、端末のサウンド再生遅延を自動的に推測しています。

つまり、この技術=「遅延の自動推測機能」で得られた「遅延の度合い」をアプリ(ゲーム)上で補正値として活用することで、ほぼズレを感じないゲームを実現できる、というワケです。


▲端末ごとに手作業で遅延調整をするのは現実的ではありません!

もう少し詳しく、上記のデモ動画について解説しておきます。

中央にあるのは市販されているAndroidスマートフォンで、ヘッドフォン端子から外部スピーカーに出力しています。その間に、マイクプリアンプ(TASCAM UH-7000)を経由するようにしています。これは、Androidフォンが出力した音声が「実際に鳴る瞬間」を視覚化するためで、アンプ前面のレベルメーターで「実際に音が鳴る瞬間」を目で確認できるようにしています。

デモアプリは、定期的な周期で音を鳴らしながら、音の鳴る瞬間に画面背景の色を「青→橙→青→橙→…」と交互に変えるようにプログラムされています。

画面内のマーカーは、音ゲーのようなインタフェースをイメージしており、右から流れてくるマーカーがいちばん左のマーク部分に来ると音が鳴るようになっています。

つまり、「画面背景の色の切り替わりタイミング」=「マーカーが左端に到達したタイミング」=『音が鳴る瞬間』ということになります。

実機での発音を実際に確認してみると、音の鳴る瞬間と、背景色の変わるタイミングは、明らかにズレていることがお解り頂けると思います。

これが、Androidの音声レイテンシです。

ちょっと解りにくいという方は、Androidフォンの画面背景色の変わるタイミングと、アンプ本体のレベルメーターが上がるタイミングを、ぜひ比較してみてください。音ではなく、視覚的に「ズレ」を認識して頂けると思います。

次に、この端末の再生レイテンシを自動推測します。その結果、約290msecという数値が得られました(かなりの遅延が発生していることが分かります)。

そこで、この290msecという数値をもとに補正を行い、再度、デモプログラムを実行します。

補正後の発音タイミングは、画面背景色の切り替わりタイミングと「白いマーカー」によって表現されています(比較のために黄色いマーカーは補正前のタイミングを表しています)。もちろん、アンプ側のレベルメーターは実際のオーディオ入力信号を拾って表示しているので、補正前と変わりません。

かなりズレが解消されていることがお解り頂けるかと思います。


▲音声再生遅延補正の仕組み

この技術の最大のポイントは、290msecというレイテンシの値を「自動検出」して補正している点です。

これにより、開発者の方は、いちいち端末ごとに補正値を設定するといった面倒をしなくても、動的にレイテンシの問題を解決できるようになります。

※(注)デモ動画は2014年9月当時のものです。

このデモ動画をきっかけに、本件課題で悩まれているゲームデベロッパー複数社から、お問い合わせを頂きました。お問い合わせを頂いた会社様には、評価版として個別にこの技術をご提供させて頂き、検証して頂きました。

続いて、今年の2月には、ベータ機能としてCRIWAREのSDKに組み込まれ、実際に多くの開発者の方にお試し頂けるような環境が整いました。

そしてついに、7月7日の七夕の日、「Android 音声再生遅延推測機能」として正式発表し、このブログがUPされる頃には、すでに標準のCRIWAREのSDKで使えるようになっているはずです!チェキラ!!

低レイテンシ再生機能もあるよ!



今回、新機能として「遅延推測機能」ばかりにクローズアップしていますが、併せてご注目&ご活用頂きたい機能に「低レイテンシ再生」があります。

こちらは、今回の遅延推測よりもはるかに以前から提供を開始していた機能です。

タッチ音や操作音など、ユーザの何らかの操作によって発生する「発音」タイミングの遅延を短縮するための機能です。

まとめると、

■音と描画のズレを解決したい! → 「遅延推測」
■タップ音の遅延を解決したい! → 「低レイテンシ再生」


ということになります。

重ねてのご案内になりますが、GTMF東京( 7月17日開催)にて、本機能についての出展と講演を行う予定です。ご興味のある方はぜひご参加ください!

…さて、今週の「ありブラ」はここまで。
それでは、また次回の更新でお会いしましょう!

【ありブラ公式facebook】
最新記事の更新情報や、記事には書けなかったウラ話、はみだしコラムなど、『ありブラ』に関する情報を随時更新中。ページに「いいね!」をして頂くだけで、つねに最新の情報をアナタのfacebookのタイムラインにお届けします!
http://crimw.me/fb-aribla

【ありブラ公式twitter】
@hirabla
http://crimw.me/tw-aribla

読者の方からのご意見ご感想やご質問なども大歓迎です。以下のコンタクトフォームからどうぞ。なるべく多くの方のご意見に誠意をもってお返事したいと思っております。

https://www.iid.co.jp/contact/media_contact.html

幅朝徳(はば とものり)

株式会社CRI・ミドルウェア 商品戦略室 室長、CRIWAREエヴァンジェリスト。学習院大学卒業後、CRIの前身である株式会社CSK総合研究所に入社。ゲームプランニングやマーケティング業務を経て、現CRIのミドルウェア事業立ち上げに創業期から参画。セガサターンやドリームキャストをきっかけに産声を上げたミドルウェア技術を、任天堂・ソニー・マイクロソフトが展開するすべての家庭用ゲーム機に展開。その後、モバイル事業の責任者として初代iPhone発売当時からミドルウェアのスマートフォン対応を積極推進。ゲーム企業とのコラボでミドルウェアの特性を活かしたアプリのプロデュース等も行う。近年は、ゲームで培った技術やノウハウの異業種展開として、メガファーマと呼ばれる大手製薬会社のMR(医療情報担当者)向けのiPadを使ったSFAシステムを開発、製薬業界シェアNo.1を獲得しゲーミフィケーションやゲームニクスの事業化を手掛ける。ますます本格化するスマホゲームのリッチ化を支援するためにモバイルゲーム開発者におけるミドルウェア技術の認知向上のためエヴァンジェリストとしての活動に注力中。最近は、ウェアラブルやIoTといった領域での新規の事業開拓や未来のサービス開発を担当、業界の枠組みを超えた協業、世の中にとって全く新しい付加価値の実現のために日々奮闘中。

趣味は、クロースアップマジックと陶芸、映画鑑賞とドライブ、鳥類/フクロモモンガ/爬虫類の飼育、そしてもちろん、ゲーム。デジタルガジェット大好きなギーク。

幅朝徳Facebook
http://www.facebook.com/tomonori.haba

幅朝徳Twitter
http://twitter.com/havahava

CRI・ミドルウェア ウェブサイト
http://www.cri-mw.co.jp
《幅朝徳》

関連ニュース

特集

人気ニュースランキングや特集をお届け…メルマガ会員はこちら