KLabと九州大学 情報基盤研究開発センター 附属汎オミクス計測・計算科学センターは、共同研究中の「機械学習（AI）を用いたリズムアクションゲームの譜面制作支援システム」をより高度化する新技術に関する共著論文「GenéLive! Generating Rhythm Actions in Love Live!」が人工知能分野の権威ある国際学会「AAAI-23」に採択され、2023年2月にワシントンDCで開催される学会で発表されると発表しました。
KLabと九州大学は、ゲーム産業におけるAI活用の可能性を開拓するため2021年3月から共同研究を進めてきました。KLabが独自に研究開発を進めてきた譜面制作支援システムについて、譜面生成に用いる機械学習アルゴリズムを高度化することで、より楽曲にマッチした魅力的な譜面を生成することを目的としたものです。
リズムアクションゲームにおいて、ユーザーに新しいゲーム体験を提供するには魅力的な譜面をいかに短い周期で届けるかが重要となります。この論文で提案した深層生成モデル「GenéLive!」は、音の立ち上がり、拍や小節といったさまざまな時間スケールの音声パターンを抽出できます。
これにより、似たフレーズの繰り返しには似た譜面パターンを繰り返したり、Bメロからサビに切り替わるところで譜面パターンを変えたりといった、楽曲の特徴をとらえた譜面を生成できるようになりました。
「GenéLive!」を導入した譜面制作支援ツールによってKLabでは譜面制作に要する時間が半分になり、1か月の配信楽曲数を倍増させました。オープンデータでの評価実験コードと訓練済みモデルは世界に向けて公開されています。
研究者コメント
九州大学のコメント
スパコンが社会に貢献した好例と言えると思います。今回の共同研究は単なる民間企業支援ではありません。AAAIでの発表や論文化によって、世界全体に対して、今回の音楽AIのアプローチが現実の経済活動を促進することを示すことができました。
音楽AIはまだまだ発展途上であり、この技術を元にして、ゲーム音楽業界全体の経済活動を促進できたら幸いです。特に今回は九州大学情報基盤研究開発センターのスパコンシステムであるITOの64基のGPUを活用することで、民間単独では難しい精緻な研究や評価を行えました。
本学の教育機会としても意義があります。特に、学生に実社会でのAI活用の経験を積ませることができました。海外の企業から声がかかる優秀な学生も現れ、大いに貢献してくれたと思います。また、海外からの人材が大学、企業の双方にいたチームであったことも、国際的な視点を意識して研究開発を進められたことに貢献したと言えます。
KLabのコメント
今回の共同研究で開発した技術は、アップテンポなロックからゆったりとしたバラードまでさまざまなジャンルやテンポの楽曲に対して、曲調にあわせた譜面を生成できるようにしたものです。実際のライブイベントでファンの皆様が行うような「合いの手」を再現した譜面が生成されたことに驚き、AIがまるでファンの一人になったかのように感じました。
AAAIへの採択によって、この技術が人工知能の学術研究にも貢献できたことが大変嬉しいです。九州大学の皆様や、KLab社内メンバーによる積極的なアイディアや議論のおかげです。ありがとうございます。KLabと九州大学は、今後も本共同研究により、生成モデルに関する最新の学術的知見を導入した制作支援システムの構築を目指します。
