AIだって成長に時間がかかる―『グランツーリスモ』のAI「GT Sophy」深層強化学習【CEDEC 2022】

今年もコロナウイルス変異株の影響でオンライン開催のみとなったゲーム中心の開発者向けカンファレンスCEDEC2022。「Gran Turismo Sophy: 深層強化学習によるトッププレイヤーレベルのAI」セッションレポをお届けします。今回のセッションは、ポリフォニーデジタルのCTO高野修一氏と、ソニーAIのシニアAIエンジニアの河本献太氏の2名が登壇しました。

「CEDEC 2022」他の講演レポートを読む

レーシングAI「Gran Turismo Sophy」とは?

今回のセッションで語られる「Gran Turismo Sophy」（以下、GT Sophy）は、深層強化学習を使用したレーシングAIエージェントで、『GT』のトップドライバーと競い合うことで新たなゲーム体験を作り出すために開発されたもの。Sony AIとポリフォニーデジタル、そしてSIEの3社共同のプロジェクトです。

2021年には、7月と10月の二回に分けてGTトップ後ライバーとGT Sophyの対戦イベント「Race Together 2021」が実施されてきました。このイベントは『グランツーリスモSport』を用いた人間4名vsAI4名のチーム戦で、3つのレースの合計ポイントを競い合うもの。このイベントに出場した人間ドライバーは「グランツーリスモワールドシリーズ」でも活躍するほどの腕前の選手です。

7月のレースDay1では、GT Sophyが2つのレースで1位を獲得するものの、総合得点で人間側が86点を、GT Sophyが70点を獲得したために、人間チームに差を付けられてしまい敗北してしまっています。

しかし、それから3ヶ月後、10月のレースDay2ではレースに勝利するだけでなく、総合得点でも人間チームを圧倒するほどに成長しました。

GT Sophyと対戦したドライバーのコメントを読むと、「AIと対戦していることを忘れて楽しめた」というものや、「エキサイティングで、たくさんのインスピレーションを受けた」というポジティブな意見でした。これは、利己的な走りをするものでなく、トップドライバーさながらの他者へ影響を与えるところまでの腕前から、AIの可能性を示すものであると分析しています。

この成果と実現に至る技術が高く評価されたことで科学雑誌natureの表紙にもなった

現在GT Sophyの開発環境はシリーズ最新作である『グランツーリスモ7』へと移っており、グラフィックスだけでなくエンジン特性や空気抵抗も含めリアリティも向上しています。また、e-Sports関連のユーザー数は40万人を超えており、GT公式チャンピオンシップ「Gran Turismo World Series 2022」のワールドシリーズshowdownでは、GT Sophiyとのエキシビジョンレースが行われています。

このレースではダートとサーキットで対戦しており、特にダートではSophiyの制御のうまさが極まり、トップドライバーを陵駕するほどだったそう。前年のレースではトップドライバーに勝利することが目的でしたが、現在は対戦して楽しいドライバーへ調整することを目指しています。

従来のAIは設計者の想定していない動きが出来ないため一定以上の強さを超えられず、物理や数値を改ざんするブーストを行う必要があるという欠点があります。一方で、GT Sophyは深層強化学習によって、際限なく成長していくことが特徴です。またPS Nowの環境を利用した超並列のトレーニングによって人の想像を超えたところにまで成長する可能性があるという。

『グランツーリスモ』に高度なAIが搭載される理由として、高難度になるとブーストを利用した挙動はプレイヤーにとって参考にならないことや、プレイヤーが真似しようにも無理なこと、そしてコアなゲーマーほどプレイヤーのやる気を削ぐことに繋がってしまうなど様々な問題があります。

それを克服するためには、全プレイヤーに対応するためにトップの人間を超える必要があります。これが出来れば、ゲームのAIが挙動に嘘をつかずに真っ当な勝負が展開できることはもちろんのこと、常にプレイヤーの先を走るトレーニングモードや、より賢い操作アシスト、十分な対戦相手など応用の幅は広くなります。進歩したAIがあればゲームプレイ体験の向上だけでなく、AIが人間の先を行き、AIが人に寄り添う未来を創るという想いがあります。

GT Sophyの開発環境は、AIの開発にプレイステーションの開発環境が必要となってしまうことを避けつつ（メモリやパフォーマンスに関しても望ましくない）、制御と学習を行うために車の周辺環境や状態の取得、そして車の操作が出来るインターフェイスがあれば十分なようになっています。また、車を動かす環境が独立しているほうが小回りも利くため、『グランツーリスモ』内のWebサーバー機能を使いREST APIで構成しています。

ゲーム内AIとしてGT Sophyを動かす必要があるための作業は現在進行中。また、ソニー製のNNablaをPlayStationに実装して利用しています。しかしながら、GT Sophyはパフォーマンスやメモリ要求がそれなりに高く、パフォーマンスの捻出が厳しいことからPS5のみの対応になるかもしれないとのこと。また、『グランツーリスモ7』の今後のアップデートにてGT Sophyが導入予定で、GT Sophyの凄さを素直に体験出来るような機能やコンテンツを追加予定であると告知しました。