【CEDEC 2018】「enza」でサービス中の『ドラゴンボールZ ブッチギリマッチ』で機械学習を用いてTCGにおけるメタゲームの現在、過去、未来を分析する

コンピュータエンターテインメント協会（CESA）は、8月22日～24日の期間、パシフィコ横浜（神奈川県横浜市）にて、国内最大のゲーム開発者向けカンファレンス「コンピュータ・エンターテインメント・デベロッパーズ・カンファレンス 2018」（CEDEC 2018）を開催した。

本稿では、8月23日に行われたセッション「TCGのバランシングを解剖する―機械学習を用いた開発運用の効率化について―」のレポートをお届けしていく。本セッションには、バンダイナムコエンターテインメント NE事業部 プロデューサーの高橋麗菜氏、ドリコム enza事業本部企画部 ディレクターの佐藤勝彦氏、ドリコム データ分析部 データ分析の永多慧氏らが登壇。『ドラゴンボールZブッチギリマッチ』で用いられているバランシングの効率化・適正化を機械学習でサポートする取り組みについて説明が行われた。
 

■アプリではなくスマートフォン向けブラウザゲーム

まずは、高橋氏より『ドラゴンボールZブッチギリマッチ』についての解説が行われた。本作はリアルタイム対戦型カードゲーム。最も特徴的と言える点は、アプリではなく新しいプラットフォーム「enza」でサービスを提供するスマートフォン向けのブラウザゲームとなっている点だ。


▲バンダイナムコエンターテインメント NE事業部 プロデューサーの高橋麗菜氏。


▲アプリではないためゲーム自体のインストールは不要。他にも、ブラウザ1つで遊びやすい点や、SNSでシェアしやすいといったアプリにはない長所がある。


 

■3つの観点からAIを使った開発を展開

続いて、佐藤氏から『ドラゴンボールZブッチギリマッチ』におけるAIを用いた開発について説明が行われた。今回のポイントとなるのは「定量評価」「多段学習」「異常検知」の3つとなる。


▲ドリコムでenza事業本部企画部 ディレクターを務める佐藤勝彦氏。



開発に効率化が求められれている理由は、本作がカードバトルというゲームだからだ。TCGのように定期的に新カードを追加するタイトルでは、新たな要素が追加されるたびにデッキ、戦術による組み合わせ爆発の嵐が起こるという。さらに、運営が長期化すればするほどこれは肥大化していき、長期運用をする場合はこのバランシングコストの抑制が最優先となってくるとのことだ。そこでどうやって効率化を行うかについて、5つのアジェンダに分けて解説される。



▲バランシングの効率化は品質向上にも繋がる。

佐藤氏は、バランシングの優先事項はタイトルによって異なるため、まずはそのタイトルでどこのバランスを最優先に取るか決定しておく必要があると述べた。ゴールさえ見えれば自然とメソッドは最適化されていくため、解決へ向かう前にまずはその理想形をチームで共有しておくことが大切になってくるとのことだ。

『ドラゴンボールZブッチギリマッチ』では「対人戦がエンドコンテンツとして成立される」「ユーザーが多様な戦術を楽しむ機会を得る」の2つをゴールとして動いている。カードゲームでは、ユーザーがより多くのカード(デッキパターン）を体験することが、遊びの拡張と成長体験に繋がってくるそうだ。そこでカードプールの拡大需要が高まってくる。ところが、1つの戦術とデッキが環境を支配するのは理想とは逆の方向に進んでしまうことになる。



目指す環境としては、ゲーム内でトップランカーになるためにはデッキ（メタ）の読み合いが必要になる……という状態を作るのが望ましいと佐藤氏は語る。メタ誕生は情報交換によってユーザーコミュニティの活性化の役割もあり、1つのメタ内のデッキさえあれば誰でも勝利体験を得られるようになる。また、自分の知らないデッキと戦う際の驚き、流行を推察する楽しみなども生まれてくるとのことだ。

メタを構成するうえで適正化するべきなのは、トップ層がどのようなデッキでメタを動かしているかという部分になる。そこで、トップ層のデッキ使用率と勝率に着眼していく。


▲BはAに強く、CはBに強く、AはCに強いという状態。これがメタ推移のイメージであり、常にトップ層に滞在するにはこれら全てのデッキを保持する必要がある。つまり、カードプールの拡大需要が高まってくるということになる。

メタの構成を行うために、効果カード・デッキのコンセプトデザイン、デッキ間相性の定量化、まだ見ぬ組み合わせやデッキの洗い出しを行う。これらはテスターよるテスト結果を受けて判断し、新カードが登場してからは同じことを繰り返すPDCAサイクルを回していく。このサイクルの試行回数が増えれば増えるほどバランシングの精度は向上するため、より効率化をする必要が生まれてくる。



TDCAサイクルを回すうえでネックとなるのが、テストを行う部分になる。これの定量化を行うため、プランニングポーカーという手法が用いられている。テスターがそれぞれカードの評価を行い、その評価が不一致だったものがあった場合それを話し合い、評価が一致するまで繰り返し行うというものだ。これは定量化という観点以外にも、人的依存の最小化と人員育成の高速化という役割も兼ねている。佐藤氏は、バランシング品質の安定化と向上と行うことで、機械的な手法のサポートを組み合わせやすくなると語った。



▲デッキ間相性の定量化については、総当たりによるテストで算出が行われる。それぞれのデッキが別のデッキに対する相性から強い弱いを評価する。

しかし、テスターによる検証には時間の限界が存在する。そこで、今回のテーマともなるAIにおける機械的な総当たりを行うことで項数が削減できるようになる。より勝率の高い方を求めることに特化させて学習させるというのは、実はそこまで困難なことではないそうだ。



AIにおける検証では、課題設定をどこに置くかがキーとなる。最初に立てた抽象的な課題から、徐々に分析可能な具体的課題に落とし込んでいくというのが課題設定の流れだ。最初から具体的なものだと分析視野が狭くなりがちであり、課題はシンプルなものが好ましいという点からこうした手法が取られているという。そして、分析の際の視点のとなるのは、現在、過去、未来の3つだ。



現在にあたるのは「ユーザーにとって面白いゲームになっているか」という点。ここを掘り下げていくと、TCGの面白さである相手との読み合いという観点に辿り着く。デッキに多様性を維持して読み合いを奥深くするためにも、使用デッキクラスタの推移が追い続けられている。


▲クラスタリングについては、主にドリコム データ分析部の永多慧氏より話が展開された。



▲それぞれの日ごとに分けられたクラスタの代表点を、過去のクラスタの代表点と繋げることで、過去からの使用率の時系列データの推移を確認している。使用されているアルゴリズムはハズレ値に強い「k-medoids」。デッキ間の距離を求めるためには「Jaccard係数」が用いられている。


▲クラスタリング時には「想定しているデッキ」「想定していないデッキ」の2種類に大きく分類される。グラフでは一部で想定外のデッキが極端に増加している点があり、ユーザーがこちらの想定してないデッキに反応を示していることが確認できる。

この使用率のデータを時系列データとみなし、その異常検知によってトレンドに変化が起きているかをチェックしているとのこと。AIにはこの時系列データを学習させ、推測した値と実際の数値で誤差が大きい部分（異常値）を検出できるように設定されている。

過去と現在を使用デッキクラスタの推移によって観測できるようになれば、それを未来の予測にも活用できるとのこと。予測の際に確認する点は、新しいカードの登場が現在の環境をこなしてないかという部分だ。そこでプレイヤーと同じような思考をもったAIを活用し、戦略的なプレイヤーの自動生成を行っている。


▲戦略的なプレイヤーを再現するために、モンテカルロ木を利用した手札・盤面ごとの最適な手を判断させている。これを学習させることで、AIが最適な手を推測できる仕組みが作られていく。

しかし、AI同士の試合であってもユーザー同士の試合と同じように、1試合ごとに約8分の時間を要する。そこでは、最初にユーザー同士の対戦ログを利用してAIを効率的に学習させ、それを新しい環境で対戦させることで未来の予測を図っている。


▲検証が行われたデータで示されている赤い部分は勝率の差が大きかった部分。これが発生する原因として、AIの学習が不十分だったか、ユーザーが知らない手をAIが使ったという可能性が考えられる。



最後のまとめでは、これまで語られた内容に加え、今後のAIの活用方法が説明された。AIとユーザーを対戦させることで、AIがどれほど強いのかを測定するという検証案も用意されているとのこと。AI同士とユーザー同士の試合を比較して、どういった差が生まれているのかを確認するという検証も予定されていると語り、本セッションは終了した。

 

   

公式サイト

ゲーム配信サイト

(c)バードスタジオ／集英社・フジテレビ・東映アニメーション
(c)BANDAI NAMCO Entertainment Inc.