【CEDEC 2019】AIの発展こそがゲームに新しい価値をもたらす！　DeNAが『逆転オセロニア』におけるAI導入の経緯をふり返る

コンピュータエンターテインメント協会（CESA）は、9月4日～6日の期間、パシフィコ横浜（神奈川県横浜市）にて、国内最大のゲーム開発者向けカンファレンス「コンピュータ・エンターテインメント・デベロッパーズ・カンファレンス 2019」（CEDEC 2019）を開催した。

本稿では、9月4日に実施された講演「組織的に Game x AI を推進していくための方法論 ～『逆転オセロニア』 の AI の一歩先へ～」についてのレポートをお届けしていく。

本セッションにはDeNA AI本部 AIシステム部 データサイエンス第一グループデータサイエンティストの田中一樹氏、同じくAI本部 AIシステム部 MLエンジニアリンググループMLエンジニアの岡田健氏が登壇。『逆転オセロニア』のAI活用についての振り返りや、シミュレータについて具体的な設計を交えての解説が行われた。

【登壇者】

●田中一樹氏
2017年にDeNA入社後、データサイエンティストとしてアプリゲーム『逆転オセロニア』に関するAI機能の開発に従事し、機械学習、強化学習、データサイエンス技術の研究開発/設計から実応用に携わる。『速習 強化学習 -基礎理論とアルゴリズム-』（共著）を執筆。


●岡田健氏
DeNA所属のエンジニア。『逆転オセロニア』へのAI導入では学習高速化、学習管理の仕組み作り、実サービスのためのアーキテクチャ設計と実装などを担当。
 

■『逆転オセロニア』に関するAI開発のプロセスをふり返る

まずは田中氏が登壇し、『逆転オセロニア』に関するAI開発のプロセスについて、リリースまでの軌跡を振り返っていく。DeNAは2016年より、ゲームアプリ運用の課題解決にAIが活用できないかを考え、AIができることの可能性についての模索を開始。

そこで得られた知見や経験から、2017年から強化学習を使ったバランス調整をするために強いAIを作り、複数のAI機能をリリースしていく。その後は応用のケースを拡大、組織的にスケールする取り組みを行ったそうだ。



取り組みを行っているうちに、パラメーター設計や入力、テストプレイをループしていることが原因で、ゲームアプリにおけるステージ設計の難易度調整の工数が大きくなっていることが明らかに。ユースケースとして、AIにテストプレイをさせ、ステージの難易度調整を効率的に行うことを目指したという。



結果、AI導入までには至らなかったものの、「強いAIは作れる」という自信に繋がったという田中氏。ゲーム中へアプローチをしてシミュレーター開発まで踏み込むことがAI開発を加速させることも分かり、AIをゲームへ本格的に取り組む良いきっかけとなったと話した。



その後、人間のように戦うAIと対戦ができる「オセロニア道場」、オススメのデッキを提案してくれる「オススメ編成」という2つのAI機能を開発するに至った。


▲PvE（Player vs Enemy）から、いきなりPvP（Player vs Player）の環境に放り込まれるというのが通常のフローだった本作。「オセロニア道場」の登場により強いAIと自由に対戦できるようになり、プレーヤーの戦術サポートの役割を担った。


▲「オススメ編成」が生まれたキッカケは、初心者が多くの駒の中からデッキを組むのが困難だったことから。AIが所持駒をベースにデッキ構築・提案をしてくれるため、プレイヤーの悩みを解決してくれた。

2つのAI機能の開発中、プロダクトの落とし込みや、AIを使ってどれだけの価値をプレイヤーに還元できるかを考えることに苦労したという岡田氏。その甲斐あってか、リリース後の結果はポジティブなものになり、「AIはゲームに新たな価値をもたらす」ことを確信したと続けた。



AIをさらにスケールさせるために岡田氏は、新しいユースケースを探索する「ボトムアップ」と、価値が大きそうなユースケースを計画的に取り組む「トップダウン」による取り組みが重要になると話す。




また、成功・失敗によらず次に繋げられる、案件を安全に進めるための推進フローを社内で作成。これにより、取り組む価値が不明瞭、AIではできないような無理難題な案件を回避することができるようになったという。「地道な地盤づくりをすることで、AI開発を持続可能な状態にできた」とふり返った。



 

■リプレイ可能であることの重要性

続いて、トップダウンに関して技術的に中心な役割をするシミュレーターについて、岡田氏が紹介。AIの取り組みで必要なのは課題とユースケースの設定であり、シミュレーターはそのための手段・技術だという。ゲーム本体とAIの境界、やりたいことに対する要件定義が大切だとし、シミュレーターは“ゲームとAIの境界”だと定義した。




また、強いAIと自由に対戦できる環境である「オセロニア道場」の課題として、AI用にあるべき棋譜ログを設計しておきたかったこと、AIを踏まえたバトルロジックの設計をしておきたかったことを挙げる。AIを踏まえたバトルロジックの設計をしておきたかったとも話し、リプレイ可能であることの重要性を強調した。




▲ここではバトルロジックを“入力を出力に変換する機械”と定義している。

続いて、岡田氏はAI学習、勝率評価、打ち手評価といった作業工程を紹介した。



・AI学習

▲AI学習は「特徴量抽出リプレイヤー」（「バトルロジック」をwrapしたもの）を使って行われる。これにより、複数のマシンで学習データを生成することができる。

・勝率評価

▲勝率やダメージなどの統計値を見て、モデルがどれくらい良さそうかを評価していく。

・打ち手評価

▲NPC vs AIで、AIが取った行動を見てAIの質や弱点を評価する。

・試し打ち評価＆AIコンテンツ

▲人間がAIが打った手を実際に目で確認して、評価をすること。勝率が上がらない原因を分析する。

AI開発はまだまだ発展途上な部分が多く、ぜひとも多くの人たちの力を借りたいという岡田氏。最後に「一緒にゲームとAIを盛り上げていきましょう」と岡田氏が会場に呼びかけ、講習は終了となった。

 


■『逆転オセロニア』
 

公式サイト

App Store

Google Play

© 2016 DeNA Co.,Ltd.
オセロは登録商標です TM & Ⓒ Othello,Co. and Megahouse