『ファイナルファンタジーXV』はこれまでのゲームAI技術の結晶…スクエニ三宅氏が語るゲームAIのこれからの可能性

年々技術が進歩し、様々な産業にて活用されているAI、機械学習は、注目されながらも、まだまだ実用化について目にする機会は少ない。

これまでも最先端の技術を取り入れてきたゲーム業界において、各社が研究を進めているが、その実状がまだ世に出ていないのが現状だ。

そこで今回、gamebizでは、ゲーム業界におけるAI活用の可能性についてクローズアップ。

各社が考える、ゲームにおけるAIの活用やその可能性、そしてその為にどのような取り組みをしているのかを直撃取材する。

今回はスクウェア・エニックスの三宅陽一郎氏に、同社のAIの取り組みや、ゲーム産業におけるAI活用動向、今後のAIの可能性について伺った。

～profile～

三宅 陽一郎
スクウェア・エニックス
テクノロジー推進部
リードAIリサーチャー

2001年から大学で人工知能の研究を始め、その後ゲーム会社に入社する。2011年4月にスクウェア・エニックスに入社。AIユニットのチームリーダーを務めながら、AI関連の技術全般に取り組んでいる。

また、2020年に設立された会社“スクウェア・エニックス・AI&アーツ・アルケミー”のCTOも兼任。

■スクウェア・エニックスのAIの取り組みとその歴史

スクウェア・エニックスのAIユニット発足時から在籍している三宅氏は、まず同社のAIの取り組みの歴史について語ってくれた。

同社では、会話するAIやキャラクターと対話するゲームなど、90年代から人工知能の技術に取り組んでいたとのこと。

当時、三宅氏はまだ在籍していなかったが、「最近、会社の資料を整理していたとき、過去のAI関連資料を発見した」という。そこには、当時としてはかなり進んだAIの設計書なども出てきたそうで、「そういう意味で、当時からスクウェア・エニックスのAIへの取り組みは高い水準にあった」（三宅）

▲CEDEC2021においても情報資産の重要性を講演していた三宅氏。（関連記事）

ただ、当時の開発技術は開発チームごとに分かれていたそうで、断続的にAIの技術をマージさせていった。 

全社的にAI技術を研究・開発する動きを見せたのは2011年頃から。その時発足したテクノロジー推進部は、「特定のタイトルではなく、全部署に対してAI技術を提供する。あらゆるタイトルに使ってもらえるAIの共通基盤作りを理想・目的として始動した」と三宅氏。その志は、今も変わっていない。

ゲームの基礎部分でAIを活用しているという三宅氏。ただ問題がある。「そもそもゲームAIにしっかりとした基礎理論、汎用理論がありません。CGやコンピュータサイエンスなら一般理論があるが、デジタルゲームのAIにはそれがない」とし、三宅氏は2001～2010年にかけて探求してきた。

その設計をまとめたものが、2020年度人工知能学会論文賞を受賞した三宅氏の論文（下記URL参照）だ。


大規模 デジタルゲームにおける人工知能の一般的体系と実装
－FINAL FANTASY XVの実例を基に－
https://www.jstage.jst.go.jp/article/tjsai/35/2/35_B-J64/_article/-char/ja

三宅氏は入社時、「メタAI、キャラクターAI、ナビゲーションAIという3つのAIを連携させるシステムは、どのゲームにもほぼ共通する基礎にはなっている」と考え、理論を作りながら、その理論に基づいたAIの共通基盤を作ってきたという。

「一番の要になるのはキャラクターの頭脳」と三宅氏。

昔の2Dのゲームは上からの俯瞰視点だった。ファミコンなどのゲームは、プレイヤーが左から来たら敵は右から襲う、この場所に来たらここに集まる、といった方法で作られていた。

三宅氏は「操り人形のように、当時はキャラクターそのものにそこまでの知能はなく、あったとしてもすごく単純なものだった」と振り返る。

しかし、3Dのゲームになった時期にそれができなくなったという。２Dゲームのように俯瞰視点というものがなく、キャラクター自身が周囲の複雑な状況を解決しなければならない。このようにキャラクターAIが、95年頃からゲーム業界で問題になったそうだ。

そこで、日本では敵キャラクターを何もない狭い部屋に閉じ込めておき、プレイヤーが入ってきたら反応してまっすぐに襲ってくるという、AIが制御できないためお化け屋敷のような形式がとられたという。

「プレイステーションなどの黎明期において、アクションゲームのステージが少し簡単だったのはそれが原因のひとつ」と三宅氏は考える。その後、試行錯誤する中でロボットのAIを活用するという業界の流れとなった。

ロボティクスの移動アルゴリズムや意思決定といった技術が、95年～2005年にかけてゲーム産業に取り入れられ、マサチューセッツ工科大学、スタンフォード大学を中心にロボットやAIを研究する人材がゲーム産業に入ってきたという。

その流れもあり、3Dゲーム黎明期は色々な技術が積み上がっていき、「いよいよコンピュータサイエンスの流れとゲーム開発の流れが融合し始めた」（三宅）

そこで入ってきたのが、ロボットで用いられていたリアルタイムの意志決定技術。「実はゲームとロボットは共通していた」という三宅氏。

ロボットを動かす技術をバーチャルの世界で動かすという流れになった。キャラクターAIの技術として、世界の情報を自分で認識・意思決定して体を動かす。このロボット技術のアルゴリズムがキャラクターAIとして入ってきた。

また移動について、障害物を避ける、ジャンプするなど、体を制御して物理空間で動かすナビゲーションAIも、キャラクターAIと同時に入ってきたという。

2005年頃まではロボティクスから技術を輸入していたが、「デジタルゲームはハードウェアがいらないので、簡単にどんどん試すことができます。その結果、輸入した技術をゲーム業界がどんどん発展させていった」と三宅氏。

「ロボットは身体制御が難しく、物をつかむ、運ぶなどの簡単な作業しかできないことが多いが、ゲームの中のキャラクターは戦ったり、複雑なミッションをこなす。バーチャルの空間は制限がないので、やることがどんどん高度になり、ロボット業界より意思決定技術で上回ってしまった」と続けた。 

■3つのAIによる三者連携システムを基盤に

そうして発展させていったキャラクターAI、ナビゲーションAIだが、ここで問題が起きた。

それは「1体1体のキャラクターがそれなりに賢くなったが、それぞれバラバラに行動するためゲームにまとまりがなくおもしろくない」（三宅）というもので、そこがアカデミズムとエンターテインメントの違いだという。

三宅氏は「デジタルゲームの舞台は、リアルな世界という考え方と、ハリウッドの撮影のようなものという考え方の2つがある」とのこと。

リアルな空間でようやく人工知能が動かせるようになると、リアリティはあるがゲームとしてはうまくいかない。

ゲームをおもしろくするためには、「背後からプレイヤーを攻撃できたとしてもわざと外したり、迷っていたら追い込むふりをして出口に誘導したりと、色々なことをゲームのキャラクターに演じてもらう必要がある」とした。

そこで、まず役者になるような機能をゲームに組み込んだ。RPGなら主人公にヒントを与えたり、アクションゲームなら仲間が倒れたら傍らで悲しむといった演技をさせる。単に賢いAIだけでなく、演技するAIと賢いAIの両方を入れる試みが分岐点となり、ゲームは独自の人工知能を発展させていったという。

しかし、「まだ足りなかった」と三宅氏は言う。何が足りないかというと、全体のドラマのメイキング。そこで登場したのがメタAIだった。

メタAIは古くは80年代からある概念。当時、ナムコのゲームは難易度をプレイヤースキルに合わせて変化できる自動レベル調整を取り入れていたそうだ。これは当時アーケードゲームを遊んでいる人と、ファミコンでゲームに初めて触れる人のギャップを埋めるためのシステムだった。

「メタAIは、そうしたゲームの自動調整機能だったが、2000年代に別の形でゲーム全体のドラマを作っていくAIとして復活した」（三宅）という。

昔はメタAIしかなかったそうだ。キャラクターAI、ナビゲーションAIの発展で一度は忘れられたが、キャラクターに演技指導する役割で再度脚光を浴びる事に。

三宅氏いわく、「完全な演技ではないが、立ち位置や行動を決めたり、やりすぎたら止めるといった、映画監督のようにある程度自由に演技させつつコントロールして、ゲーム全体の流れを作る役目をメタAIが担うようになった」という。

そうして発展していったAI。「昔のゲームは渾然一体となったオールインワンシステムだったが、ゲームが大規模になっていくとそれぞれのAIが独立していった」と三宅氏。

地形の認識を司るナビゲーションAI、役者と映画監督のようなキャラクターAIとメタAIという形でそれぞれが完全に分離。そこで三宅氏は三者連携システムを基盤にしようと考え、各専門チームごとにそれぞれの技術を積み重ね、かつ連携させているとした。

論文でも書かれている『ファイナルファンタジーXV』は、その仕組みを開発初期から取り入れているタイトル。

「後から組み込んだタイトルもありますが、『FFXV』はAIの開発を始めるタイミングから取り入れることを説明して、メンバーを各AIのチームに割り振って進めていったタイトルなので、タイトルを通じて技術を実証したという形になります」（三宅）

▲2016年11月29日に発売されたプレイステーション4/Xbox One用ソフト『ファイナルファンタジーXV』。

■大きな広がりを見せるメタAI

ロボット産業から持ち込まれたキャラクターAIとナビゲーションAIは、ゲーム産業の中で発展し、その技術がまたロボット産業に戻っているそうだ。

さらにメタAIも大きな広がりを見せている、と三宅氏は言う。

「例えば自動車産業、建築、都市を司るスマートシティにおけるAI。今はロボットやドローンなど個が目立っていますが、個々に開発された自律型AIはまとまりがない。そこで、全体を見渡せるAIが必要ということでメタAIを取り入れたいというオファーが、ゲーム産業以外からあります」（三宅）

メタAIでポイントになるのは、人間をどれだけ理解できるか。つまり、ゲームの中でプレイヤーが動かしているキャラクターの動きを通して、「いまユーザーが飽きてる、ボタンを連打しているからパニック状態にある、全く敵と遭遇してないからゲームを止めそうだ」という事を、完全には分からないまでも推定して、ゲームの状態を変えていく。

人間が飽きていないか、楽しめていないかを推定し、ゲーム内でおもしろいイベントを発生させたり、逆に盛り上げたら一度盛り下げてアップダウンを作る。このように、動的にコントロールしてピークを作るのもメタAIの役割とのこと。

昔のゲームは規模が小さく、完全にユーザープレイの盛り上がりをコントロールすることができた。ところが今は3Dゲームになったうえにオープンワールドになっているため、「どの方向からどういう状態でプレイヤーキャラクターが来るかもユーザーの自由だからわからない。イベントを全て仕込むのは、オープンワールドでは不可能」と三宅氏。ユーザーのプレイに緩急やドラマを作ることも難しくなってきた。

そこで、メタAIがダイナミックにイベントをおこしたり、キャラクター数や難易度を調整したり、ある時はある程度のシナリオ分岐を自動的に作ることができる、という事を実現させようとしている。

「そういう意味で、メタAIの研究はユーザーの心理的な研究でもある。心理学は我々の専門ではないが、色々な心理モデルの中から“こうすればプレイヤーはこういう心理になる”ということを推定してAIを作っています」（三宅）

メタAIはメタAIで発展していき、キャラクターAIも、何かあったら行動するという反射型から、自ら目的を決定し、それを達成するための計画を立てて行動するという非反射型と呼ばれるAIになった。

自分で計画を立てて実行したり、目標を決めて達成する方法も考えるAIは、2004年以降、ロボティクスから入ってきた。ところが、ゲームが広く長時間になってきたため、ゲーム産業は自分たち用にリアルタイムに変形したゴール指向型アルゴリズムへと発展させた。

また、ナビゲーションAIについては、2Dベースが多いが3Dでも適用できるようにするなどし、それぞれの分野で色々な発展。チーム内に担当者を置き、発展させた技術を各タイトルに取り入れているとした。

そして、「メタＡＩの発展のためには、一度ゲーム産業の外で色々な実用を重ねる必要がある」と三宅氏。

例えば、デパートの入口に複数のロボットを置き、そこから色々な人間とのインタラクションのデータを取る。メタAIは天井のカメラからロボットたちがお客さんにきちんと対応が取れているかを監視し、後ろのお客さんに気付かなければ、後ろを向くように指図をするなど、ロボットチーム全体として、接客のクオリティを向上させる。

様々な場所で色々な応用を重ねることで、「こうすればメタAIは人間のことがわかる、データから心理がわかるといった、ゲーム産業を越えて発展していく。そういう大きな展開が待っています」と三宅氏。

さらに、「究極的には東京都のメタAIがあって、町全体を管理するAIが都知事を24時間サポート。渋谷区や品川区にもメタAIがある。階層的に作って、都市の知性となる展開もこれから考えられます」と続けた。

■ゲーム外で応用され発展した技術をゲーム開発に活かす

ゲーム産業のAI開発者は、昔から横のつながりがあるという。世界的にAIプログラマーズギルドというAI開発者のコミュニティがあり、知見を共有しているそうだ。

「元々AIエンジニアは少数。今でも専門チームを抱える会社は少ないので、みんなで基盤を作っていこうという流れがある」と三宅氏。

次に三宅氏は、ゲームAIは大きく2種類あると説明。1つは、ゲームそのものに使うキャラクターAI、ナビゲーションAI、メタAI。

そしてもう1つがゲーム開発支援のためのAIだ。これは品質向上やバランス調整を目的とするもの。品質向上には色々な意味があり、1つはバグを消していくこと。「人間のテスターがプレイするという方法は強力な方法ですが、いまは自動化されている部分もある」（三宅）という。

バランス調整については、人工知能でできないかという発想はごく自然で昔から考えられていたそうだ。しかし、「人間の代わりはAIでできるという話は10年前からありました。かつ、ディープラーニングで画像認識も発達したので、いよいよテスターの代わりになるAIを作るための研究を数年行っていますが、やってみると意外に難しかった」と三宅氏は語る。

まず、ゲームにはＨＰやＭＰなど様々な情報があり、それを画像認識するのが難しい。また、行動に対しても単にボタンを押すだけではなく、メニューを開いて魔法を選択、ターゲットを決めるというロジックなどを学習させることが難しかったという。

試行錯誤をしながらテスターの人工知能を作ろうという志はあったが、「ゲームプレイヤーの行為は本当に高度なもの。今の人工知能ではなかなか追いつかない部分もあるなど段々とわかってきた」と三宅氏。行動を限定して、ウォークスルーだけ、戦闘だけ、壁にひたすら当たるだけなど、機能を限定するのが、まずは最初のステップだと説明した。

三宅氏の話では、エンハンスメントという人間とAIを組み合わせて人間の能力を何倍にも発揮させる手法が有効だ。「人間の代わりのオルタナティブなＡIを作ろうとするよりも、人間の本来の力を何倍にも増幅して有効に活用する方法が現時点では有用だ」という。

人の力をエンハンスメントして、昔は10人でやっていた仕事を1人でやれるようになれば、ゲーム会社としてはコストの事を考えるとそれでよい。そこで、人間がプレイするのではなく色々なAIがプレイする。それを人間が監視して、AIが詰まったら助けてあげる。あるいは人間がプレイして最後に一番ボトルネックで単純な作業をAIにやらせるなどの方法が考えられる。

開発費用はかかるが「長期的な話では、段々AIにシフトしていく」と三宅氏。今のゲームの規模では多くのテスターを雇う必要があるが、ゲームの規模が大きくなり、AIの力で少なくともこれ以上人を増やさない形で品質向上の人工知能をやろうという業界の流れになっているとのことだ。

そしてもう1つ、森や岩、雲などのゲームアセットやキャラのセリフ、ストーリーまでをある程度自動生成したいという考えもあるという。

「メインストーリーは人間が作り、サブクエストは自動生成でもいいという考え方。それによってゲームボリュームを増やしたい」と三宅氏。

プロシージャル・コンテンツ・ジェネレーション（PCG）と呼ばれる自動生成技術について、三宅氏は「機械学習（マシンラーニング）が入ってきて、大量のデータを学習してたくさんのモデルを学習して作る、という動きが最近加熱している」とし、その技術も長期的に見るとゲーム産業に入ってくると話した。

■現在のゲームAIの状況…今後は機械学習とのハイブリッドに

三宅氏は20年、機械学習を探求してきたというが、実は昔は機械学習はゲームが不安定になるため使ってはいけなかったそうだ。

最近では世の中の風潮もあって機械学習はどんどん安くできるようになってきたこともあり、ゲームの外のAI、つまり開発支援のAIに色々なディープラーニングが入ってきているという。「バランス調整や自動デバックもそうですし、これがどんどんゲームの中にも入ってこようとしています。今後10年くらいで、ゲームAI技術がガラッと刷新される可能性がある」と三宅氏。

これまでアルゴリズムといって手で組んでいたものが、エンドtoエンドのディープラーニングに置き換わる可能性があるし、極端な話、全てディープラーニングに置き換わるという意見や絶対入ってこないという意見もあるそうだ。

ディープラーニングはアニメーションの分野で流行って、大量のアニメーションデータを学習させてアニメーションを自動生成ができるようになっているという。

三宅氏は、「ある時点で完全には乗り換えることはないと思うが、3～4割くらいがディープラーニングになり、これまでのゲームAIの作り方がガラっとかわる瞬間があると思っています」と語り、「むしろ、そういう変化を我々スクウェア・エニックスが主導して作りたい」と続けた。

同社は機械学習のチームを作り、外に向けてその技術を勧めているそうだ。三宅氏は「ゲーム開発支援のほうですが、機械学習を入れていこうと」と考えているという。

また、「恐らくですが、将来的にはハイブリッドになると思っています」と三宅氏。大きな行動指針はロジカルな思考によって決定し、大まかなプランを作り、戦闘時の細かなチャンバラ劇などロジックでは追いつけない部分を機械学習で補うというイメージだ。

これにより、三宅氏は「作り方が結構変わってくるのでは」と語る。これまでプランナーがロジックを書いて、パラメーターを調整してきたが、今後は上のパラメーターはプランナーが調整するが本当に細かい部分については人工知能に任せる。「その結果が気に入らなければリセットしてもう一度学習させる。あなたがプレイして、あなたのプレイを覚えます、と。ゲームの中でキャラクターが間違ったことをしたら正してあげる。そうやって報酬を与えれば、正しい方向に学習していく。そういう作り方になるので動物を飼育していくような感じになっていくかもしれません」（三宅）

また、「要するに機械学習系はトロイの木馬みたいなところがあって、我々も中から何が出てくるかわからない。だからセーフティー装置を入れるなどの色々な技術などが、これからゲームAIの世界をどんどん変えてくる技術になってくる」と三宅氏。それらの研究はゲーム産業の外の人はやってくれないため、「我々が蓄積していく必要がある」と話した。

機械学習とのハイブリッドに関して、「技術的には課題があるので、そこも研究分野になります」と三宅氏。例えば、メタAIが学習役になって、何をしたら正解なのかをキャラクターAIに与えてもいい。メタAIが教師役にまわってディープラーニングを自動的に発展させていくケースも考えられるという。

それぞれのAIの中で、記号主義（シンボリズム）を使う場合もあればニューラルネットを使う場合もあったりする。そうすると、将来ユーザーの手元でニューラルネットが動き、かつユーザーのクセをその場で学習して微調整する。ある程度学習させたものの上にユーザーごとのカスタマイズを自動的に入れる。ユーザーの手元で何が動いているのかわからなくても、サーバーに吸い上げて数千人のユーザーのニューラルネットから結果が見えてくるというAIも出てくる可能性もあるとした。

実際、ユーザーのログからクセを学習したAIを自動生成する方法は、レーシングゲームでは2005年から使われている。最近でも対戦格闘ゲームでユーザーログから学習したAIと対戦できると三宅氏。「私も対戦してみましたが、確かに1位ユーザーのAIはすごくよくできています。これはロジックでは作れない」と感じたという。

そういったパラダイムシフトが起こるのは、長期的に見ると時間の問題とのことだが、「どのポイントで来るのかは見極めがつかない」と三宅氏。「ひょっとしたら今年かもしれないし、8年後かもしれない。だからこそ自分たちでその流れを作り出したい」と語った。

■三宅氏からのメッセージ

取材を終え、最後に読者やAI分野に興味を持っている人達に向け、三宅氏は次のメッセージを贈った。

「ゲームAIは、これまでは主に北欧、北米の会社と大学の連携など、海外を中心に発展していきました。

それが2012年頃から日本も追いついてきて、ある程度の形にまとまった。スクウェア・エニックスとしては、『FFXV』という大きなタイトルにAI技術を結集させました。

そして今、フェーズが変わりつつあり、機械学習込みの次のゲームAIへとパラダイムシフトしていて、日本のゲーム産業も新しくリセットされている。日本もAIのチームを抱えている会社も増えているので、この分野はまだまだ色々な可能性を秘めています。

そこに向けてのチャレンジはたくさんありますので、ぜひ研究して、研究したことはなるべく学会やカンファレンスなどでシェアしていただき、これからの人工知能を育てていけたらと思っています。ぜひ、この分野に入ってチャレンジしてくれる人材が増えることを願っています」（三宅）

• スクウェア・エニックス　採用サイト

©2016 SQUARE ENIX CO., LTD. All Rights Reserved.
MAIN CHARACTER DESIGN:TETSUYA NOMURA