【CEDEC 2019】ゲームの開発・運営に必要なQAとは…グリー、KLab、ミクシィの取り組み事例を軸にQAの本質や課題、その未来を語る

9月4日～6日にかけて、パシフィコ横浜で開催中のCEDEC 2019。その初日に行われたセッションの中から、「ゲームの開発/運営に必要なQAとは～QAの本質・課題・未来について語る～」の模様をお届けする。

ここ数年で大きく成長したゲーム市場。市場拡大に伴い開発様式も変化し、各ゲームに求められる品質も年々期待が上がってきている。そうした中で、プロジェクト内での各人の役割は明文化され、適切なチームで働くことがスタンダードになってきた。

このセッションでは、チームで働く上での「QA」の取り組み事例を軸に、改めて「QA」とは何かを考え、その本質・課題・未来についてグリー、KLab、ミクシィの3社によるディスカッションが行われた。

司会進行をグリーの佐野あゆみ氏（Customer&Product Satisfaction部 部長）が務め、グリーの堀米賢氏（Customer & Product Satisfaction部 Quality Managementチーム マネージャー/シニアQA）、KLabの小林依光氏（品質管理部 品質管理グループ マネージャー）、ミクシィの福永裕幸氏（モンスト事業本部 開発室 QA1グループ マネージャー）という3名が、QAの取り組みについて各社の事例をその考えと共に語った。



まず、ゲーム開発の変化について、「80年代は少数規模でプログラマがテストを兼任していたが、ゲーム市場の拡大と共に開発現場の規模も大きくなり、テストなど各役割を専任する必要がある」と堀米氏は過去と現在の状況を説明。

加えてゲームのオンライン運用化によるソフトウェアの複雑化、さらに今後AI、自動化時代を迎えことが予想され、より高度で効率的なテスト設計が求められるなどQAのあり方も変化していくという。


▲主なQAの作業についても紹介。「開発プロセスに沿って、各テスト作業を実施。開発段階からQAが関わっていくこと」（堀米）の重要性について述べた。

また、各社のQAの取り組みについて、その事例とともに紹介。グリーでは「表示に特化した検証の導入で、ゲーム内の各種表示を不当表示リスクの観点でチェックしている」（堀米）という。



「人手を使わずに」とロボットアームによる自動テストの実施を挙げたのは、KLabの小林氏。同社は、テクノプロ社のFinger1という製品を用いた回帰テストを行っているという。これにより退社後も翌朝までテストが継続できるという点がメリットのようだ。



ミクシィの福永氏は「組織系の話になりますが」と前置きし、『モンスターストライク』以外のプロジェクトも出てきた中で、横軸展開をキーワードとし、1プロジェクトで得られない知見を共有し、観点、機材、ツールの一元化、テスト実施の効率化を計っているとした。



ここから本題に入り、まずはQAチームとの正しい付き合い方について。テストは網羅的で効率よく進める必要がある中で、QAが関与するタイミングや、開発との情報連携がどうあるべきかなのか？

関与の時期について、「運用の長いタイトルに関しては改善されていて、できるだけ早い段階」と福永氏。それは次のバージョンアップで"（決定事項ではないが）こんな機能を入れたい"という段階でQAも一緒にどういった機能なのかというレビューから入るという。

それ以外に関しては、新規事業などは立ち上がっているがまだタイミングはバラバラで、早い段階だと半年前、遅ければ数日前から「QA来週からお願いできませんか」ということもあるとした。

「運用タイトルが多いですけど、仕様変更の大きさによって関与のタイミングが変わる」と考えているとは堀米氏。大規模アップデートや新規の実装のタイミングの場合は早期から関わる場合が多いそうで、数か月前の企画段階から入って徐々に仕様をブラッシュアップしていく中にもQAは関わっていくとのこと。

ただし、「定常の更新になると設定値が中々決まらずにQAギリギリまで調整が入ることは良くある」とし、ケースバイケースでQA担当者とプロダクトの密な連携で対応することはあると説明した。

KLabは「新規だと、最近は小さく開発していって、これで行けると踏んだらサービスに向けて量産開発していくケースは多い」（小林）という。

その量産開発のフェーズになる前後からQAのエンジニアが呼ばれ、「最初から海外で出すことが決まって入れば、その国の市場におけるスマホのシェアやスペックについて調べる」など、どんなリスクがあるか？　どんなテスト戦略を立てるか？　などを考えていくそうだ。



QAが関わるタイミングに続いて、開発とQAの情報連携について。

「新しい機能が入るときはしっかりQAをしなければいけない」という福永氏。そうなると事前の準備が必要となるが、準備7～8割の気持ちで取り組んでいるそうだ。そして新しい施策を聞いた段階で、「どういったテストデータが必要なのかを、企画・開発と密に連携をとって話をしている」とした。

ここができていないと、「テストツールやテストデータの準備ができず、その場限りのテストでこれ以上できないという場当たり的な状況になってしまう」と、そこはできるだけなくしたいとの考えを示した。

新キャラの実装を例に挙げた堀米氏は、「キャラ1体確認するにも色々なデッキを組んだり、敵のステータスや編成を考えてテストしなければならない。そうなったとき、じゃあテストで全部やってください、というのはかなり大変なので、デバックツールで事前にどういう機能が必要かという調整が重要」と語る。新機能の部分、特にデバックツールでどんなものが必要かというのは、「QAの見解、手慣れたテスターの意見は参考になると思うので、そういったところの情報連携は開発サイドも重宝している」（堀米）とのことだ。

「リリース前ではなくリリース後の連携は？」という佐野氏からの問いに対しては、「運用だと長期サービス提供になるので同じ不具合を起こすことは信頼を失うことに繋がります。再発防止が重要であり、ただ修正しましたというだけでなく、その原因についてQAからもどういう情報が必要なのかを密に話すことが必要」と堀米氏は回答した。



続いてのテーマは、QA人材確保の実情。

口火を切ったのは小林氏。「かれこれ20年近く品質管理の業界でやってきましたが、ゲーム業界にきて、ゲームのデバッカーさん、テスターさんの価値観が低い事に驚いている」とコメント。

小林氏は過去に家電、パソコンや携帯電話の品質管理を担当していたときは、「開発者と品質管理のテスターは外部にお願いしても単価は変わらない。それがゲーム業界だと下手をすると時給1000円とかで雇われているんじゃないか」という形になっていると語り、それでは本人たちも給料で自己投資もできず、スキルが上がらないのではと指摘。

ゲームが複雑化しやることが増える中で、なかなか欲しい人材が見つからない一つの原因なのでは、と感じているそうだ。

その話を受け、福永氏は「自分もQAに入ってずっとゲーム業界にいるので、それが普通なのかなと最初の数年は思っていた」という。

ただ、人材が見つからない原因について、「ゲームは色々な人が好きで誰でも興味を持たれやすい。かつ誰でも入りやすい入口として存在しているのかなと思っていて、どうしても新しいプロジェクト立ち上げとなったとき、こんなスキルを持つ人材が欲しいとなっても、そういう人は引っ張りだこで見つからないのが正直なところ」とコメント。

福永氏は「現場として、本当に未経験の人でも運用しているプロジェクトに入れて成長の促進と、それに見合った報酬を支払って、本人のモチベーションを上げていく方向にシフトしているのが現状」と述べた。

「ゲーム業界のテスターさん、デバッカーさんは、そもそも技術体系がなかった気がしていて、雇用側もどういう技術が欲しいからこういう人材が欲しいということがあまり提示されていない」という堀米氏は、そこに求める人材が揃わないのではないかと考えているようだ。現状、テスト管理、テスト設計も出来て、加えてゲームに精通している、というトータルで優秀な人材というのは「結構希少価値が高いなと思っています」（堀米）。

QAでそういった人材を募集しても、全ての条件が揃った人材の確保は難しい。さらに応募してきた人達も、元々QAをやりたいという人は多くない。「QA発信で、QAとはこういう仕事ですよ、と説明する機会は増えている」と、人材確保に向けた動きもあると話した。



2つのテーマを踏まえて、最後に"今後のモバイルゲームQAのあり方についてディスカッションが行われた。ここで小林氏、「私の頭の中にある事を整理してきた」と今後のQA人材のスキル例をスライドで紹介。



「QA、品質管理、テストというと、項目、シート、チェックリストを作って手を動かして報告する、というイメージがほぼ8～9割だと思っています」と小林氏。しかし、実際に品質管理をガッツリやろうと思った場合、様々な知識が必要で、テスト工程のマネージメントも、つまりはテストプロジェクトマネージメントになってくる。

「プロジェクトマネージメントするなら開発プロセスも知らなければ難しいと思っていて、最近スクラムマスターという形で不確実性を1つずつ潰していくテスト、開発の仕方をしている」（小林）と、そういった知識も今後は必要だという考えを示した。

それを聞いた堀米氏は、「弊社ではゲームテストの体系だったものは、最初はあまり形がないところからスタートしているんですけど、やはり新規になってくるとより開発の上流から入ることになるので、そういったプロジェクトマネジメントだったり、テストの基本的な考え方に関する知識は必要だと思っている」と小林氏に共感。

堀米氏自身も、「私のほうでも取りまとめていて、新しく入ってきた方にそれを読んでもらって、こういうものもあるんだよと紹介から入って、今まさに強化しながらその仕組みを作っている段階です」とコメント。スライドのような必要なスキル、知識を「全て網羅するのは難しい」としながらも、求められる領域は増えているとした。

「正直言うと、これを全て一1人でできる人はいないと思う」とは福永氏。ただ、「このスキルマップは良いと思っている」とし、そういう人材が見つからなくても、「一人で網羅するのが難しくても、チームで動く中で、バランス良くこういう人材のスキルを平均化し、最低限満たすという形で配置していく」のがマネジメント側の仕事だと語った。

また、それをどういったところで見出すかという点について、「1on1とかで自分がどういうことが得意分野でどこを伸ばしたいのかという自己分析、他己分析しつつ、スキルマップ、レーダーチャートみたいなところではかりつつ配置していければ良いかなと思っています」（福永氏）。

人材の育成に関して、堀米氏は個人的に熱い思いを持っており、「QAの人は早期から関わると、割とプロダクトの方と対等に付き合わないといけなくなる。そうなった時、自信を持って開発チームとコミュニケーションできるコミュ力は相当必要だなと感じている」という。

ただ、「結構、テストのノウハウを持っていない状態で臨むと、あまりロジカルに説明できなくて自信を無くしてしまうケースもある。そうなると中々対等な付き合いができず、コミュ力も低下して自信なさそうだねと思われてしまうことが多々ある」（堀米）とし、そこをどう解決するかを今後注力したいポイントとして挙げた。

これに対し福永氏は、「コミュニケーション能力のある人を最初からそこに当てて、新規開発であれば専任ではなく兼任で1～2ヶ月間情報のキャッチアップだったり、仕様書も固まってなくても少しずつ見せてもらって、このゲームに対してどんな熱量を持って開発しているかヒアリングすることを重要視している」という。

また、自信を失わないための取り組みとして、「開発や企画の人達に時間を貰って、1on1や定例ミーティングを実施している」（福永）という。内容としては"どんなゲームが好きか？"　"どういう想いで作ったのか？"　"QAとして何をしたいか？"という内容で「割と雑談が多い」とのこと。ただ、そういうことを話していくと互いに共通認識、信頼関係が生まれ、「やりとりが頻繁に行われるようになる」とし、その意味でも人材の割り当てを意識しているそうだ。

相手との信頼関係の構築について、小林氏は「泥臭いけど、一緒にご飯食べたりお酒を飲んだりすると、多少スキルがなくても人間関係、信頼関係を築けて、相手も教えてあげようかなと形になる。長い人生の中で、一番効果があるのは同じ釜の飯作戦かなと最近思う」とコメント。それを聞き福永氏も「弊社もシャッフルランチという、ボットで名前が表示された人同士が一緒にランチに行くというチームもある。話すキッカケが生まれるのは本当にありがたい」と続いた。

今後のQAには多様なスキルが求められる中で、各社は人材の教育にどう取り組んでいるのか。

「ランチ時間を使ってQA歴の長い人が月一ペースで勉強会を開いたり、休日を使った合宿でテスト設計を実際にやってフィードバックする」という堀米氏は、実際に手を動かす機会を増やしたり、知識のインプットを増やすということに中長期的に取り組んだという。

テストの設計や実施は色々なタイミングでのレビューが必要な中で、福永氏は「一番出来る人にレビューしてもらうのはもちろん、基本的に全員（1～2人は必須でそれ以外の人も可能な限り）でレビューしてもらうようにしている」という。かつ、それに対する意見やアドバイスを本人だけでなく全体で共有し、いつでも掘り起こせるようなっており「QA経験ない人でも積極的に採用している背景がある中で、ちょっとでも覚えてもらおう」という取り組みをしているとのことだ。

小林氏は、今後QAに必要なスキルを先に見せることで、どういうことをやらなくてはならないか本人に気づかせることをしている。また、「各々の分野でスペシャリストは社外にもいますので、そういった方々と話したり、ソフトウェアテストのシンポジウム、成果発表会などに参加する」といった交流を薦める取り組みを行っているとした。



黙々とテストする時代から、開発との連携が密になり制作物も複雑化する中で、QAとしてどのように開発サイドと関わっていくべきか？

「企画、開発の方から直接QA依頼を受けることは良くあるけど、それだけでなく上流工程から効果的にQAを発揮していくために、管理部署に関しては全部自分たちから聞きにいけば良いかなと思う。何をしたい、何が欲しいというものをQA側も発信しなければならないし、それを聞いた開発、企画の方もそれなら協力できるという、お互いにコミュニケーションをとって相互作用を高めていかないと今後は難しい」とは福永氏。

「一つのプロジェクトにずっと強い人を入れておくこともできず、新規が立ち上がれば強い人はそちらにスライドしなければならない。そうなると新しい人を入れないといけない、育てないといけない」（福永）とし、そうなった時に効果的にQAとしてのアプローチができるようにするためには、「まずはコミュニケーション能力を高めて、自分が思ったことを実現するためにはどこにアタックすればいいのか真っ先に考えること」が重要になる。それに向けて必要なのは「プロダクトへの愛」であり、「自分がアサインされたプロダクトが大好きで、しっかり遊んでます、と言える人がいると強いチームになれる」と語った。

業界の成長スピードが加速する中で、「我々はどうしたいのか？　それはお客様に最大限楽しんでもらえるサービスを一緒に作っていくことだと思っている」と堀米氏。そのためには、各セクションの人達がプロとして機能することが重要であり、自信が持てない部分があるなら「スキルをしっかり身に付けて対等に話せるようにならなければいけない」とし、「それができるようになって、一緒にプロになって、各セクションが横連携して一致団結することが必要。QAもプロとしてやっていくことが大事」とコメントした。

小林氏は、「品質管理をテストの部門と捉えるのではなく、一緒にクオリティーマネージメント、品質のマネージメントを一緒にやっていく部門として捉えると、じゃあどこから一緒に仕事してもらうのが、我々のプロダクト、サービスとして最適なのか視点が変わってくる」との考えを示し、「各社が品管のチームをどこで有効活用できるのかを考えると、また違ってくる」とした。

最後に福永氏は、「（QAとしては）やっぱり早く関わりたいし、特に企画の熱量を感じたい。その熱量をQAでも同じように持って、プロダクトに取り組みたいと思っています。重箱の隅を突くようなことを言うかもしれませんが、同じ熱量で製品を作り上げていくという気持ちでQAも取り組まないといけないし、それくらいの熱量を持たせてくれるような企画をこちらに投げて欲しいです。開発の人達は、自社の中で"魔法使い"と言われているんですが、本当にワクワクドキドキさせてくれるものを作ってくれます。そういう所にQA側もアプローチしていかないといけないと思っています」とメッセージをおくった。