セミナー

【CEDEC 2020】グリーが「ユーザーテスト」の有用性を数値に分析して解説…『シノアリス』『戦姫絶唱シンフォギアXD』での事例も紹介

グリー株式会社

グリー

2020.09.03 13:35

コンピュータエンターテインメント協会（CESA）は、9月2日～4日の期間、国内最大のゲーム開発者向けカンファレンス「コンピュータ・エンターテインメント・デベロッパーズ・カンファレンス 2020」（CEDEC 2020）をオンラインで開催している。

本稿では、9月2日に行われた講演「リリース前に隠れた課題を検知！モバイルゲームのユーザーテスト検討事例」についてのレポートをお届けしていく。

本セッションには、グリー・開発本部 Customer & Product Satisfaction部・マネージャーの国分泰徳氏と、堀米賢氏が登壇。モバイルゲームにおけるユーザーテストから「継続意向」「課金意向」を掘り下げ、実際に適用した事例と導入結果から見えてきた課題および今後の展望について語った。

国分泰徳氏
グリー株式会社
開発本部 Customer & Product Satisfaction部
マネージャー

堀米賢氏
グリー株式会社
開発本部 Customer & Product Satisfaction部
マネージャー/シニアQA

本講演では、前半で導入背景やユーザーテストの手法説明、後半で各タイトルについての導入事例を紹介した。なお、題材として挙げられたのは『SINoALICE（シノアリス）』と『戦姫絶唱シンフォギアXD UNLIMITED』の2タイトルとなる。

▲本セッションにて使用された用語についての説明。

ユーザーテストとは、主にUI・UXに焦点を当て、市場に出す前にターゲットユーザーを集めてプレイしてもらい、開発チームがウリとしている内容や面白さを定量・定性で評価し、課題を抽出することを目的としたテストとなる。また、グリーではユーザーテストの主幹部門を「魅力的品質改善の手法」と考えており、品質保証活動の一環としているため、QAチームで運用していると説明した。

実際、ユーザーテストを実装した『SINoALICE（シノアリス）』、『戦姫絶唱シンフォギアXD UNLIMITED』は2020年6月で3周年を迎えた今も、多くのユーザーがプレイしている。この結果から、成功の要因のひとつとしてユーザーテストが寄与していると考えていると国分氏は述べた。

●導入背景と手法説明
ここからは、導入背景とユーザーテストの手法について堀米氏が解説。まずは、ユーザーテストを導入するにあたり、モバイルゲーム開発における課題のうち以下の2つに注目した。

まず1つ目は「国内のモバイルゲーム市場が大きくなっていることで、ユーザーが既に長期間継続してプレイしているゲームが存在している」こと。1日のうちモバイルゲームにあてられる時間には限りがあるため、新しくゲームをリリースした場合、既に遊んでいるゲームとの入れ替えを狙う必要が出てくる。

2つ目は「国内外から高品質なゲームのリリースが増加した」こと。限られた時間でより面白いと感じるゲームを選択しないといけなくなるため、初期の手触り感などで早期に取捨選択が行われるようになったと感じているという。

このことから、今後リリースしていくタイトルでは、既にユーザーがプレイしているヒットタイトルよりもニーズを満たし、国内外の強力な競合よりも魅力的であることが求められる。

こうした課題に対して、市場の声を効果的にキャッチアップして精度を高く改善点を検知するために、アンケート形式のユーザーテストをモバイルゲーム向けにアレンジすることにしたと経緯を説明した。こうして得られたアンケート結果から改善に繋がると思われるものをリリース前に反映させることで、初期離脱リスクを軽減できると考えてユーザーテストを導入するに至ったのだという。

▲こちらはユーザーテストの大まかな流れ。STEP1の企画からSTEP5の報告まで、5つの工程で構成されている。

上記のフローでは、まずターゲットユーザーを想定したペルソナ設定や実施スケジュールを開発チームと連携して決定する。次に、フィードバックを得たい部分にフォーカスしながらアンケート項目を設計していく。ステップ3にあたる実行業務に関しては、グリーでは協力会社に委託しており、実行に必要な環境準備や質問事項への対応を行っているとの話だった。その後、協力会社より送られてきた結果を分析し、開発チームにフィードバック・提案をしている。

基本的な流れとしてはコンシューマ―ゲームなどで従来から実施されてきたのと同様のものであるという認識だが、この中でモバイルゲームに焦点をあてたアレンジポイントとして、「①企画段階でモバイルゲームに合わせたペルソナの設定」「②設計段階でのアンケート項目の調整」「③実行段階での事前期待値の数値化」を挙げた。

①モバイルゲーム市場にあわせたターゲット設定
モバイルゲーム市場はここ数年で大きく変化しており、リリースされるゲームは多様化し、ユーザーからの期待値も高まっているのを感じていると堀米氏は述べる。そこで、市場の変化に合わせたターゲット設定はヒットの確度を高めるために重要であると説明。

グリーでは、年齢層や男女比など一般的なパーソナル情報に加えて、モバイルゲームの長期運営・基本無料（従量課金制）という特性を考慮して、ゲームプレイ層や課金ユーザー層をターゲットの中核として定義しているという。ゲームプレイ層では、多くの時間を費やしているヘビーユーザーからカジュアルに遊んでいるライトユーザーまで、課金ユーザー層では1ヶ月辺りの課金額を幅広く設定することで実際の市場に近いフィードバックを得られるものと考えている。

また、IPを用いたタイトルに関しては、IPへの信頼度もテスター選定の指標としている。

②モバイルゲーム独自の観点追加
アンケート項目に入れ込むモバイルゲーム独自の観点としては、「課金意向」と「継続意向」が挙げられる。これは、モバイルゲームがリリース後も長期運営を行っていくものであるということや、従量課金制であるという特性からこの2点にフォーカスしている。

「課金意向」では、実際にプレイした結果、ゲームそのものに対する課金意欲や、主なマネタイズ要素であるガチャ・ショップ販売物への購入意欲などから課金に繋がりやすいかを判断している。

「継続意向」では、長期的にプレイしたくなるかどうかをアンケート項目化し、相関係数や標準偏差で分析することにより、フィードバックコメントの精度を上げている。

③事前期待値の数値化
昨今のモバイルゲームタイトルでは、事前にダウンロード予約をしたり、公式ホームページやTwitterなどのSNSで情報を開示することが増えてきた。

そこで、テスト担当者には市場のユーザーと同等の情報を共有し、事前にゲームへの期待値を記録。その後、実際にプレイした後の体験結果と比較することで期待値の乖離による初期離脱リスクの軽減に繋げている。

●導入事例紹介
ここからは、『SINoALICE（シノアリス）』、『戦姫絶唱シンフォギアXD UNLIMITED』で行ったユーザーテストの導入事例を国分氏が紹介。先ほども挙がった「モバイルゲーム独自観点の追加」と「事前期待値の数値化」について、2例ずつ得られた情報を公開した。

・モバイルゲーム独自観点の追加
『シノアリス』の事例より、アンケートの点数化、相関分析の結果から対課金意向、対継続意向において相関が強く、評価が低いカテゴリを定量で抽出していく。上記の表では、赤字で書かれている「UI・UX（操作感・テンポ）」が該当箇所にあたる。次に、抽出したカテゴリの定性コメントを確認。「クエストやGvGの動作間のウエイトタイムが長くストレスを感じる」という意見が多く見受けられたため、そのようにフィードバックを行った。

また、定性コメントはワードクラウドで視覚的に表現する方法も効果的とのこと。定量・定性の両側面からフィードバックを行うことで課題がどこにあるかを明確にして伝えている。結果、開発チーム側の対応としてウエイトタイムの調整が入ったことで快適性の向上に繋がったと述べた。

2例目も『シノアリス』の事例より、「キャラクターデザイン」や「ストーリー・世界観」は実装初期から高評価を得ており、ネガティブな意見はなかったという。このように、継続意向においてポジティブな意見を定量で表すことにより、本タイトルの強みであることをフィードバックしている。強みを客観的に伝えることで開発チームの戦略に繋げやすいという効果が得られる。

・事前期待値の数値化
また、『シノアリス』ではプレイ前の評価である「事前期待」と、プレイ・体験後の「総合評価」に乖離が見られた。

『シノアリス』は、ヨコオタロウ氏が描くダークファンタジーをひとつのウリとしていたため、ヨコオタロウ氏の過去作品ファンをターゲットユーザーに設定していた。こうした背景から、ヨコオタロウ氏の作品をプレイしたことが有るか無いかで要素を分解し、評価を比較。そこで、ヨコオタロウ氏の作品をプレイしたことがあるユーザーは、『シノアリス』プレイ前後で評価の乖離が大きいという結果が表れた。そのため、より世界観を全面に押し出した演出などが良いのではないかというフィードバックを行ったという。

また国分氏は、ひとつのテクニックとして、データを加工して新たな視点での気付きを正確に伝えるとフィードバックの幅が広がるとのアドバイスを行った。

『戦姫絶唱シンフォギアXD』の事例では「原作の再現性が高く、アニメの追体験ができる」というコメントが多く見られた。その一方で、「オリジナル要素も欲しい」という声が挙がってた。通常は定量で数値の低い箇所をフィードバックしているが、定性コメントの分析から数値では表れにくい隠れた課題も検知してフィードバックしているという。この結果、ゲームオリジナルストーリーである3.5期実装という戦略に繋がったと事例を紹介した。

▲こうしたユーザーテストの手法は実績として効果が表れており、ユーザーに長く遊んでもらえる要因にも繋がっていると分析。

最後に、この手法の導入をスムーズに行い、効果を最大限に発揮するためには「開発チームがユーザーテストの有用性を理解し、進んで実施すること」が重要になると解説。開発チームが主体となって動くことで改善にも前向きに取り組むことができるようになるという。

また、QAチームがサポートを行い、実施からフィードバックまでの運用を行うことや、承認会議などでユーザーテストのデータが用いられるように会社全体で取り組むことが重要になると国分氏は語った。ユーザーテストは、QA主体でゲームの魅力的品質向上に貢献できる最良の手法であると話をまとめた。