【CEDEC 2020】グリーが実践・推進する、モバイルゲームにおけるテストの軸を増やす手法「探索的テスト」とは？

コンピュータエンターテインメント協会（CESA）は、9月2日～4日の期間、オンラインにて、国内最大のゲーム開発者向けカンファレンス「コンピュータ・エンターテインメント・デベロッパーズ・カンファレンス 2020」（CEDEC 2020）を開催している。

本稿では、初日となる9月2日に行われた、グリー<3632>Customer & Product Satisfaction部の奥泉卓也氏による「脱テストケース依存！テストの軸を増やす手法『探索的テスト』をモバイルゲームで実践」の模様をお届けする。

本セッションでは、運用タイトルにおけるQAコスト削減とベテランテスター不足の打開策として、限られたリソースの中で探索的テストの効果を最大限発揮できるようテスターの知見を抽象化し、テストチャーターとして設計することで効率的に不具合の検知を試みた手法が紹介された。


▲グリーの奥泉卓也氏。

モバイルゲームでは、仕様FIXの遅延や膨大の実装、設計者の不足によりテストケース作成のスキップし、テスター任せのいわゆるフリーテストを実施するケースがよくあるパターンという。

奥泉氏は「フリーテストでもアサインするテスターの能力次第ではかなりの不具合の検知は期待できる」としつつも、フリーテストはアドホックテストと言われるように、どちらかと言うと場当たり的な導入となるため、テスターの知見がかみ合わない場合には成果が出ないケースやフリーテスト実施時の経験が今後に活かされにくいという課題があるとした。

そこでグリーは、目的意識を持って継続的なテスト活動を行うという性質を持つ探索的テストへの昇華に挑戦したそうだ。

次に奥泉氏は、探索的テストのモバイルゲームへの導入例を紹介。グリーでは、大型施策の連続リリース対応があり、その時にテストケースの作成が追い付かず、フリーテストとしてアサインするテスターもチーム内で足りていない状況があった。

そこで最初は、グリーの他タイトルのテスターに臨時で入ってもらい、いわゆるフリーテストを実施。その初回実施時の効果として、テストケースでは見つけづらい不具合を2件発見するなど一定の検知効果があったという。

ただ一方で、フリーテストを行った際に不具合を検知できずに市場に出てしまうという見落としもあった。それでも「テストケースに頼らないテストとしての実施効果は見出せた」と奥泉氏。



そこで見落としを防ぐための課題を解決しつつ、探索的テストの手法を取り入れて発展させていくことを目指したとのことだ。

初回実施時に見えた課題の1つに「テスター能力に検知成績の差が出てしまった」と奥泉氏。成績の良い上位テスターは、該当タイトルのプレイ経験があるという特徴が見られたそうだが、一方でアサインしたテスターの様々なステータスと検知成績を紐づけた結果、ドメイン知識については相関があり、テスター経験に相関がないことがわかったという。

加えて、見落とした不具合については、ドメイン知識のないテスター環境のみ発生したという。熟練テスターを探索的テストにアサインすると効果があるというのは基本となるが、奥泉氏は「ゲーム業界においては、ドメイン知識があるテスターだと効果があるという仮説を立て、ドメイン知識のインプットにより検知力向上の可能性がある」との考えを示した。

この課題の対策として、検証範囲内で何が正しい状態で、何が異常な状態かを明確化するクライテリアの作成を行った。対象ゲームをプレイしたことがないテスターでもクライテリアをチェックすることで見落としを防ぐという狙いだ。

それに加え、テストチャーターも作成。こちらはテスト範囲を明確化し、その範囲でどんな不具合が見込まれるか記載した資料で、対象ゲームをプレイしていないテスターでも、どの範囲を検証し、どんな不具合を探せばよいかある程度わかるようにするという対策となる。




実際にクライテリア、テストチャーターの導入効果については、課題として挙げられたテスターの能力による検知成績の差は引き続き発生したものの、検知成績が2倍近くになったテスターもいたという。

また、そのテスターはテストチャーターを元に独自にテストを発展させ、かなり大きな不具合を発見したそうだ。奥泉氏は「課題の直接的解決にはならなかったが、探索的テストに取り組むテスターのベースアップにはかなり寄与できる取り組みとなった」と語った。



初回実施時に見えたもう1つの課題が、継続性の確保だ。

探索的テストは個人で継続的に実施するという前提があるが、グリーでは同一のテスターを探索的テストに継続してアサインするのが難しいため、「何かしらの工夫をして、アサイン不安定な状況でもテスト活動をブラッシュアップする必要があった」と奥泉氏。

そこで、テスターにナレッジを抽出してもらうより、テスト実施時の結果をテスト管理者が収集し、次回実施のクライテリアやテストチャーター、アサインに反映させていくという取り組みで進め、テストチャーターを抽象的に変化させていくというブラッシュアップが行われた。



また、リソース集約の点でも効率化が図られた。探索的テストを複数回実施した結果、効果の高かった回、低かった回があり、双方を比較すると1日あたり1.9倍の不具合起票数の差が発生していたため、そこは貴重なメンバーのリソースになるので効果の高い施策に集約してアサインするという所をテスト管理者の情報収集から行うことができたそうだ。



では、今回の取り組みによる探索的テストの実施効果はどうだったのか？その成果は、計5回の実施回数、24人日の総アサインテストで、検知不具合数が62件、その中で新規かつ修正の必要な不具合が19件となった。

奥泉氏は「件数だけ見ると多くないように感じるが、大部分はテストケース実施後に検知した不具合。本来ならそのまま市場に出てしまっていたことを考えると、リリース後の品質への貢献度は高いと考えています」と述べた。


▲実際に検知した不具合例を紹介。全体的な傾向として特定タイミングや特定の手順を実施した際にテストケース外の不具合が見つかることが多かった。

最後に奥泉氏は、今後の展望について触れた。

まず、検知できなかった不具合に関して、テスターがドメイン固有の発生条件を認知できなかったために発生してしまった傾向にあり、そのフォローを検討しているという。

また、テストチャーターの準備が高負荷かつ属人化していることや専任テスターを確保できない問題をクリアするため、技術の標準化と専任テスターの確保を進め、他タイトルへの展開を推進するとした。

そして人材の育成。今回、ドメイン知識のインプットにフォーカスしたが、「成績が上がったテスターは元々エンジニア志向で、かなりプログラム構造の理解度が高かった」と奥泉氏。そういった別の軸でも分析をし、別軸によってテスト実施者のベースアップを図ることで、検知成績を上げていきたいとした。