【CEDEC 2024レポート】『共闘ことばRPG コトダマン』SREチーム流　アプリのユーザー体験向上を支えるオブザーバビリティとは

コンピュータエンターテインメント協会(CESA)は、8月21日から23日までパシフィコ横浜ノースで「CEDEC2024(Computer Entertainment Developers Conference 2024)」を開催した。

本稿では、2024年8月21日 CEDEC2024 株式会社NewRelicのスポンサードセッション内にて行われた、株式会社MIXI デジタルエンターテインメントオペレーションズ本部 コトダマン事業部 エンジニアグループ マネージャー田中 恭友氏、同グループ  SREチーム リーダー 清水 悠一氏による講演をレポートする。



 
冒頭、New Relic株式会社 梅津氏から本セッションの要旨についての説明が行われた。

長期で人気のゲームの共通点として、
・ゲームが面白い事
・ストレスなく遊べる事
の2つが大きな要素として存在し、これによりユーザーが離れにくい状態を作り出せているという話を展開。

そして「ユーザーがストレスなく遊べているかどうか」を定量的に知り、その指標に基づき改善のサイクルを作っていく事が課題であり、重要な点であると説いた。

実際にその課題に向き合い改善を続けてきた成功例として、『共闘ことばRPG コトダマン』のエンジニアグループの田中氏と清水氏の講演が行われた。

■長期運用を目指す時に確信した内部品質と業務フローの重要性、そして直面した課題

「コトダマン」の歴史の簡単な紹介から、どのような体制で開発・運用をされているのかを説明。6周年を迎えて、次の節目となる10年目を目指すにあたって、機能開発や新イベントのリリースを高速に、継続して行なっていく必要がある。そこで内部品質と業務フローの効率化がカギになると確信した。

一方で、長期運営を目指すからこそ直視しなければならない技術的な課題に、これまで以上に向き合う必要が出てきた。



技術課題を抱えながらも新規機能の開発へとリソースを割かなくてはならない状態故に遭遇するバグや障害。そしてそれらが起こることで新規開発も十全に行えない事も。それらの負のサイクルが生み出す課題に対して、オブザーバビリティ関連の視点から講演は進行する。

■立ちはだかる課題たち……障害の検知、体験の定量観測、その悪化の原因特定

エラーを検知するためのツールは導入していたが、ゲームのクラッシュに代表されるような典型的なものから外れたような粒度のエラーは検知する事が困難であった。それにより初動がユーザーの報告頼りになり、影響の肥大化、原因特定の難化、対応優先度が不明瞭になる……など様々な困難が生まれた。



また、事前のキャパシティプランニングを適切に行った上で、インフラのメトリクスを監視した上でもユーザーからは動作について不満の声があがることもあった。実際のユーザーのレスポンスまでは計測することが出来なかった。



「なんだか重い」というユーザー報告からは直接的に原因が特定できない事が多い。再現も難しく推測による調査に基づいた対応では、それが解決方法として機能したかも判断が難しい。定量的な計測の手段が求められた。

■技術課題に向けたSREチームの組成、課題解決への実例

こういった状況を打破するべく、SREチームを事業部内に組成した。その上で課題解決の戦略を定めていくこととなった。



情報集約のコストが嵩む事、使用しているツールが多岐にわたっている事が課題解決へのネックとなっており、一元的に監視からアラート、計測等を行なう網羅性を備えたツールが求められた。



検討の結果、NewRelicを導入。状態の可視化、運用方法の見直し、コスト削減を同時に行なう事となった。



データ集約と可視化が可能になった一方で、それにより即SLAが定められるというケースばかりではない。また、その定義が先行する事で本質的なUXの改善への効率的なアプローチを損なう可能性もある。コトダマンにおいては、まずは収集したデータから自動でレポーティングされる機能を活用し、その評価をすることを第一歩とした。まず、APDEXをサーバー全体の他、API別に確認する事を開始した。サーバー全体の性能の良し悪しのみならず、APIごとのパフォーマンスを定量的に観測する事で、今後の開発においてTryする伸び代の部分、Keepすべき部分の見極めを可能とした。



アプリケーション全体サマリからエラー・負荷状況をグラフィカルに観測し、更には監視設定を一覧化する事で、設定状況も確認をしやすい状況を作った。




また、それまで加工をせず形式がまちまちだったログを整理し、構造化ログの導入に取り組んだ。これをNewRelicの管理画面で表示出来るようにすることで、参照性を格段に向上した。これにより状態調査の容易性が向上し、DBアクセスを抑止するような活用にもつなぐことが出来た。

詳細な調査は別途必要になるが、初動の迅速さと正確性の向上を実現した。

■課題解決のその先へ。定量情報に基づいたユーザー体験の向上で描くコトダマンの未来。

各領域の担当者が確認可能な指標の制約を取り払い、プロダクトが成長するために必要な取り組みを開発チームからも提案できるような体制へ。プロダクトの舵取りに必要なビジネス的な指標とシステム的な指標を組み合わせたKPIの設定などを可能にしていければ、と清水氏は語った。



このほか、パネルディスカッションでも有意義な質疑解答が行なわれた。今回の講演が同じく運用型タイトルにかかわる開発者の一助になれば、と田中氏は締めた。



スポンサードセッションなのでNewRelicの導入事例を取り扱った内容ではあるが、SREチームを組成し定量計測が出来る運用体制の構築に至る経緯とその真摯な取り組みは、運用型タイトルの関係者であれば思わず耳を傾けてしまう内容となっていた。

パネルディスカッションも、ぜひアーカイブ配信より確認してほしい。
https://www.youtube.com/watch?v=fq6K4t85kCI