【インタビュー】サイバードはエラー検知ツール「SmartBeat」で”当たり前品質”を創り続ける…アプリに安定と安心を、SmartBeatはUnreal Engineのエラーにも

FROSKが開発・運用を行う「SmartBeat」は、ユーザーの手元で発生したクラッシュをリアルタイムに検知し、その情報を解析、デバッグをサポートしてくれるツールだ。スマートフォンアプリには常に付きまとうクラッシュ、それに伴う低評価から救ってくれるツールとして、すでに多くのメーカーが利用している。

全世界でのシリーズ累計会員数2,500万人を誇る女性向け恋愛ゲーム「イケメンシリーズ」を中心に数多くのタイトルを配信しているサイバードも、そんな会社のひとつだ。同社は「SmartBeat」の導入以前・以後で、安定した運営、ユーザーからの高評価と、双方で劇的な変化があったという。

では、具体的に「SmartBeat」はどんなツールで、どんな活用法があるのか、サイバードの鏡谷陽一氏と、FROSKの仲井裕紀氏に伺った。

 
FROSK
事業推進部 プロダクトマネージャー
仲井裕紀氏(写真右)

サイバード
品質管理部 部長
鏡谷陽一氏(写真左)

■「SmartBeat」はクラッシュの可視化を実現するツール


――本日はよろしくお願いします。まず、お二人が普段どのような業務に携わっているか教えてもらえますか。

鏡谷氏:サイバードの鏡谷と申します。品質管理部の部長として、弊社が開発・運営しているスマートフォンタイトルの品質保証、またキャリアやストアなど、プラットフォームの窓口も我々が担当しています。私自身、もともとは技術者でして、エンジニアとしての品質向上へ向けた活動も行っています。

仲井氏:FROSKの仲井です。弊社はアプリの開発が楽しく、便利になるツールを提供していまして、今はアプリのエラーを検知する「SmartBeat」というツールの開発を行っています。私は「SmartBeat」のプロダクトマネージャーを務めていて、プロダクトの方向性を決めたり、ロードマップを検討したり、直接お客様の要望をお聞きすることもあります。


 
▲SmartBeatの画面例。クラッシュを可視化する

――お二人ともスマートフォンアプリ市場を常日頃から見ていると思いますが、最近の傾向、変化を感じることはありますか?

鏡谷氏:端末のスペックが上がったことにより、ひとつひとつのゲームのクオリティがとても高くなりました。開発者が表現したいことを形にできる市場になってきたのだと思います。一方でお客様の要求といいますか、求められるクオリティが高くなっているとも感じます。少しでも動作が重かったり、障害が発生したりといった問題があると、一瞬で低評価につながってしまいます。私たち開発側としては、ほんの少しの油断もできない状況になってきたと感じます。

仲井氏:アプリの品質をチェックする立場から見ても同じことを感じています。ゲームとしての出来が良かったとしても、一回のクラッシュが発生するだけでやめてしまうというケースはよく耳にします。特に今はOSも、そしてそのバージョンも数えきれないほどたくさんあり、クラッシュへの対策はとても難しくなっているのが現状です。

鏡谷氏:アップデートの中にたまたまクラッシュが紛れ込んでいて、1回発生しただけで離脱する、というのは私たちも何度か経験しています。もちろん、そうならないように気をつけてはいるものの、すべてのクラッシュをなくすのも難しいことです。


 

――一度離れると戻ってきてくれない、というのもよく聞く話です。

鏡谷氏:そうですね。特に新作でクラッシュが起きてしまうと離れるだけでなく、レビューに低評価が並んでしまいます。それを見た他の人はインストールすらしてくれないという悪循環に入ってしまうんです。

仲井氏:以前レビューに関する統計をとったことがあって、レビュー内に「落ちる」という単語が入っているアプリは、評価が低なる傾向があったのです。それを踏まえてもクラッシュとゲームの評価は直結していると言っていいと思います。


――開発現場ではどのような変化が見られますか?

鏡谷氏:ここ最近に限った話ではありませんが、開発期間が長期化し、それに合わせて費用も膨れ上がります。そうなると売上目標も高くなり、メンバーにかかるプレッシャーも大きくなる、というのが現状です。

仲井氏:「SmartBeat」の使われ方にも変化がありますね。リリース後にユーザーさんがどのような状況でクラッシュしたかを検知するという使われ方が主流ですが、開発初期の段階にも導入して、早めにクラッシュを潰しておく、つまり開発の効率化のために使うお客様が増えている印象です。

鏡谷氏:品質管理部は開発の終盤にエラーが出ないかチェックするのですが、致命的な不具合が見つかって、リリースが間に合わないケースも考えられます。そうならないように、開発の初期段階からチェックしておくのは理想ですよね。弊社でも、最近の新作では「SmartBeat」を最初から導入させてもらっています。


――そんな「SmartBeat」ですが、一体どんな機能を持っているのか、あらためて教えてもらえますか。

仲井氏:「SmartBeat」はユーザーさんが起こしたクラッシュのデータをリアルタイムで取得できて、いつ、どんな状況で、どんな内容のクラッシュかをすぐに判別できるツールです。
 

▲発生時刻や場所など、発生原因がわかる

――サイバードさんはこの「SmartBeat」を、複数のタイトルで利用していると。

鏡谷氏:はい。弊社がリリースするゲームの新作に関してはほぼすべて導入しています。

――導入以前はどのような形でクラッシュ対策をしていたのですか?

鏡谷氏:iOS、Androidともにクラッシュログは取れますので、それを見て潰していました。ただその当時は、クラッシュが起きていたことすら正直分かっていませんでした。エンジニアがたまたま気付いてから修正が始まるという状態でしたね。あまり対策というか、意識ができていなかったんです。

――クラッシュ対策という点では後手に回っていたと。

鏡谷氏:そうなんです。弊社のイケメンシリーズは元々WEBゲームから始まって、スマートフォンアプリ全体のリッチ化に伴い、ネイティブアプリに移行した経緯があります。ネイティブでの開発に慣れていない影響もあってクラッシュが多くなり、またじっくり解析するリソースもなかったため、後回しになってしまいました。

――クラッシュの対策ももちろん重要ですが、だからといってアップデートを放置するわけにもいきませんからね。

鏡谷氏:おっしゃる通りです。クラッシュを減らすか、新しい施策を導入するかを天秤にかけた結果、新しい施策のほうが求められるだろうと判断しました。ではどうやってクラッシュと向き合っていくかと考えたときに、「SmartBeat」と出会ったのです。

 

――「SmartBeat」と出会った経緯についても教えてもらえますか。

鏡谷氏:クラッシュが多いなと感じていたタイミングでFROSKさんのセミナーに偶然参加させていただいて、「SmartBeat」のことを知りました。そのセミナーでは先ほど話題にあがった、「『落ちる』という単語がレビューに書かれると評価が下がる傾向にある」といった話もされていて、「あ、うちのことだ…」となりましたね。実際その当時の評価は決して高くはなかったですし、クラッシュと真剣に向き合うきっかけになりました。

仲井氏:結果的に、「SmartBeat」を開発して間もないころからサイバードさんには利用していただけることになりました。サイバードさんのように、アップデートを優先してクラッシュの対策が後回しになるケースは今も多いと感じています。その中で「SmartBeat」ではクラッシュの状況が可視化され、優先順位もつけやすくなるので、特にサイバードさんとの相性は良かったのだと思います。

 

■開発初期段階から「SmartBeat」は効果を発揮する


――一言でクラッシュと言っても、その内容や状況は様々だと思います。特にどんな場面で役立ったと感じますか?

鏡谷氏:運営中のタイトルでユーザーさんが起こしたクラッシュをいち早く検知できるのが一点。もうひとつは開発中のテスト版でもクラッシュの情報を集められるようになったのも利点です。クラッシュの中には再現方法がわからず、修正に時間がかかるケースもよくあります。どこで、どんなクラッシュが起きたのかが分かることで、開発全体がスムーズになったのは間違いないです。

――運営が始まったタイトルだけでなく、開発段階から役立つと。

仲井氏:やはり一番の目的は運営中のユーザーさんのクラッシュ状況を把握することですが、鏡谷さんの言う通り、リリース前の開発を効率化する目的でも十分効果を発揮すると思います。

鏡谷氏:私たちは開発の初期段階から積極的に利用していて、クラッシュが見つかったらその都度潰していく対応をとっています。そのおかげで、リリースする時点でクラッシュがほぼゼロの状態まで持っていけるんです。リリース前の段階でほとんどのクラッシュがなくなるおかげで、本格的な運営が始まると「SmartBeat」をチェックする機会は少なくなります。といっても、アップデートや改修を行った直後は「SmartBeat」を見て、グラフが跳ね上がっていないか確認しています。


――「SmartBeat」を利用することで、「SmartBeat」を見なくていいくらいに品質を上げられたというのはとてもいい話ですね。

鏡谷氏:安心して作品を世に送り出せますよね。その安心感がより良い運営にも繋がりますし、好循環が生まれていると思います。

――仲井さんからは、特にアピールしたい機能などはありますか?

仲井氏:利用者の方々から高い評価をいただいているのは、クラッシュの発生回数や影響度合いなどを可視化できることです。クラッシュを起こしたユーザーさんはお問い合わせフォームなどからメーカーに連絡を入れると思いますが、ちゃんと連絡するのはごく一部で、ほとんどのユーザーさんがアクションを起こすことはありません。そうなると、例えば発生回数がごく少数なのに、問い合わせがあったから修正する、という非効率な作業をすることになるんです。ユーザーさんの連絡に頼らず影響度合いが分かることで、まっさきに修正できる箇所を把握できるのは強みですね。原因も特定することができるので、効率的に修正もできます。
 

▲発生回数や影響ユーザー数などで修正の優先順位をつけられる

鏡谷氏:クラッシュの可視化は本当に大きいです。しかもグラフで分かりやすく表示してくれるので、エンジニア以外のスタッフでも問題を提起しやすく、エンジニアは何が問題なのかを説明しやすくなっています。社内のクラッシュに対する考え方も変わり、かなりの効果があったと実感しています。

仲井氏:クラッシュした端末だけでなくユーザーさんの行動まで把握できるのも強みです。これまでは「設定画面でクラッシュした」までしか分からなかったところが、「SmartBeat」だと「設定画面のどの項目か、どんな行動をした瞬間か」までが細かく分かるんです。


 

――クラッシュの発生確率は、具体的にどのくらい変化したのですか?

鏡谷氏:とあるアプリでは、ひどいときに10%近い数字が出ていました。当時は業界全体の平均が2%だったので、しっかりと計画を立てて、順番に改善していくことを目標にしました。最終的に「SmartBeat」の力もあって2~3%まで下げることができました。最新作だと、iOS版は0.1%を切るまで下げることに成功しています。

 
▲クラッシュ率でアプリの品質を可視化できる

――クラッシュの影響もあってレビューの評価が下がった、というお話がありましたが、「SmartBeat」導入後、評価の面で変化は見られましたか?

鏡谷氏:もちろん評価に関してはクラッシュ以外にもいろいろな要素が絡んでくると思いますが、「SmartBeat」導入後は概ね高い評価をいただいています。レビューだと基本的に4点以上という状況で、ゲーム内容も含めて良い品質を維持できていると考えています。

――「SmartBeat」のようなエラー検知のツールは他社にもあるのですか?

仲井氏:エラー検知ツールは他にもあります。ですが他社のツールの場合はエンジニアに特化したものが多く、鏡谷さんが仰った、エンジニア以外の人が使うのは難しい印象です。本来エラー検知のツールは、ディレクターやプロデューサーも使えるべきであり、そこをクリアしていることは「SmartBeat」の強みだと考えています。

あとはリアルタイム検知の精度にも自信があります。デベロッパーツールなどの標準ツールや他のツールだと、クラッシュをした際にログを一度SDKに溜めて、アプリを再起動したときに初めて検知します。一方、「SmartBeat」は落ちた直後に検知しているので、その後ユーザーに離脱されたとしても、正確なクラッシュの数を知ることが可能です。
ユーザーって、クラッシュをしたら離脱しがちなので、クラッシュの数に差分が生まれることが多いです。


――ツール内の見やすさにもこだわっているのですか?

仲井氏:UIの使いやすさはもちろん、すべての不具合を数字で表現できるように工夫しています。クラッシュ以外にも、細かなバグに対してもどのくらいの確率で起きているのか、数字によってひと目で判断できるようになっています。

――では、導入時の手順についても教えてください。

仲井氏:弊社の開発に詳しくない、営業担当のスタッフが試してみても10分程度で終わるくらい、とても簡単な作業で終わるように設計してあります。仮に問題があった場合も、弊社にはカスタマーサクセスのチームが存在し、すぐにサポートできる体制を整えております。

鏡谷氏:とても簡単でしたね。最初に導入したときですら10分くらいで済みました。これまでに「SmartBeat」を起因とした障害もありませんし、新しいバージョンのOSが登場したときもすぐに動作を確認してくれます。担当するエンジニアにSDKを渡すだけで対応してくれて、技術的な質問をされたことは一度もないくらいです。


――サイバードさんとFROSKさん、それぞれ今後の展望があれば教えてください。

鏡谷氏:クラッシュをしない、エラーを出さないという”当たり前品質”が「SmartBeat」によって実現しました。開発チームはクリエイティブに集中できるようになりましたので、今後は”魅力的品質”にも力を入れられるようにしたいです。

仲井氏:ゲームアプリで主流なUnityやUnreal Engine4といったエンジンもアプリの魅力品質を高めるために早い進化をしてきています。その早さに対応できるよう、それ以上に「SmartBeat」は努力しています。さらに言えば、近年盛り上がりを見せているUnreal Engine4に対応したエラー検知ツールは恐らく「SmartBeat」だけなので、そこにもゲーム開発にも積極的に貢献していきたいと思っています。


――最後に、読者へ向けてのメッセージがあればお願いします。

鏡谷氏:私の立場からだと、「SmartBeat」最大の魅力はエンジニア以外の人間がクラッシュに目を向けられることだと思います。ぜひディレクターやプロデューサーといった、エンジニア以外の人に使ってもらいたいツールですね。8月にリリースしました『イケメン源氏伝 あやかし恋えにし』でも「SmartBeat」を利用して、とても高品質なゲームに仕上がっています。お客様に自信を持ってお送りできるゲームなので、どうぞお楽しみください。


『イケメン源氏伝 あやかし恋えにし』©CYBIRD

仲井氏:ユーザーさんからしたら一度のクラッシュでゲームに対する興味が薄れてしまいます。「SmartBeat」は、頑張って作ったゲームをしっかり楽しんでもらうためのツールでもあります。今後もより簡単に、より詳しく、そしてよりエラーが少なくなるツールを目指して頑張っていきたいです。

――ありがとうございました。

 
 

SmartBeat紹介ページ

SmartBeatの詳細資料はこちら


FROSK株式会社では、アプリ運営・開発に役立つイベントを日々行なっています。
詳細は下記をご覧ください。

FROSKイベントページ

株式会社サイバード
https://www.cybird.co.jp/

会社情報

会社名
株式会社サイバード
設立
1998年9月
代表者
代表取締役社長兼CEO 本島 匡
決算期
12月
直近業績
売上高60億円、経常利益1億1100万円、最終利益8900万円(2021年12月期)
企業データを見る