セプテーニは、東京大学大学院情報理工学系研究科・山崎研究室との共著論文が、コンピューティングテクノロジー分野の国際ジャーナル「International Journal of Semantic Computing（IJSC）」にて採択されたことを発表した。（以下、プレスリリースより）
【共著論文について】
■論文タイトル
「Click-Through Rate Prediction of Online Banners Featuring Multimodal Analysis」
https://www.worldscientific.com/doi/abs/10.1142/S1793351X20400048
■発表者(発表当時)
夏 博惠（東京大学大学院情報理工学系研究科 電子情報学専攻 修士課程1年）
勢〆弘幸（Septeni Japan株式会社 データ事業本部）
WANG Xueting（東京大学大学院情報理工学系研究科 電子情報学専攻 特任研究員）
山崎 俊彦（東京大学大学院情報理工学系研究科 電子情報学専攻 准教授）
■研究概要
セプテーニは、東京大学大学院情報理工学系研究科電子情報学専攻・山崎研究室(以下、東大・山崎研究室)との共同研究により、広告の画像・言語特徴やその他入手可能なデータを用いて広告配信前に高精度に効果(ここではクリック率)を予測する技術について、さらなる予測精度向上と、画像中の効果寄与領域を可視化する技術を実現しました。
画像、テキスト、メタデータといった複数種類のデータに対して、マルチモーダルな学習をおこなうことで広告効果を予測する既存手法に対して、テキストデータの学習方法の工夫、メタデータの追加等により、さらに高精度な予測手法を考案し、飛躍的な精度向上を確認しました。
また、Sensitivity mapという手法を用いて、画像中のどの領域が広告効果に寄与しているかを可視化することにも成功しました。
■研究詳細
＜研究背景と経緯＞
セプテーニでは、東大・山崎研究室と2018年より産学連携を進めており、これまで蓄積してきた広告クリエイティブに関するデータをもとに、ディープラーニング（深層学習）をはじめとする機械学習技術により、クリエイティブ単位での広告効果の事前予測、予測根拠となった要因の可視化、改善案の提示・美的感覚の調整といった制作サポートの実現を目指して研究を進めてまいりました。
＜研究内容＞
このような取り組みのもと、今回採択された共著論文「Click-Through Rate Prediction of Online Banners Featuring Multimodal Analysis」では、広告の画像・言語特徴やその他入手可能なデータを用いて広告配信前に高精度に効果(ここではクリック率)を予測する技術について、さらなる予測精度向上と、画像中の効果寄与領域を可視化する技術を実現しました。
高精度な予測手法について、具体的には、テキストデータを単語に分割して特徴ベクトル化し、さらにCNN（Convolutional Neural Network）を適用する手法を用いました。また、メタデータを追加することにより、高い精度で予測することに成功しました。
過去に配信された約45,000枚の広告画像で学習、約9,000枚の画像でバリデーション(パラメータ最適化など)を行い、約9,000枚の画像を用いて予測実験を行った結果、既存手法ではクリック率 (Click Through Rate, CTR)の予測相関係数が0.55 (国内企業が論文発表した既存技術を同データに適用した場合0.37)であったのに対し、本提案手法では予測相関係数0.83と、飛躍的な精度向上を確認しました。
また、画像中のどの領域が広告効果に寄与しているかを可視化する手法について、具体的には、Sensitivity mapという手法を用いました。広告画像を100×100のウィンドウサイズでスライドさせ、ウィンドウ内の画素をそれらの平均値で置き換えて広告効果を予測させることで、本来の広告効果よりも予測値が低下した場合は広告効果が高くなる要素、予測値が向上した場合は広告効果が低くなる要素として可視化しました。
■今後の応用と展開
今回提案された手法により、多数の広告クリエイティブの配信検証プロセスを省略でき、配信開始時から広告効果の高いクリエイティブを優先的に選択することが可能となります。また、画像中の広告効果の寄与領域を可視化することで、デザイナーの制作支援にも応用可能となります。これらの技術の一部は、既にセプテーニが提供する広告クリエイティブのソリューションツール「Odd-AI」にも適用し、実運用への活用も進んでおりますが、今後は、AIによる自動広告生成、動画広告の効果予測や制作支援など、さらなるサービスの発展に力を尽くしてまいります。
