ミクシィ、音と映像と通信のプロフェッショナル向け展示会「Inter BEE 2021」に初出展　TIPSTARなどで利用するレース映像領域の実装事例を展示

ミクシィ<2121>は、 11 月 17 日（水）～19 日（金）に幕張メッセで開催する、日本随一の音と映像と通信のプロフェッショナル向け国際専門展示会「Inter BEE 2021」に初めて出展する。

■出展の経緯
現在「エンタメ×テクノロジーの力で、世界のコミュニケーションを豊かに」を中期経営方針に掲げ、最新のテクノロジーを駆使したエンターテインメントやスポーツ領域での事業成長に注力している。

昨年からは、競輪とオートレースの全レース映像を基本無料で、友達と一緒に楽しみながらネット投票ができる共遊型スポーツベッティングサービス「TIPSTAR（ティップスター）」の提供を開始しました。

また、今年 10 月に開始した千葉市が公営競技として主催する新しい自転車トラックトーナメント「PIST6 Championship」においては、競技としての魅力の最大化、そしてこれまで競輪など自転車競技に触れる機会の少なかった若い世代や女性、家族連れにも楽しめるよう、会場である「TIPSTAR DOME CHIBA」の内装やフード、アート、会場演出などを構想、支援している。

これらのサービスには、同社が開発した映像編集や伝送に関する技術が多く使われています。TIPSTAR においては、全 48 の競輪・オートレース場からの映像伝送システムを構築し、さらにブラウザ上でリアルタイムに映像ができる編集システムや、 レース映像 を AI で自動編集する技術などを独自開発した。

また 、PIST6Championship では、選手の車両にカメラを取り付け、迫力あるオンボード映像の伝送を実現する車載中継システムや、レースや選手の情報、写真などを外部システムから自動で取得し、リアルタイムで編集、伝送が可能な映像編集システムを独自開発した。

今回、当社が開発、導入している映像編集、伝送技術を多くの映像関連の技術者に知ってもらい、今後様々な企業と連携してより先進的な技術開発を加速させていきたいとしている。

「Inter BEE 2021」のミクシィブースでは、同社が開発し、TIPSTAR と PIST6 Championship で導入しているレース映像領域の実装事例を展示する。


■出展概要
名称 Inter BEE 2021（インタービー 2021）
会期 <幕張メッセ> 2021 年 11 月 17 日(水)～11 月 19 日(金)

<オンライン> 2021 年 11 月 17 日(水)～12 月 17 日(金)
会 場 幕張メッセ および オンライン
出展ブース ミクシィブース ホール 7 小間番号 7101
主催 電子情報技術産業協会（JEITA）
公式サイト https://www.inter-bee.com/


■出展内容
①【TIPSTAR】AI を活用した競輪・オートレースのリアルタイム映像の自動編集システム
全国に計 48 カ所ある競輪・オートレース場から配信されるレース映像の編集作業において、AI による自動化を実施し、適切なタイミングでテロップや BGM が流れる仕組みを開発した。テロップや BGM 入れは通常スタジオ等で専用機器を用いて手動で行うケースがほとんどですが、当社では AI を用いた映像のリアルタイム自動編集の仕組みを開発し、TIPSTAR で取り入れています。現在本技術は特許申請中。

AI による自動編集の仕組み
・技術構成：Python + TensorFlow Lite + Edge TPU（ASIC）
・学習は Cloud AutoML Vision Edge、推論は Edge TPU で行っている
・画像 + 音からレースの状態を推論
┗音はメルスペクトログラム画像化して学習・推論
┗モデル構造は MobileNetV2 をベースに、少量のカスタマイズ
┗Edge TPU に最適化して使用（学習後、モデルは INT8 ビット量子化され、1 つの Operation にまとめられる）
・レース状態に応じて映像編集 API（以降、BC）から編集


②【TIPSTAR】各競輪・オートレース場からの映像をブラウザ上で編集可能にするツール「BreezeCast」
TIPSTAR では各会場から配信される映像にテロップや BGM を入れる編集作業を、ブラウザ上で可能にするツール「BreezeCast（ブリーズキャスト）」を独自に開発しました。通常であれば、専用の機材が用意された環境で映像編集を行うものの、BreezeCast はブラウザ上で作業ができるため、インターネット環境さえあればどこにいても映像編集作業を行える。コロナ禍において、物理的に編集スタジオに多くのスタッフが集まって編集作業を行うことができなくなったことがきっかけで開発が行われた。


『BreezeCast』の技術構成
技術環境：Vuejs / Golang / C++ /
Blackmagic decklink / WebRTC
○インフラは GKE + オンプレミスサーバー
┗オンプレミスも含め、全てコンテナベースで構成
○編集のためのアプリロジックの実装は Golang
┗レースや選手の情報 ※レースのテロップ素材/BGM 等
┗演者用テロップやレース結果を表示するための画像生成等
○映像編集のための UI は VueJS
○実際に編集するための描画処理は C++で管理
┗同軸ポートの SDK 描画処理
┗各素材の座標管理やレイヤーの管理・レース状態に応じて映像
編集 API（以降、BC）から編集


③【PIST6 Championship】選手目線で迫力あるオンボード映像の配信を実現する車載中継システム
ドーム型の自転車競技施設「TIPSTAR DOME CHIBA」にて開催されている「PIST6 Championship」のレース中継において、よりタイムリーに迫力あるオンボード映像の配信を実現する車載中継システムを独自開発した。レースに出場する全選手の車両ハンドル部分に、フロント映像用小型カメラを特注専用マウンタで装着し、無線通信による映像伝送を行っています。通常のトラック外からのレース映像の中に選手と同じ目線の車載中継映像を差し込むことで、視聴者により一層レースの興奮を届けることが可能となった。


④【PIST6 Championship】レース情報や選手写真などをリアルタイムに自動編集するシステム「Uros（ウロス）」
「PIST6 Championship」が開催されている「TIPSTAR DOME CHIBA」内の大型ビジョン及び TIPSTAR などオンラインの視聴者向けに、会場の映像をリアルタイムに自動編集、伝送ができるシステム「Uros」を独自開発した。

「Uros」では、選手紹介や入場シーン、レースシーンなどの際に、外部データベースに保存されている演出に必要な選手情報や写真、レース情報を自動で取得し、リアルタイムで中継映像に反映される。そのため、該当部分については現場で編集作業や演出準備の必要が無く、工数ゼロで運用できています。また、「Uros」の開発にはゲームエンジンの Unity が使用されており、より華やかな映像表現が可能になっている。

「PIST6 Championship」公式 Youtube：https://www.youtube.com/channel/UC7ZGw184pJdsFCXfsXXXO-A


■PIST6 Championship について
「PIST6 Championship（ピストシックス チャンピオンシップ）」は、千葉市が主催する国際基準のルールに基づいて行われる、日本初の新しい自転車トラックトーナメントです。2021 年 10 月 2 日（土）より、250m 周長の木製バンクと、約2,000 席の観客席を備えたドーム形の自転車競技施設「TIPSTAR DOME CHIBA」にて、トラック競技の国際大会で行われる「ケイリン」種目に準拠した公営競技として開催される。

「PIST6 Championship」は、国内外からトップアスリートが集結し、自転車レースの世界最速を決めるハイレベルな競技性と、アート・フード・ファッションなどのエンターテインメント性が融合した、全く新しいスポーツエンターテインメント。

PIST6 Championship 公式サイト https://www.pist6.com


■PIST6 Championship と当社の関わりについて
PIST6 Championship は千葉市が公営競技として主催する新しい自転車トラックトーナメントで、千葉市より包括委託を受けた株式会社 JPF より、当社と JPF 社の合弁企業である株式会社 PIST6 が一部再委託を受け、お客さまの体験設計やイベントの運営、マーケティング領域を担当している。

同社は PIST6 Championship において、競技としての魅力の最大化、そしてこれまで競輪など自転車競技に触れる機会の少なかった若い世代や女性、家族連れにも楽しんでいただけるよう、会場である TIPSTAR DOME CHIBA の内装やフード、アート、会場演出などを構想、支援してきた。また、車券の販売については当社が提供する共遊型スポーツベッティングサービス「TIPSTAR（ティップスター）」でのみ実施している。