「OPTPiX ImageStudio」が深層学習搭載でテクスチャーのリマスターコストを1/3に削減　開発者に新機能の特徴を聞く(提供:ウェブテクノロジ)

ウェブテクノロジは、画像最適化ツール「OPTPiX ImageStudio 8」の最新バージョンであるVer.8.4.0を5月19日に公開した。今回のバージョンでは、オープンソースの超解像システムである「waifu2x」を独自の技術でカスタマイズ。「Clear waifu2x」と名付けたこのエンジンを使用した画像拡大機能である「テクスチャー超解像」を搭載している。

テクスチャー超解像とは、具体的にはどのような機能であり、どのような場面での活躍が期待できるのか。Social Game Infoでは、「OPTPiX ImageStudio 8」のプロダクトマネージャーを務める小野氏と、メインプログラムを担当した橋本氏にインタビューを実施。本機能の詳細や開発に至った経緯、今後の展望など詳しい話を伺った。


 

──：まずは「OPTPiX ImageStudio」シリーズについて、ご紹介をお願いします。

小野氏：OPTPiX ImageStudioシリーズは、画像データの画質を落とすことなく減色や圧縮を通じたファイルサイズ縮小、そして拡大・縮小を行う機能に特化した、画像最適化ツールです。ゲーム開発業界の定番ツールとして、20年に渡りご愛用頂いております。ゲーム業界以外にも、家庭用や業務用組込み機器、自動車などのメーターパネル、デジタル放送などのデファクトスタンダードツールとしてもご活用頂いております。

シリーズの最新バージョンとして、2019年8月にImageStudio 8をリリースいたしました。1つ前のバージョンとなる「OPTPiX imésta 7」は、20年に渡りアップデートを繰り返したため見た目が古く、機能も肥大化し過ぎておりました。

そのため、ImageStudio 8ではUIを一から見直しております。デザインも今風に刷新、機能も整備して分かりやすく改良を加えるなど、リニューアルしております。それから、2020年5月19日には、最新バージョンであるVer.8.4.0を公開致しました。
 

──：Ver.8.4.0では、どのようなアップデートがあったのでしょうか。

小野氏：特に力を入れているのが、「テクスチャー超解像」という機能です。「Clear waifu2x」エンジンを搭載した本機能は、ゲーム素材などに使われるアルファチャンネルの部分の精細さはそのままに、画像データの拡大を行うことを可能にします。

橋本氏：Clear waifu2xは機械学習のデータを利用しており、画像をただ拡大するのではなく、「元の画像がどのようなものだったか」を推測するという方法を元に作られたアルゴリズムです。

小野氏：今までのアップデートでは細かい改良やニーズに合わせてチューニングを行ったり、機能強化やファイル形式を追加するといった内容が多かったのですが、今回は新しいエンジンを作るなど、力を入れています。

橋本氏：従来の waifu2x では、アルファチャンネルを直接処理することができないため、いったん白黒画像として取り出し、個別に処理して元画像と合成する必要がありました。しかし、この手順では、完全に透明な領域とRGB部分が混ざり、結果品質に悪影響を及ぼすケースがあります。その点を解消しているのが、本ツールの大きなアドバンテージになりますね。

他にも、あえて半透明の部分を残すといったオプションを付けるなど、選択肢を増やしています。今のところ、アルファチャンネル付きのテクスチャーや画像を処理できる、業界唯一のツールとなっています。

 

▲テクスチャー超解像の処理を行った画像（左）とそのまま拡大した画像（右）。右の画像は拡大時に端の部分にノイズが入ってしまっている。


 

──：テクスチャー超解像を搭載するに至った経緯について教えてください。

小野氏： 近年、PlayStation2やニンテンドーDS、3DS、ガラケーのゲームタイトルをリマスター移植作品が増えてきたことで、その開発当時のリソースを再利用したいというご相談が増えてきました。そこで、ゲーム業界は waifu2x をテストしたのですが、前述した通り、waifu2xはアルファチャンネルの対応が不十分で、テストの結果が芳しくなかったのです。

一昔前のタイトルの画像・素材は、現在のタイトルと比べて解像度が大きく異なります。そのため、拡大ができないとなると画像を一から描き直したり、一枚一枚ドットから手直しするといった工程が生じてしまい、膨大な手間と時間がかかってしまいます。

そういった手間を解消したいという思いから、テクスチャー超解像の機能を搭載する考えに至りました。waifu2xを改造し、アルファチャンネル部分を綺麗に拡大できるようにしたのがClear waifu2xというエンジンです。


──：工数的に、どれぐらいの期間の短縮が期待できるのでしょうか？

小野氏：処理する画像枚数、その画像やテクスチャの用途により差はありますが、レタッチの人的コストを1/3程度に減らせることを目指しています。あくまでも一例ですが、ニンテンドーDSからNintendo Switchへの移植に本ツールを使用されたユーザーからは、労力が1/10になったというお声も頂いております。

橋本氏：また、アーティストが移植にかける手間を、大幅に減らせることもポイントです。工数が削減したことで、アーティストはクオリティのブラッシュアップや追加要素を入れるなど、クリエイティブなことに時間を割くことが出来ます。


──：本ツールの主な使用目的について、ゲームタイトルの移植を想定されているということでしょうか？

橋本氏：そうですね。特に、高解像度の元のデータが無くなってしまっているようなケースを想定しています。実際のゲームに使用していたような縮小調整をした画像しか残っておらず、その画像を使って移植を行いたいという場合に、本ツールはお役に立てると思います。アーティストが作成した素材が残っている場合はリマスタリングで済む話なのですが、素材そのものが紛失してしまっているケースも少なくないそうです。
 

小野氏：また、ボタンやアイコンのようなパブリッシュ先のハードウェアに合わせたサイズで制作された素材を拡大する場合にも、本機能が効果的です。最近はNintendo Switchや更に次世代のハードウェアへのIPタイトルのリマスター移植のお話が盛んなので、ニーズはあると感じています。スマホ作品も含め、最近はゲームタイトルの高解像度化がどんどん進みましたからね。


 

──：テクスチャー超解像が対応可能な素材について教えてください。

橋本氏：PNGやPSDなど、一般的に使用されている全ての素材の読み込みはもちろん、ゲーム業界では定番のTGAにも対応しています。waifu2xというアルゴリズムの性質上、線がはっきり見えているような素材の方が、より効果が得られやすいです。逆に、写真や自然画は得意ではありません。写真や自然画は、waifu2x ではなく、通常の補間拡大アルゴリズムの方が良好な結果を得られることがあります。

小野氏：それと、waifu2x は、平仮名や漢字といった文字を文字として認識することができません。そのため、図形・線画と同様に拡大してしまい、その結果、おかしな変形をしてしまうという弱点もあります。現状は、レタリングしている文字については、手直しをする必要が生じてしまいます。

橋本氏：他に対応可能な素材といえば、UIパーツですね。ドット絵の持つ雰囲気を残すといった機能もあります。ドットの色を保持するオプションで、オプションをオンにしてClear waifu2xを使った場合は色の階調がそのまま維持されて拡大されます。逆にオプションがオフの場合は、中間調の色が混ざったような状態になります。




──：一昔の作品だとドットを使用した作品が多いので、重宝しそうな機能ですね。

橋本氏：ガラケー用に開発されたゲームは、ちょうど2D回帰が流行していた時期でもあり、ドットライクなゲームが流行っていた頃の作品です。もちろん、ガラケーの処理速度が低いこともあり、2Dゲームが作りやすかったことも影響していると思います。Steamゲームもそうですが、ドット絵を求めるユーザーが多くなっているように感じています。

小野氏：ドット絵がモヤモヤしているなど、不鮮明な状態だと興ざめしてしまいます。くっきりドットが出てこその、ドット絵ですからね。


──：テクスチャー超解像を使用する際には、一枚一枚処理を行うことになるのでしょうか？

橋本氏：画像を1回ずつ処理する機能もありますし、入力フォルダー・出力フォルダーを指定して一斉に処理を行う一括処理機能もあります。また、CPU並列で複数ファイルを同時処理することも可能です。Clear waifu2xの処理が重く、GPU支援の機能を使って処理を行うため完全に同時並行ができない場合もあるのですが、そんな時でも一度に処理を指定して一晩置いておく、という方法が可能です。

小野氏：ImageStudioはGUIツールのイメージが強いのですが、実際はコマンドラインでの実行も可能です。また、JenkinsなどのCI（継続的インテグレーション）の自動ビルドのバッチに組み込むこともできます。
 

──：画像の拡大は、どの程度まで可能なのでしょうか？

橋本氏：ImageStudio自体が最大2万ドットまでの画像しか扱えませんので、2万ドットが限度となります。縦横が5000ドットを超えるとメモリの消費が大きくなってしまうので、その辺りでアラートが出るように設計しております。2～3倍までの拡大を想定しておりますが、効果が一番綺麗に出るのが2倍までですね。あまりにも拡大しすぎてしまうと推測がズレてしまい、線がぐにゃぐにゃになるなど画像が乱れてしまいます。


──：カメラにもデジタルズームを行った際に綺麗に撮影できるといった超解像機能がありますが、技術的には似たようなものなのでしょうか？

橋本氏：それは拡大のアルゴリズムを元に作られたエンジンだと思われますので、Clear waifu2xとは全くの別物です。カメラの超解像機能は、色の変化が少ない部分はそのまま拡大し、色の変化が激しい輪郭線の部分だけはっきり残すといった仕組みです。

ImageStudio 8のテクスチャー超解像は、AIで元の画像を縮小する前の元の画像がどのようなものだったかを推測し、創造する形になります。


──：開発にかかった期間について教えてください

小野氏：実は、5年ほど前に、waifu2xのアルファチャンネル対応を考案、研究していたことがありました。その基礎研究の上で、今回はアルファチェンネル対応の独自チューニングだったため、開発期間は短かったです。テスト期間を含めると、トータルで3ヶ月くらいですね。

──：開発する上で苦労した点はありましたか？

小野氏：アルゴリズムを考えることこそ大変でしたが、20年間の経験やノウハウを結集して制作しておりますので、「こういう機能をつければこういう結果が得られる」という肌感覚がありました（笑）。特に大変だったのは、GPUを使う上での調整を行うことでしたね。

橋本氏：開発後に苦労していることといえば、ユーザーに説明するための最適なサンプルのご用意ができていないという点です。実際のゲーム画像を使うのが一番良いと思うのですが、開発中のタイトルであることがほとんどなため、公開が難しいですよね。
 

──：ユーザーからの反応はいかがでしょうか？

小野氏：まだリリースして2か月ほどですが、ユーザーからの反応が少しずつ増えてきたという印象です。HDリマスターの開発をしているユーザーからは、上手く成果が上げられたいうお声も聞いているので喜んでいます。同時に、テクスチャー超解像を行うには不向きな画像があることも分かったため、継続的にゲーム開発現場の皆さんからフィードバックを集めて、今後も改良を進めていきます

橋本氏：「OPTPiX ImageStudio 8」は画像の情報量を削減するツールだというイメージが強いと思うのですが、テクスチャー超解像は画像の情報量を拡大することになります。これは、ImageStudio の従来のイメージとは真逆ですが、新しい『OPTPiX ImageStudio』というイメージを届けたいとも考えています。また、Nintendo Switchや、次世代ハード・プラットフォームへの移植の考えているユーザーに、ぜひ本ツールをご検討頂ければ幸いです。


──：今後の予定について教えてください。

橋本氏：7月末に「OPTPiX ImageStudio 8」のMac版をリリースしまして、9月にはこのMac版にも「テクスチャー超解像（Clear waifu2x）」の導入を行う予定でいます。トライアルもありますので、詳しくはお問い合わせ下さい。

小野氏：9月2日(水)～4日(金)に開催される「CEDEC 2020」では、スポンサーセッションを行います。セッションでは本ツールについてのご説明と、現在開発中の新たなツールについてのご紹介を行いますので、興味のある方はぜひご参加ください。

──：ありがとうございました。

 

製品ページ

CEDEC2020

製品へのお問い合わせ