画像内のパターンや質感あるいは詳細な構造が重要な領域に応じて圧縮・伸長処理を最適化
2020年9月30日
株式会社日立製作所
日立は、日々生成され続ける膨大な画像データの効率的な活用をめざし、画像内の領域に応じて圧縮・伸長処理を最適化する深層学習ベースの画像圧縮技術を開発しました。本技術では、単純な画素値*1の誤差量で表現される画質の指標ではなく、人が視覚的に評価する画質*2 (以下、視覚的画質)への特化を狙い、画像内のパターンや質感が重要な領域と、詳細な構造が重要な領域に応じて、圧縮・伸長処理を最適化します。本技術を用い、極めて少ないデータ量*3の条件下で競う画像圧縮コンテストにおいて、トップレベルの視覚的画質を実現していることを確認しました。今後、日立は協創などを通じて研究を加速し、大量データを活用するIoTソリューションへの応用を検討していきます。また、COVID-19がもたらす社会の変化に対しても、各種作業の遠隔化や自動化などのニーズを把握し、本技術の応用を検討していきます。
画像は、視覚的画質への特化を狙う上で、例えば花や草木のように一枚一枚の葉の詳細な構造は重要でないがテクスチャ(パターンや質感など)が重要な画像内の領域のほか、一部、小さな文字など詳細な構造が重要な画像内の領域が存在すると考えられます。このことから、前者の領域は、テクスチャを再現するための情報を優先し詳細な構造の情報を削ることで全体の情報量を削減でき、また後者の領域は、詳細な構造の情報を保持するが対象の領域を一部に限定することで全体の情報量を削減できると考えられます。今回、この点に着目し、画像内の領域に応じて圧縮・伸長処理を最適化し、伸張処理を領域ごとに自動で選択するSelective Detail Decoding技術を開発しました。本技術では、データの圧縮器および伸張器を、多数の層からなるディープニューラルネットワークで構成し、最終的な出力画像について領域ごとにそれぞれ重視する情報を優先して残すようにEnd-to-end*5で学習します。本技術を用い、極めて少ないデータ量*3の条件下で競う画像圧縮コンテストにおいて、トップレベルの視覚的画質を実現していることを確認しました。
図2 Selective Detail Decoding技術を適用した画像圧縮技術の概念