ページの本文へ

Hitachi

企業情報研究開発

  • 写真「福田 伸宏(ふくだ のぶひろ)」
    福田 伸宏
    (ふくだ のぶひろ)
    主任研究員
  • 写真「坂庭 秀紀(さかにわ ひでのり)」
    坂庭 秀紀
    (さかにわ ひでのり)
    研究員
  • 写真「長谷川 実(はせがわ みのる)」
    長谷川 実
    (はせがわ みのる)
    研究員

「本物よりも本物らしく」を目標に、日立が培ってきたテレビの高画質化技術。日立初の3D対応テレビ「Wooo GP08シリーズ」では、安全性と臨場感をキーワードに、さらなる高画質をめざしました。

その中で生まれたのが、今回ご紹介する「左右映像バランス調整技術」です。3D映像にありがちな「色ずれ」を解消することで、画質の向上に加えて視聴時の眼精疲労を軽減。快適な視聴をお手伝いします。

(2012年1月23日 公開)

再注目を浴びる3D

家庭用テレビの3D対応が進んでいますね。

写真「福田 伸宏(ふくだ のぶひろ)」

福田そうですね。2010年以降、各社から3D対応テレビが続々と発売されています。日立も2011年8月に、3D対応のプラズマテレビ「Wooo GP08シリーズ」を発売しました。

3D技術そのものは昔からあるものですし、注目されたのも実は今回が初めてではありません。今回3Dが再注目されたのは、2005年のShoWest(映画興行展示会)で、著名な映画監督から「次は3Dだ」という話が出たことが発端とされています。当時、映画館に足を運ぶ人が減り続けており、3D映画は映画館に人を呼び戻す手段として期待されたのです。こういった映画業界での3Dに対する盛り上がりが、家庭用テレビにも波及していったといえます。

3D映像が立体的に見える仕組みを教えてください。

長谷川3D映像は、「左目用映像」と「右目用映像」という、左右に「ずれ」のある二つの映像で構成されています。3D映像の再生時に、「左目には左目用映像だけ」、「右目には右目用映像だけ」を見せると、脳内で映像が一つに統合されます。このとき、二つの映像の「ずれ」が「奥行き」と認識されて、映像が立体的に見えます。つまり、脳の錯覚を利用することで立体的に見せているのです。

図1に示すように、映像の中の物体が「左目用映像では右側、右目用映像では左側」にずれていると、テレビ画面の前に物体が飛び出して見えます。逆に、「左目用映像では左側、右目用映像では右側」にずれていると、テレビ画面の奥に物体があるように見えます。

図1 映像が立体的に見える仕組み
映像が立体的に見える仕組みを示した図

どうやって左右の目に違う映像を見せているのですか。

写真「長谷川 実(はせがわ みのる)」

長谷川GP08シリーズでは、「アクティブシャッター眼鏡方式」という方法を利用しています。

アクティブシャッター眼鏡方式では、テレビ画面に左目用映像と右目用映像を1/120秒ごとに交互に表示します。視聴者は、テレビの表示に合わせてレンズ部分のシャッターを開閉できる、専用の眼鏡を掛けて映像を見ます。左目用映像が表示されているときには右目のシャッターを、右目用映像が表示されているときには左目のシャッターを閉じることで、左目には左目用映像だけ、右目には右目用映像だけを見せる仕組みになっています。

図2 アクティブシャッター眼鏡方式の仕組み
アクティブシャッター眼鏡方式の仕組みを示した図

  • ページの先頭へ

3Dならではの課題を探せ

3D映像ならではの課題として、どのようなものがあるのでしょうか。

福田一つは、臨場感の演出方法です。3Dの臨場感は、左目用映像と右目用映像の「ずれ」により生まれる「立体感」が決め手になるのですが、その立体感をより際立たせる必要性を感じました。そこで、わたしたちは絵画によく使われる遠近法を、既存の映像処理技術に取り入れることを提案しました。

景色を見たときに、遠くにあるものはぼやけて見えますし、手前にあるものはシャープに見えますよね。そういった見え方の特徴を映像処理に組み込むことで、映像の立体感や臨場感を引き出しています。この技術は「ピクセルマネージャーEX」と呼ばれていて、中央研究所のメンバーが中心となって開発しています。

写真「坂庭 秀紀(さかにわ ひでのり)」

坂庭"テレビジョン"はもともと「遠くのものを見る」という意味ですよね。そのため、遠くのものがそこにあるかのような見え方—リアルさを追求するのはもちろんのこと、人間のものの見え方を意識して「本物よりも本物らしく」見せるということもねらっています。例えば、桜の花びらの色は、日本人にとっては「薄いピンク」というイメージがありますよね。本当はもっと白っぽい色だったとしても、人間が記憶している色に合わせた方が、よりきれいに、より本物らしく感じられるんです。

映像を「どう見せるか」ということが大切なのですね。

福田はい。それは、3D映像も2D映像も同じです。日立は、テレビの高画質化技術について1990年代から継続的に開発に取り組んできました。フレームレート変換技術ですとか、精細感向上技術ですとか。こういった開発の成果は、歴代のWoooに反映されています。

坂庭GP08シリーズに搭載されている高画質化技術も、いままでの研究の積み重ねから来ているんです。3D対応テレビの開発が決まる前から、どのような技術が必要になるかを検討したり、どうすればより立体感が出るのかを評価したりしていました。

写真「長谷川 実(はせがわ みのる)」

長谷川実際に3D映像を見て課題を探す、ということもしましたね。当時は、3Dコンテンツの種類が少なかったので、調査にはとても苦労しました。3D対応のデジタルカメラやWebカメラを使って、自分たちで3D映像を撮影したこともありました。あえて画質が低い映像を見た方が、課題が浮き彫りになるのではという期待を込めて(笑)。

こういった調査を重ねる中で見えてきたのが、もう一つの課題—3D映像を見続けたときの安全性です。過去に3Dが注目されたときから、3D映像の視聴に伴う眼精疲労はずいぶん問題になっていました。眼精疲労を引き起こす原因はいくつかありますが、わたしたちは左目用映像と右目用映像の「色ずれ」に着目しました。3D映像を調査しているときにも、「色合いの違いが結構あるな」と気になっていたんです。このちょっとした気づきが、高画質化技術の一つである「左右映像バランス調整技術」を開発するきっかけになりました。

  • ページの先頭へ

左右の「色ずれ」をなくすには

「色ずれ」が眼精疲労につながる理由を教えてください。

長谷川3D映像に使われる左目用映像と右目用映像は、別々のカメラで撮っています。そのため、光学システムの関係で、まったく同じ色合いの映像を撮るのは難しいんです。その結果、左目用映像と右目用映像の「色ずれ」が起きてしまう。

左目用映像と右目用映像に「色ずれ」があると、「本当にこれは同じ映像なのか?」と脳が迷ってしまいます。つまり、脳内で映像の統合がしにくくなってしまうんですね。脳が迷っている状態のことを「視野闘争」というのですけれど、視野闘争が長時間続くと、眼精疲労などの健康上の問題が起きてしまうのです。

図3 視野闘争のイメージ
視野闘争のイメージを示した図

坂庭3D映像の視聴が引き起こす健康上の問題には、かなり早くから注目していました。安全性を確立するための活動にも、日立は積極的に参加しています。例えば、3D映像の安全性に関するISO規格(ISO 9241-300シリーズ)の策定や、「3Dコンソーシアム」という団体が出している安全ガイドラインの策定に携わっています。安全ガイドラインでは、3D映像の視聴について「6歳以下の子どもに配慮する」よう指針を出しています。これは、3D映像の視聴が子どもの視覚の発達に影響を与える可能性があるためです。

「色ずれ」をなくすために、どのようなことをしているのでしょうか。

福田左右映像バランス調整技術では、左目用映像の色に合わせて、右目用映像の色を補正するということをしています。どのような色がどのくらい使われているかを、左目用映像と右目用映像それぞれで分析し、情報量化します。これにより、左目用映像と右目用映像の色の差を数値で把握できます。そして、左目用映像と右目用映像の色情報が一致するように調整することで、左目用映像と右目用映像の「色ずれ」をなくしているのです。

図4 左右映像バランス調整技術の仕組み
左右映像バランス調整技術の仕組みを示した図

坂庭ただ、色情報を完全に一致させてしまうのもだめなんです。左目用映像と右目用映像には映っている範囲に「ずれ」があるので、左目用映像の端に緑色のボールが映っていても、右目用映像には映っていないことがあります。この場合、左目用映像の緑色の量に合わせて、右目用映像を補正してしまうと色合いがおかしくなってしまいます。

福田そういった誤差にあたる部分を計算に入れて、補正量を決める仕組みにしています。この補正量を決めるまでが結構大変で、調整に1か月ほど費やしました。数値だけを見ていては分からないことも多く、「主観評価」といって実際に映像を見て評価を行い、その結果を基に補正量を調整するということを何度も繰り返しました。

  • ページの先頭へ

映像をリアルタイム処理するための工夫

このような色合いの補正も、テレビが一瞬で処理してくれるんですね。

写真「坂庭 秀紀(さかにわ ひでのり)」

坂庭はい。リアルタイムで処理できるように設計しています。とはいえ、3D映像には左目用映像と右目用映像があるため、一度に処理しなくてはならないデータ量は2D映像の2倍。簡単なことではありません。

また、色合いの補正をしやすくするために、映像の色空間をRGBから色相を含む色空間に変換しているので、さらにデータ量が増えています。RGBの階調数は各色256階調ですが、色相の階調数はその数倍になります。操作できる階調数が増える分、データ量が増えてしまうのです。ですので、一度にたくさんのデータを処理できるような工夫が必要でした。

福田一度にたくさんのデータを処理するには、処理速度が重要になります。そのため、GP08シリーズでは、FPGAと呼ばれるハードウェアで処理を実施しています。

ただ、FPGAは高価な部品なので、回路規模が大きくなればなるほどコストが掛かってしまいます。部品のコストはテレビの値段に反映されますから、なるべく回路規模を小さくしてコストを抑えないといけない。せっかく画質にこだわって作ったテレビなのに、値段が高いせいで誰も手が出せなくなってしまうのは困りますからね。回路規模はなるべく小さくしつつ、従来の2倍以上のデータ量をリアルタイム処理できるようにする。ここが、製品化にあたっていちばん難しかったことです。

どのようにして両立させたのですか。

坂庭高速に処理しないといけない部分をハードウェアで、それ以外の部分はソフトウェアで処理するようにしました。ただ、何でもかんでもソフトウェアで処理をする訳にはいきません。ハードウェアとソフトウェアとの間で、大量のデータのやり取りが発生するからです。

ソフトウェアでは、メニュー画面の表示や音量調節など、さまざまな処理を制御しているので、これ以上ハードウェアとの通信量を増やすと処理が追いつかなくなってしまいます。そこで、ハードウェアとの通信量が少ない、映像分析処理や差分解析処理をソフトウェアで実施するなど、処理内容に応じて最適なバランスを探しました。

図5 左右映像バランス調整技術による映像補正処理の流れ
左右映像バランス調整技術による映像補正処理の流れを示した図

一部の処理をソフトウェアに任せたことで、すべてハードウェアで処理する場合と比べて、回路規模を1/2から1/3程度に減らせました。また、ソフトウェアに実行させる処理は、あとで微調整しやすいことも助かりました。FPGAも回路の書き換えはできますが、あとから変更するのは大変なんです。

  • ページの先頭へ

「映像処理」の垣根を越えて

映像処理技術は、今後どのように発展していくのでしょうか。

写真「福田 伸宏(ふくだ のぶひろ)」

福田今回開発した「左右映像バランス調整技術」では、映像を表示するときに色合いを補正していますが、3Dカメラに応用すれば撮影と同時に色合いを補正できるようになります。また、左右映像バランス調整技術の本質は、複数の映像の色合いを合わせるということなので、合成映像の制作などにも応用ができそうですね。

今後は、4K2Kなどのより高精細な映像や、裸眼3Dテレビ向けの多視点の映像も出てきます。リアルタイムで処理しないといけないデータ量が、どんどん増えていく。ですので、画質の向上だけでなく、データ処理の効率化についても研究を進めていく必要性を感じています。

世の中の動きに合わせて、研究対象も広がっていくのですね。

長谷川はい。タブレット型端末など、映像装置の主役もテレビから次第に移りつつあります。その中で、どういった課題があるかを見つけて一つ一つ改善していきたいですね。見せるための装置が変われば、技術的な課題も変わっていきますから。そのためにも、次の世の中の動きをきちんと見極めていかないといけないと思っています。

坂庭映像というのはとても情報量が多いので、いかに必要な情報を抽出するか、抽出した情報をいかにきれいに見せるか、ということも重要だと考えています。映像を見てどう思うか、どう感じるかということは脳が判断するので、これからの映像処理の研究は、脳の認識メカニズムの解明に近づいていくのではないでしょうか。

福田2011年4月の横浜研究所の発足に伴い、わたしたちが培ってきた映像処理技術は、テレビだけでなく、自動車やIT関連などの分野にも展開が進んでいます。今後は、あまり接点のなかった分野にも目を向けていくことで、新しい技術、いままでになかった技術を生み出していきたいですね。技術を通じて、人に社会に貢献していくことが、わたしたち研究者の使命だと思っています。

特記事項

  • 2012年1月23日 公開
  • 所属、役職は公開当時のものです。

関連リンク

  • ページの先頭へ

類似キーワードコンテンツ

  • ページの先頭へ