ページの本文へ

Hitachi

企業情報研究開発

  • 写真「中嶋 満雄(なかじま みつお)」
    中嶋 満雄
    (なかじま みつお)
    主任研究員
  • 写真「福田 伸宏(ふくだ のぶひろ)」
    福田 伸宏
    (ふくだ のぶひろ)
    主任研究員
  • 写真「上村 順次(かみむら じゅんじ)」
    上村 順次
    (かみむら じゅんじ)
    研究員

プロジェクタを明るい場所でも見やすくできないか―この課題を解決するために、日立製作所では、プロジェクタの視認性を向上させるための技術開発を進めてきました。この開発の中で着目したのが、人間の「目」と「脳」の仕組みを描いたRetinex理論。人間の目の特性を生かすことで、これまでにない「見やすい」プロジェクタを実現しています。

(2013年10月21日 公開)

「見やすい」とはどういうことか

映像の高画質化が進んでいますね。

写真「中嶋 満雄(なかじま みつお)」

中嶋「高画質」というキーワードは、ハイビジョンテレビが登場した1990年代から注目され始めました。日立でも、そのころからテレビを始めとする映像機器全般の高画質化技術の開発に取り組んでいます。

年々技術を積み重ねているのですが、ここ4〜5年は、動画をよりきれいに映し出すための「フレームレート変換技術」や「超解像技術」の開発に取り組んできました。最近はより映像を見やすくするための「視認性」がクローズアップされています。

図1 日立の高画質化技術の変遷
1990年代から近年までの日立の高画質化技術の変遷を示す図。プログレッシブ技術、階調・色補正、映像適応制御技術、フレームレート変換技術、超解像技術、Retinex応用視認性向上技術、という流れで現在に至っている。

視認性を高めるためには、何が必要なのでしょうか。

中嶋わたしたちは、これまでの開発での取り組みや議論を通して、画質の評価要素を次の図のような六つの要素に整理しました。例えば、「陰影感」はメリハリがあること、「階調感」は滑らかさ、「S/N感」はノイズが少ないこと、などをそれぞれ示しています。

この中で、視認性を高めるためのポイントになるのは、上側にある「精細感」「陰影感」「鮮やかさ」の三つの要素です。その中でも、特に「陰影感」が重要です。

図2 画質評価要素と対応する画像補正項目
画質の評価要素と、それに対応する画像補正項目を示した図。視認性向上においては、精細感・陰影感・鮮やかさの評価要素が重要となる。

上村しかし、単純に陰影感を向上させればよいというものではありません。上の図を見ていただくとわかるのですが、対極にほかの要素がありますよね。この対極の要素は、相反する性質を持っています。例えば、「陰影感」の場合は、「階調感」とトレードオフの関係にあります。つまり、陰影感を強めてメリハリをつけ過ぎてしまうと、映像が荒くなって階調感(滑らかさ)が失われてしまい、逆に見づらくなってしまう可能性があるのです。ですので、この対極とのバランスをとることが重要になります。

プロジェクタの弱点は明るい場所

プロジェクタの視認性を向上させる上で、どのような点が課題となるのでしょうか。

中嶋みなさんも経験があると思うのですが、明るい場所だとプロジェクタの映像が見づらいですよね。以前は、暗い場所で使うのが当たり前でしたが、現在はプロジェクタの使われ方も多様化していて、「明るい場所でも使いたい」というニーズも強くなっています。このため、明るい場所での視認性の向上が大きな課題となっていました。

なぜ明るい場所だと見えづらくなってしまうのでしょうか。

写真「福田 伸宏(ふくだ のぶひろ)」

福田これには、人間の視覚特性が大きくかかわってきます。

一つ目の特性は、人間の目のダイナミックレンジです。ダイナミックレンジとは、認識できるいちばん明るいところといちばん暗いところの差を比率で表したもので、人間の目の場合は1:100といわれています。この100という数字は、そのレンジ(幅)をどれぐらいの階層に分けて認識しているかを示すもので、「分解能」と呼ばれるものです。自然界のダイナミックレンジは、1:10,000,000,000なので、人間の目で見分けられる明るさが限られているのがわかると思います。

そして、二つ目の特性は、この階層は絶対的なものではなく、環境によって変わるものである、ということです。

…難しい話ですよね。具体的な例で説明しましょう。まず、こちらの写真をご覧ください。

写真1 明るさの対比を示す写真 *
明るさの対比を示す写真。屋外から屋内の様子を見ると、屋内が暗く見えるのがわかる。

*
ITE標準動画像より

福田この中の奥のお店を見てください。外から見ると店内が真っ暗で、中の様子まではわかりませんよね。しかし、お店の中に入るとどうでしょう。おそらく、お店の中の調度品などがしっかり見えるはずです。

これは、人間の目が、いま見ている環境の中で、明るさを100段階に分けて認識しているために起こる現象です。外にいる場合は、いちばん明るいところと暗いところの差が大きいので、店内の照明程度の明るさは、ほぼ黒色として認識されてしまいます。しかし、お店の中に入ると、外のときほど明暗の差が大きくないので、識別できる光が細かくなります。このため、外のときよりも鮮明に認識できるようになる、というわけです。

人間の目は相対的に明るさを判断しているのですね。

福田そうですね。では、プロジェクタに置き換えて考えてみましょう。暗所の場合、プロジェクタから出てくる光以外は存在しないので、プロジェクタの光だけを100階層に分解して判断します。 そこに外光が入ると、全体的に明るさが増すので、光のレンジ(幅)が広くなります。しかし、映像の光の強さ(レンジ)は変わらないので、映像部分の分解能が低下してしまい、映像が判別しづらくなる。つまり、コントラストが低下してしまうんです。

だからコントラスト補正が必要になるのですね。

中嶋そうなんです。しかし、画像全体に対してコントラスト補正をすると、いちばん明るいところと、いちばん暗いところに合わせて補正されてしまうので、白いところはより白く、黒いところはより黒くなってしまい、画像がつぶれてしまう個所が出てきてしまいます。

つぶれる個所を最小限に抑えるためには、画像の一部分ずつを補正する「局所コントラスト」が有効です。局所コントラストを利用すると、画像中の明暗の階調を保ったまま、それぞれの部分のコントラストを上げられますからね。この局所コントラストを実現するために使われる理論の一つが、Retinex理論です。

「目」と「脳」の仕組みを利用する

Retinex…聞きなれない言葉ですが、どのような理論なのでしょうか。

写真「中嶋 満雄(なかじま みつお)」

中嶋Retinex(レティネックス)は、Retina(網膜)とCortex(大脳皮質)を合わせた造語で、人間の「目」と「脳」で光がどう感じられるのか、という仕組みを描いている理論になります。

Retinex理論の基になる理論は、60年ほど前に発見されたのですが、定量化できない「感覚」の研究なので、いまでも結論が導き出せていません。医学分野の専門家も含め、各研究者が独自のモデルを作って、どうすれば視覚効果や計算効率が上がるのかというところを研究している段階です。

Retinex理論の原点には、「色恒常性」「明るさ恒常性」という理論があります。今回のコントラスト補正では、「明るさ恒常性」の考え方を応用して、アルゴリズムを検討しました。この理論を基にすると、映像は「照明光×反射率」で表され、人は「反射率」を感じ取れると言えます。プロジェクタの場合、外光によって視認性が低下してしまうので、「反射率」を向上させることが効果的です。

Retinex理論によれば、局所的に映像から照明光を推定することで、反射率を算出できます。そこで、その反射率を増幅して映像に戻すことで、映像の分解能を向上させようと考えました。このように、Retinex理論を使った局所的な処理を全体に実施することで、映像全体の見やすさを向上させました。

部分的に調整して、全体のバランスは大丈夫なのでしょうか。

福田たしかに部分的に調整していると、ほかの部分との整合性がとれなくなったり、明るさが逆転したりするんじゃないか、と思われますよね。でも、そのような心配は無用です。

ちょっと実験してみましょう。下の図の、「A」と「B」の明るさはどのように見えるでしょうか?

図3 アデルソンの錯視
アデルソンの錯視図。同じ明るさでも、周囲の明るさが異なると、違う明るさとして認識されることがわかる。

福田「B」の方が明るく見えますよね。でも、この二つは同じ明るさなんです。ダイナミックレンジのお話でも「人間は相対的に明るさを判断している」と説明しましたが、それと同様に、輝度も周囲の明るさとの対比で識別しているんですね。

人間は、絶対的な輝度を知覚できないのです。ですので、局所的にコントラストを変えても大きな支障はなく、むしろ人間の目のメカニズムを模倣することにつながりますので、理にかなっていると言えるのです。

Retinex理論を使うと、どこまで見やすくなるのでしょうか。

上村評価測定では、定量的な評価と、人の目による主観評価の2種類を実施しています。定量的な評価では、計算によって、外光で低下した分解能を局所的に復元できている、ということが証明されました。一方、主観評価では、冒頭で説明した六つの評価要素について、被験者に5段階で評価してもらい、視認性が向上したかどうかを測定しました。

実際の画像を見ればはっきり違いがわかると思います。下の図をご覧ください。下部の画像がRetinex応用技術を用いて補正した画像なのですが、特にイチゴやさくらんぼの光沢が違いますよね。反射率をコントロールしたことで、光沢感、精細感、陰影感を高められ、視認性が向上したと言えると思います。

写真2 Retinex応用技術を用いて補正した画像 *(上部が適用前、下部が適用後)
外光により視認性が低下した画像と、Retinex応用技術を用いて補正した画像の比較写真。Retinex応用技術を用いると、光沢感・精細感・陰影感が増す。

*
パターン提供 (株)シバソク

中嶋6つの画質要素のほかに、もう一つ重要な要素があります。それは、「質感」です。その物体が柔らかい毛布のようなものなのか、硬い鉄のようなものなのか、というのがわかるかどうかによって、視認性は大きく左右されます。このため、今回の開発では「質感」の表現にもこだわりました。しかし、「質感」は人の感覚によって変わるので、評価が難しかったですね。

理論から製品に

検討された理論は、そのまま使えるものなのでしょうか。

写真「上村 順次(かみむら じゅんじ)」

上村プロジェクタ特有の問題があるので、そのままというわけにはいきません。まず、キーストーン補正に対応しなければなりません。プロジェクタで斜めに投影すると、台形型にゆがむときがありますよね。キーストーン補正は、この台形を長方形に補正するための機能です。そのゆがみを考慮して、Retinexによる補正強度を調整する必要があります。

また、プロジェクタはいろいろな環境で使われますので、明るいところで使っても、暗いところで使っても、それぞれのダイナミックレンジに応じて、適切に補正範囲を調整できるようにしなければなりません。

このような点を加味した上で理論を再構築し、製品に載せました。

補正量が大きくなると、処理が大変なのではないでしょうか。

上村そうですね。なので、処理を実現する手段を何にするか、ということも重要になります。大きく分けると、ソフトウェア系のCPUとGPU、ハードウェア系のFPGAとASICがあるのですが、製品の特徴を考慮した上で、選定する必要があります。

今回は、ハイエンドプロジェクタで使用するため、映像の画面サイズが1920×1200ピクセル、またはそれ以上の高精細な映像も考慮しました。しかも、局所的な空間フィルタ処理を実施していくため、映像が大きいほど処理の回数が多くなり、速さが求められます。このため、今回のプロジェクトでは、速さを重視しつつも何か起こったときに比較的容易に変更できるものがよい、ということになり、FPGAを採用しました。

図4 処理を実現する方法の検討
処理を実現する方法(CPU、GPU、FPGA、ASIC)の比較。ソフトウェア系(CPU、GPU)は設計変更の容易性が高く、ハードウェア系(FPGA、ASIC)は処理速度が速い。

上村一方、処理をいかに軽くするかということも、コストを抑えるためには重要になります。正確な論理値を出そうとすると、処理に時間がかかります。そこで、100%の正解ではなく、「近似値」を求める計算式を多用することで、処理を軽くし、スピードを上げるようにしました。人間の目の分解能が100なので、論理値との誤差を1%以内と定めて、最適な近似式を検討しました。

中嶋理想を追求すると、色んな効果を出せるのですが、「その理論が本当に製品に適用できるのか」というところがとても大事で、理想と現実を両立させるというところが、製品化のキーになりますね。今回の開発については、高い次元で両立できて、非常に高い効果を得られていると思います。製品化したものについては、2013年5月から海外で発売されているのですが、販売員の方から、「視覚的効果も大きくて、アピールしやすい」と高い評価をいただいています。

人・社会に貢献できる技術を

「視認性向上技術」は、この後どのように発展していくのでしょうか。

中嶋今回の開発では、局所的にコントラスト補正を実施して、質感を高めるところを実現しました。今後は、局所的な補正にプラスして、もっと広い範囲でのコントラスト補正にもアプローチしたいと考えています。映像中の、明るい部分と暗い部分のコントラストや質感を同時に上げることで、さらに視認性の高い表示が実現できるのではないかと思います。

また、視認性向上技術は、プロジェクタやテレビだけでなく、車載モニタや医療機器など、使用される分野も広がっています。今後は、そういったほかの分野への貢献も図っていきたいという想いです。

幅広い分野に目を向けられているのですね。

写真「福田 伸宏(ふくだ のぶひろ)」

福田最近のトレンドとして、「五感をサポートする」という考え方や技術が注目されています。今回の開発は、Retinexという人間の目と脳の関係をとらえる考え方を利用して、「視覚」をサポートしています。今後も、今回のように人の五感をサポートしていくような技術を開発していけたらな、と思っています。

どんなに優れた技術を開発したとしても、人や社会に役立たなければ意味がないと思うんです。今後もわたしたちが開発した技術で、人や社会に貢献していきたいですね。

写真「上村 順次(かみむら じゅんじ)」

上村わたしは、このような高い技術がより多くの人の目に触れられて、さらに幅広い分野で活用されたらよいな、と思っています。

最近では、プロジェクションマッピングという技術を使って、東京駅などでイベントが催されたりしていますよね。こういう遊び心がある取り組みから、また新たな要求が出てきて、新しい技術が生まれてくるのではないかと思うんです。そういった世の中の変化に対応して、我々もどんどん遊び心のある製品を作っていきたいと思っています。

特記事項

  • 2013年10月21日 公開
  • 所属、役職は公開当時のものです。
  • ページの先頭へ

類似キーワードコンテンツ

  • ページの先頭へ