ページの本文へ

Hitachi

公共ITソリューション

「視線検知技術をたばこ自動販売機マーケティングへ活用するための実証実験」(日本たばこ産業株式会社)

視線の行方から、利用者がどの製品を見ているかを特定する技術を実証

視線検知技術とは、日立の中央研究所が開発した、ビデオカメラで撮影された画像から人物の視線方向を特定する技術です。日本たばこ産業株式会社(以下JT)と日立では、この技術を活用し、たばこの自動販売機で利用者が注目する方向を分析して、マーケティングへの応用展開を実証する共同研究を行いました。
今回は共同研究に至った経緯や評価について、日本たばこ産業株式会社 法務部 知的財産センター 次長の渡邊浩司氏と、日立製作所 中央研究所の長屋茂喜 主任研究員にお話をお伺いしました。

今回インタビューにご協力いただいた方

[写真]日本たばこ産業株式会社 法務部 知的財産センター 次長 渡邊浩司氏 [写真]日立製作所 中央研究所 主任研究員 長屋茂喜

実験の背景

日立の視線検知技術はキャリブレーション不要。精度の高い情報の取得に期待

日立:
視線検知技術を、たばこ自動販売機のマーケティングに活用しようと考えたきっかけを教えてください。

[写真]日本たばこ産業株式会社 法務部 知的財産センター 次長 渡邊浩司氏

渡邊氏:
自動販売機に商品を陳列する順序は、売上に直結する重要な要素です。そこでJTでは、利用者がどの商品をよく見ているのか、といった情報から、マーケティング情報を収集する方法がないか、検討していました。
その時に、日立のニュースリリースで見た視線検知技術のことを思い出し、これだと思い連絡しました。

長屋主任研究員:
もともとこの技術は、監視カメラに写った人物の画像を解析するアプリケーションとして、2003年頃から研究を進めていたものです。ちょうど社会全体でセキュリティ強化の機運が高まってきており、カメラに写った人物の視線の動きから挙動不審者を判別することができれば有益ではないか、と考えていました。
ところが、研究を進めていくうちに「自動販売機やコンビニエンスストアなどの小売店にこの技術を適用すれば、不審者だけでなく、一般の顧客の視線の先、すなわちどんな商品を見ているかを調べられるのではないか」と気づいたのです。そこでマーケティング方面の可能性を検討しようと考えていた折、ちょうどJT様からお問い合わせをいただいた、というのが経緯です。

日立:
他社でも同じような研究を進めていると思いますが、日立の技術に着目いただいたポイントは何だったのでしょうか?

渡邊氏:
日立の要素技術では、キャリブレーション(目の位置やサイズなどを把握するための事前準備)が必要なく、顔の画像だけで視線を検知できる点に興味を持ちました。
加えて、従来のキャリブレーションありの方法では、被験者の頭部にバンドやカメラを装着する必要があり、どうしても事前に実験趣旨の説明、了解が必要になります。すると被験者も実験内容を意識してしまうため、精度の高いマーケティング情報が得にくいのでは、と懸念していました。日立の方式であれば、このような心配はいらなかったのです。

[イメージ]従来の手法と日立の要素技術の違い
従来の手法と日立の要素技術の違い(イメージ)

[写真]日立製作所 中央研究所 主任研究員 長屋茂喜

長屋主任研究員:
キャリブレーション不要という点は、研究者サイドでもこだわったポイントです。
そもそも当初の目的であった「不審者検知」の場合、怪しい人物の顔をあらかじめキャリブレーションすることは事実上不可能です。ですから、不特定多数の人の視線をキャリブレーションなしで検知する手法の確立が、技術的なポイントの一つと認識していました。このこだわりが、結果としてマーケティング分野でも役に立った形です。

実験の概要

自動販売機を題材に、模擬パネルを用いた精度検証を実施

日立:
今回はどのような実証実験をしたのですか。

渡邊氏:
日立と一緒に、たばこ自動販売機による「顧客視線情報からの嗜好性分析」機能の実現可能性を検討するため、模擬パネルを用いて視線検知技術の精度検証を行いました。競争優位性のある技術を、JTのビジネスでどのように活用できるか、実際に現場で使えるのかどうか、といった観点で早期に精査したかったので、比較的組み込みやすい自動販売機を実験の題材に選んでいます。

[イメージ]模擬パネルによる実験システムの概要
模擬パネルによる実験システムの概要

日立:
自動販売機の実機ではなく、模擬パネルを使用しているのには理由があるのでしょうか。

長屋主任研究員:
はい。実はこの本番実験の前に、2回の予備実験を行っており、その結果からこの方法に至っています。

最初の実験では、JTの社員の方々にご協力いただき、JT社内の自動販売機の実機に小型カメラを埋め込んで購買の様子を撮影しました。
ところが実際の購買シーンでは、ユーザーは必ずしも購入商品の方を向いたままではなく、視線をあちこちに動かしていることがわかったのです。そこで、純粋に視線検知の精度を測定するには実機を使った方法は不向きであると考え、模擬パネルによる実験に切り替えました。

2回目の実験は、日立の研究所内で実施しました。壁に描かれた等間隔の点のうち、特定の一つを被験者に見てもらい、その顔の画像から視線の向きを検知するというものです。
実はこの方法でも、視線の揺れが起きてしまいました。人間は「ここを見てください」と一点を指示されても、その場所をずっと見続けることなく、どうしても視線がさまよってしまうのです。
最終的にこの揺れをなくすため、点の代わりにLEDの点灯個所に注目させる方法を考案し、本番の実験で採用しています。

日立:
実験過程でも試行錯誤があったのですね。そのほかに、苦労した点などはありますか?

渡邊氏:
実験そのものよりも、実験に向けた社内での調整が大変でした。
視線検知は、先端技術の中では比較的わかりやすい部類ですが、JTは元々センシング技術を創出する企業ではありません。技術そのものの概要や、その利活用に関して、社内のキーパーソンに理解を得る点で大変苦労しました。

長屋主任研究員:
渡邊様には、実験方法などを含め、さまざまな相談に乗っていただきました。実験にあたり、JT社内から被験者を募集したり、各方面へ調整をしたりと、全面的なご協力をいただき感謝しております。
研究者の立場としては、やはり過去に類例のない、全く新しい技術の研究ということで、すべて手探りで進めていかなければならない点が大変でした。

実験の成果

ビジネス環境で使える精度を確認、コンビニなどさまざまなシーンでの活用も視野に

日立:
今回の実験で得られた成果を教えてください。

渡邊氏:
技術面では、今回のパネル実験で、誤差9度以内となる確率が水平方向74.7%、垂直方向66.0%の計測精度を実現しました。ただ、今回は数値よりもビジネス環境で使えることが確認できたことの方が大きな成果と感じています。この精度ならば、自動販売機をはじめコンビニエンスストアでの商品陳列など、さまざまなシーンでのマーケティング効果測定への活用の道筋が見えてくると思います。キャリブレーションが不要、不特定の人を対象に効果測定ができるといった強みを持つ技術ですので、活用範囲は広いと思っています。

長屋主任研究員:
正直に申し上げますと、研究者としては現在の精度にまだ満足しておらず、さらに向上させたいという思いがあります。人物の顔をアップで撮影できる環境であれば十分なのですが、店舗のようにカメラと人物との間に距離があるケースを考えると、より精度の向上を図り、正確なデータを測定したいと考えています。
現在よりワンランク検知精度が上がれば、さらに多くの分野への応用が可能になるのではないでしょうか。

[写真]視線検知技術による顔画像の認識結果
視線検知技術による顔画像の認識結果

日立:
逆に、課題となる部分はありましたか?

渡邊氏:
今回の実験に限ったことではありませんが、とかく先端技術に関しては研究者視点で使えるか使えないかを判断し、要素技術のスペックの改善に努める傾向があります。これからは、よりビジネス視点での利用シーンの検討が重要です。今回の自動販売機での実験はその第一歩だと思っています。

長屋主任研究員:
渡邊様の仰るとおり、今回の実験では、技術の評価指標をどこにおくべきか、その設定の難しさを痛感しました。技術的な観点でレベルを図るだけでなく、従来行われているマーケティング手法と比べてどの程度優れているのか、といった広い見地での評価も必要だと考えています。
従来この分野では被験者への聞き取りアンケートといった手法を使われていたそうですが、回答内容の確度が低かったり、ノイズが含まれたりといった欠点があったそうです。それに対して視線検知のような方法では、被験者の主観といった要素を排除できるので、より確度の高い情報が得られるわけです。こういった観点での評価も重要だと感じています。

日立:
不特定多数の人物の行動を収集することになりますが、実用化にあたってプライバシー侵害などの懸念はないのでしょうか。

長屋主任研究員:
視線検知に限らず、このような技術の実用化にあたっては、例えば公共空間に設置された監視カメラのように、まず社会的なコンセンサスを得ることが不可欠だと考えています。
とはいえ視線検知技術の場合、顔映像のような情報は分析の初期の段階でしか利用しません。最終的に個人を特定できる情報は消えてしまい、「何を見ているか」の情報だけが得られる仕組みですので、個人情報の取り扱いに配慮した技術であると思います。

今後の展望

早期にフィールド実験を実施し、フィードバックを

日立:
今後の展開予定は?

渡邊氏:
この技術は日立が研究開発してから一定の時間が経過していますが、 その斬新さや競争優位性は、現時点でも十分に保持していると思っています。ただ、ビジネスへの具体的な応用展開を実現するためには、ここ1年くらいが勝負です。自動販売機に限らず、具体的に何に組み込むことが有効なのかを早急に検討していきたいと思っています。

日立:
自動販売機以外の候補はあるのですか?

渡邊氏:
コンビ二エンスストアなどのサプライチェーンへの応用展開も期待できますが、たとえばWebの動画サイトやeコマースプラットフォームへ組み込むことで、デジタルマーケティングなどにも活用できるのではないかと思っています。早期にフィールド実験を行い、それをフィードバックできるような体制にできればと思っています。

長屋主任研究員:
この10年の流れを見ても、ICT機器の処理性能向上・小型化といった技術革新にはめざましいものがあります。こういったハードウェアの進化を背景に、現実世界の人間の行動とICTとを組み合わせて、顧客に新たな価値や体験を提供する全く新しい分野の情報サービスが出現し、一般化していくと考えます。
さまざまな人間の行動のうち、視線は本人の意思が端的に現れる要素です。視線情報を基にした情報サービスも、大きく発展していくのではないでしょうか。

【コラム】視線検知技術とは?

日立の視線検知技術では、不特定多数の人物の顔画像から、その人の視線方向を特定できる技術です。これは、どのような原理で実現しているのでしょうか。

長屋主任研究員:
人間の視線の方向は、「眼球の中心から黒目の中心へ向かう方向」になります。つまり、(1)眼球の中心位置 (2)眼球の半径 (3)黒目の中心位置 の三つの値を正確に測定できれば、その人物の視線の方向を特定できるのです。
そこで視線検知技術では、画像認識技術により頭部の輪郭や目尻、目頭の位置、黒目の輪郭といった情報を抽出し、それらの値を独自のアルゴリズムで解析することで、視線方向を求めています。

[イメージ]眼球の構造と視線検知技術の原理

公共ITソリューションに関する各種お問い合わせを受け付けております

公共ITソリューションへのお問い合わせ

公共ITソリューションへのお問い合わせ

何をお探しですか?

製品・ソリューションや、電子行政用語集などを検索することができます。

[リンク]自治体ICT応援サイト「CyberGovernment Online」へ [リンク]日立 電子自治体メールマガジンのページへ