日立概要ページへ トップページへ
日立の概要 ニュースリリース トップページへ

このニュースリリース記載の情報(製品価格、製品仕様、サービスの内容、発売日、お問い合わせ先、URL等)は、発表日現在の情報です。予告なしに変更され、検索日と情報が異なる可能性もありますので、あらかじめご了承ください。なお、最新のお問い合わせ先は、お問い合わせ一覧をご覧下さい。

2001年9月26日
 
手の動きと頭の動きを利用した「手話−日本語翻訳技術」を開発
-- 頭部動作が持つ文法情報もとり入れて翻訳精度を向上 --
手話通訳システム

  日立製作所は、このたび、経済産業省のリアルワールド・コンピューティング(RWC)プロジェクトを実施する技術研究組合新情報処理開発機構(RWCP)に参画し、産業技術総合研究所の協力を得て、手の動きと頭の動きを利用して手話から日本語への翻訳を行う「手話−日本語翻訳技術」を開発しました。これは、手袋型の入力装置から手指動作を、ビデオカメラから頭部動作を入力し、PC上で日本語文へ変換する技術です。この技術によって、単語を表現する手指動作に加えて、文法情報を示す「顎下げ」や「頷く」という頭部動作をとり入れることが可能になりました。聴覚障害者と健聴者のスムーズなコミュニケーションを支援するシステムの実現に道を拓く技術です。
  本内容は、10月3日から東京ファッションタウンで開催される「RWC2001最終成果展示発表会(http://www.rwcp.or.jp/rwc2001/)」に出展する予定です。

  日本手話では、手指動作で「私・パソコン・本・買う」という単語列を表現する際に、「私・本・買う」の手指動作とあわせて「頷き」の頭部動作を行うと、「私はパソコン本を買います」と翻訳されます。さらに「パソコン」の部分に「頷き」の頭部動作が加わると「私はパソコン本を買います」という文に翻訳されます。このように、手指動作が同じでも頭の動きによって意味の異なる内容となります。手以外の動き(非手指動作)を手話−日本語変換にとり入れることは、確度の高いコミュニケーションにとって、大変重要なことでした。そこで、今回当社では、非手指動作のうち頭部動作に着目し、手指動作と頭部動作を利用して日本語から手話への翻訳を行う「手話―日本語翻訳技術」を開発しました。開発に際しては頭部動作の持つ文法的な機能を知るために、手話表現で使われる頭部動作の種類と文法的機能を分類し、新たに手話文法ルールを作成しました。開発した技術は以下の通りです。

(1)手話文法ルールの作成:部分的に異なる構造を持つ日本語文(例:肯定文と否定文、単語間に係り受け関係がある場合とない場合など)を表現する手話約2,500サンプルについて、手話中に使われる頭部動作の種類とその文法的機能を分類しました。これに基づき、手話文法ルール(*1)を作成し、解析処理に適用可能な形式で記述できるようにしました。
(2)手話文法ルールに基づく手話−日本語翻訳処理:上記のルールに従って、以下の手順で手話文を日本語文へ変換します。[1]文構造規定ルールに従い、入力された手話文の文型を決定します。[2]決定された文型に適合する手話単語を選定し、手話単語の列を生成します。[3]意味属性変換ルールに従い、手話単語の役割や文の種類を決定します。[4]以上の解析結果に基づいて、日本語文に必要な助詞や語尾変換を補完し、日本語文を生成します。
(3)リアルタイムな翻訳技術:手指動作認識と頭部動作認識を統合した認識システムにより、リアルタイムでの翻訳を実現しました。頭部動作の認識では、産業技術総合研究所にて開発された高速画像認識技術を使用しました。

  今回開発した手話−日本語翻訳技術では、聴覚障害者が日常使用している手話を日本語へ翻訳することが可能です。聴覚障害者と健聴者とのスムーズなコミュニケーションを支援する手話通訳システムの実現に道を拓く技術です。今後、情報キヨスク端末への搭載に向け、検討を進めていく予定です。


■開発の経緯
  当社では、聴覚障害者と健聴者のコミュニケーション支援を目的として、1993年度から国家プロジェクト(RWCP)に参画し、コンピュータが日本手話(*2)を解釈する手話認識技術の研究開発を行ってきました。日本手話は、音声として話される日本語と異なる文法をもつ言語で、単語は主に手指動作で、文法情報の多くは手以外の動き(非手指動作:視線、表情、頭部動作など)で表現すると言われています。しかし、非手指動作に関する種類や機能は研究途上にあり、未だ不明確な部分が多いという問題があります。
  これまで本プロジェクトでは、手袋型入力装置を用いて手指動作をPCに入力し、その中に表現されている個々の手話単語を認識する技術を開発してきました。手話から日本語への翻訳を行うには、さらに、認識された手話単語間の文法的・意味的な関係を解析する必要があり、そのためには前述の非手指動作の情報を用いた解析処理が必要となります。

■用語説明
(1) 手話文法ルール:2種類の手話文法ルールを作成しました。
  [1]文構造規定ルール:頭部動作が加わる位置で手話文が、句相当の意味的な単位に分割されることがわかりました。そこで頭部動作によって分割される単位の組み合わせにより手話文の文型を表すルールを作成しました。
  [2]意味属性変換ルール:頭部動作の種類(頷き・顎上げ・頭振りなど)と加わる位置により、[1]手話文中の単語の役割(目的語など)や、[2]文の種類(否定文や命令文など)が決定されることがわかりました。これを基に、頭部動作の種類と位置から、手話単語の役割や文の種類を決定するルールを作成しました。
(2) 日本手話:日本における手話は「日本手話」と「日本語対応手話」に大別されます。後者は音声として話される日本語の語順で手話単語を表現します。一方、日本手話は日本語とは異なる文法をもつ言語で、主として手指動作で単語を、文法情報の多くを手以外の動作で表現します。

以 上




top of this page


(C) Hitachi, Ltd. 1994, 2001. All rights reserved.