指先の力加減や作業音などから作業ミスをリアルタイムに検知して、製造不良の防止に貢献
2020年2月21日
株式会社日立製作所
日立は、組立工程や検査工程のような人の手で作業を行う製造現場において、作業者がモノを掴んだ時の指先の力加減や作業音などのセンサーデータをリアルタイムに収集し、作業ミスの検知や作業記録の遠隔共有を可能にするセンサーグローブソリューション「FREEDi(フリーディ)*」を開発しました。本技術は、センサー内蔵グローブで取得したセンサーデータをスマートフォンアプリケーションへ送信し、学習アルゴリズムを用いた指先作業の正誤判定結果を表示します。これにより、手順漏れや手順違いなどの作業ミスを製造ライン上で検知し、その場で修正することが可能になり、製造不良の防止へ貢献します(図１)。
日立は今後、「FREEDi」のセンシング技術の高精度化や、センシング手段(ウェアラブルカメラ)の追加を進め、多様なお客さまのニーズに応えるソリューションの高度化や、製造現場のあらゆる記録を統合した工場IoTソリューションの実現をめざします。
図1 センサーグローブソリューション「FREEDi」の概要
さまざまな製造現場の指先作業に対応するために、圧力センサーとマイクならびに加速度センサー、ジャイロセンサー、地磁気センサーといった複数のセンサーと、Bluetooth送信機を内蔵したグローブを制作しました(図２)。親指と人差し指の腹部分に取り付けた２つの圧力センサー(図２の①)は、指で物をつかんだり、押さえつけたりする力をセンシングします。親指の付け根付近に取り付けた２カ所のマイク(図２の②)は、機器の稼働音で騒々しい現場でも繊細な指先の作業音を逃さず拾います。本技術を用いて取得したセンサーデータ(電動ドライバーを使用したねじ締め作業の例)を図３に示します。
図2 センサーグローブの詳細
図3 センサーグローブを用いて取得したセンサーデータ(電動ドリルを使用したねじ締め作業の例)
指先作業の正誤を検知するための判定モデルを自動生成できる学習アルゴリズムを独自に開発しました。この学習アルゴリズムは、作業ラベルのついたセンサーデータ(人が判断して指先作業の時間を指定しラベル付けしたセンサーデータ)に対し、時系列を加味した作業の特徴を見つけることに優れています。具体的には、まず、センサーデータから特徴的な時系列パターンを見つけて自動で仕分けします。そして、仕分けた結果を特徴量とし、作業ラベルを用いて判定モデルを生成します。本技術により、作業ごとの個別カスタマイズ無しに判定モデルを自動生成することで、すばやい実現場への導入を可能にします。
作業ミスのリアルタイム検知を実行するまでの一連のフローを容易に行えるスマートフォンアプリケーションを開発しました(図４)。主な機能として、①センサーグローブを用いて指先作業を記録する機能、②記録したセンサーデータを表示し、トリミングする機能、③判定モデルを自動生成する機能、④リアルタイムに作業検知をする機能、以上の４機能を持っています。
作業検知を実行するまでの流れは次の通りです(図５)。まずセンサーグローブをはめて作業を行い、アプリ上のスタート/ストップボタンを操作して作業開始前から終了後までの一定時間を記録し、センサーデータを取得します。次にアプリ上でセンサーデータの特徴を見ながら、作業の範囲のみを指定してトリミングします。このとき、指定した作業の正しい動作(OK)なのか誤った動作(NG)なのかも登録します。このトリミングデータを2つ以上作成し、複数選択した上でアプリ上の学習ボタンを押下すると、判定モデルが自動生成されます。この判定モデルを用いて製造ライン上での作業検知を行います。センサーグローブをはめて作業を行い、判定モデルが学習した動作を検知すると、アプリ上に判定結果(OKまたはNG)が表示されます。
電動ドライバーを使用したねじ締め作業の例では、約20秒間のセンサーデータと、２つのトリミングデータをもとに、正しいねじ締め動作を判定するモデルを生成することができました。本技術を活用し、所定の手順とは誤った動作の判定モデルを生成することで、作業ミスのリアルタイム検知を可能にします。
図4 スマートフォンアプリケーション
図5 リアルタイム作業検知を実行するまでの流れ(電動ドライバーを使用したねじ締め作業の例）
