パナソニックコネクトが光沢などのノイズがあっても動く対象物を1mm秒以下でカメラで検出し、ロボットの作業を止めないセンシング技術を開発

パナソニック コネクトは、現場で動く対象物を光沢などのノイズがあっても高精度かつ1ミリ秒以下でカメラで検出することにより、物流や製造現場のロボットによる作業を止めずに高効率化するセンシング技術を開発した。

光沢などのノイズがあっても動く対象物を1ミリ秒以下で精度高くセンシングできる本技術は、国際学会 ICIP 2024で論文が採択された。

新技術開発の背景

近年の人手不足により、物流や製造の現場ではロボット導入が進んでいる。加えて、これまでの規定の動作を自動で止まらずに行うロボットに加え、近年カメラを利用し対象物を見て、検出することで現場に即した動作が行なえるロボットのニーズが非常に高まっている。

ただし動く対象物を検出してロボットの動作に反映するためには、画像検出からフィードバックまでにかかる時間を超低遅延で行なう必要があり、それに付随した様々な課題がある。

通常、指定対象物を検出するには、事前に登録した画像を比較対象として用意し、動かした際にカメラで撮影した対象物の画像が登録画像と一致するかどうかで検出を行なう。

しかしながら、照明の影響により、対象物の表面に光沢などのノイズが生じ、登録画像と異なる画像と認識されるために、指定対象物を検出できないといった問題が発生する。

これを解決するには、照明の環境を整えたり、AIなどの高度な画像処理を行い、光沢の抑制を行うなどの方法がある。しかし、照明環境の場合にはコストが増加し、またAIなどの高度な画像処理を使用する場合には処理時間が厖大になるといった課題があった。

また、AIなどの高度な画像処理を利用し、時間をかけて光沢の抑制を行ったとしても、特定対象物が止まっている場合は登録画像と一致させることができても、動いている特定対象物の場合には、計算時間中に対象物が移動してしまい、撮影時とロボット動作時で対象物の位置が異なってしまうため、必要な処理ができないといった結果に陥りがちだったという。

これらの課題を解決するため、パナソニック コネクトでは、光沢の影響がある環境でも、超低遅延で光沢検出を行い、リアルタイムでロボットの次の動作に反映できるセンシング技術の開発に至った。

1ミリ秒以下の光沢検出技術について

画像データからロボットの動作に必要な情報を抽出し、ロボットにフィードバックして制御を行なう場合、カメラ、プロセッサ、アクチュエータ（※3）が必要になる。
※3：入力されたエネルギーもしくはコンピュータが出力した電気信号を、物理的運動に変換する、機械・電気回路を構成する機械要素。

さらに、対象物の表面に光沢があると、画像から対象物を正確に検出するのが難しくなることがある。このような場面では、通常CPUやGPUが装備されるパソコンを使った光沢検出が一般的に利用される。

画像認識を行なう際には、ピクセル単位でカメラから転送されてきた画像の全てのピクセルが揃ったところで画像処理を開始する。これによって画像転送や画像処理を行なう際に、カメラ、データや命令を処理するプロセッサ、ロボットを動作させるアクチュエータの間で、逐次メモリとのやり取りが発生する。

具体的には、カメラ画像をキャプチャしメモリに保存、そのデータがプロセッサに送信されて処理されメモリで保存、さらにメモリから処理済みデータがアクチュエータに送信というプロセスが連続して行なわれる。この一連の処理の中で、メモリに依存した処理と、各処理にかかるプロセスが逐次処理になるため、全体として数十秒から数百ミリ秒の遅延が発生する。

そこでパナソニック コネクトでは、FPGA（※4）を活用して、カメラから転送されるピクセル単位の画像データの転送速度に同期し、画像データの一部を使用して光沢検出する特殊なアルゴリズムを活用する。
※4：Field Programmable Gate Arrayの略。プログラムで機能を変更できる集積回路。

これにより、順に転送されてきた画像データを即時に画像処理するため、データを保存するためのメモリが不要となり、低遅延な情報提供によって高速なロボット制御を可能とする技術開発を行なった。

この開発にあたり、毎秒1000枚の画像データ（毎秒1000フレーム（※5））を撮影する高速カメラを使って実現したことにより、全ての処理が1ミリ秒以下で行えるという画期的な性能を達成した。
※5：動画を構成する個々の静止画。1秒間当たり30枚の静止画を連続して表示する場合、「毎秒30フレームの動画」といい、動画のなめらかさを表す指標となる。

ただし、メモリを介さない処理を実現するために、転送されてきた画像データがすべてそろってから処理を開始するのではなく、転送されてきた画像データの一部を使用して光沢検出する特別なアルゴリズムであるため、処理遅延は短くなるが、検出性能が落ちてしまうという課題もある。

そこで、本技術では、一般的なカメラ（毎秒60フレーム）と比べて、高速カメラ（毎秒1000フレーム）ではフレーム間の情報変化が非常に小さい点に着目。

毎秒60フレームのカメラでは、動く対象物の場合、フレーム間の情報変化が大きくなる。結果、フレーム間の情報を利用しようとすると、情報を補完するなどの特別な処理が必要になる。

一方、高速カメラは、動く対象物であっても、フレーム間の情報変化が小さいめ、ひとつ前のフレームで処理した結果を活用することが可能となる。

カメラから転送される画像データの速度に同期して、順に転送されてきた画像データを即時処理しつつ、高速カメラの特徴を生かして、前フレームでの情報を活用するハイブリッドなアルゴリズムで1ミリ秒以下で正確な検出を高速処理で実現する。

■今後の展開

人口減少や働き手の人手不足により現場の生産性の向上が待ったなしの日本のあらゆる現場において、動くモノを正確に検出し、ロボットにフィードバックできる本技術は、パナソニック コネクトが事業領域として注力しているサプライチェーンの領域、製造、物流、流通のあらゆる現場において自動化の効率向上に貢献できる技術と言える。

特に製造の分野では、生産ラインで加工しているアイテムが常に動いている自動車業界等で、ほぼリアルタイムの生産確認に利用でき、ラインを止めることなく高効率な生産に貢献することも可能になる。

同社では今回の発表に際して次のようにコメントしている。

「今後は製造、物流現場で必要とされる様々な超低遅延センシング技術を開発。人には見えない速さのセンシング技術によって現場の生産性と高品質の両立に貢献できる技術開発を進めていきます。

そして『現場から 社会を動かし 未来へつなぐ』というパーパスを掲げ、現場にイノベーションをもたらすことで多様な人々が幸せに暮らせる、持続可能な社会の実現を目指してまいります」

関連情報
https://connect.panasonic.com/jp-ja/

構成／清水眞希