3次元データをどう取得？センシング技術について【点群処理シリーズ第3回】

シリーズ第2回では、点群データを取得する計測デバイスには、据置型・移動型・航空型といった用途に応じた型があることをご紹介しました。
今回は、計測デバイスがどのようにして対象物の3次元データを取得し、点群データを作っているか。
「センシング技術」についてご紹介します。

センシング技術の分類

計測デバイスが対象物をセンシングする方法は、計4つに分類することができます。

「パッシブ」センサーは、対象物が発する特徴（色、人体表面から放出される赤外線など）を受信します。つまり、光などのエネルギーを自ら発射せずに、受動的（=パッシブ）に受け取るセンサーです。
一方、「アクティブ」センサーは、センサー自体が能動的（=アクティブ）に光などのエネルギーを放射し、その反射の特徴を受信します。

このセンシング技術のうち、広く普及している「ステレオマッチング」と「TOF：Time OF Flight」が、それぞれどのようにして3次元データを取得しているかについて、簡単にご紹介します。

ステレオマッチング

ステレオマッチング（別名：ステレオビジョン）は、２台のカメラを用いて対象物を異なる方向から同時に撮影し、撮影した画像から得られる視差情報を利用することで、対象までの距離を算出する手法です。視差とは、２枚の画像間で対応する部位の位置の差のことを指します。人が目でモノを見るのと同じ原理ですね。

この視差からどのように距離を算出しているかを、簡易なモデルでご説明します。
まず、2台のカメラ間の距離と、各カメラの焦点距離が定まっているものとします。
続いて、2台のカメラにより対象を撮影することで、各CMOSセンサにおける対象点の画素位置の違いから、視差を推定します。
カメラ間距離B、焦点距離F、視差Dを用いることで、赤色三角形と緑色三角形の底辺と高さの比（B : Z = D : F）から、対象点までの距離Zを算出することができます。

　Z = B * F / D

この距離Zをセンサのすべての画素で算出することで、カメラ画面内の対象を立体的に把握することができます。

このように、2台のカメラで対象点の画素位置の違いを比較（これを、マッチング、と呼びます）できれば、対象の3次元データを取得することができます。（注：ちなみに、マッチングには様々な手法があり、ここでの詳しい説明は割愛させていただきます。）
反対に、2台のカメラで対象点のマッチングが難しいと、対象点までの距離を算出することができません。例えば、次のような課題があります。

暗所

対象と周囲のコントラストがないため、2台のカメラ間でマッチングをとることは難しい

近くの対象

2台のカメラで同一の対象点を捉えることが難しい

遠くの対象

距離を測るのに十分な視差をとるには、
巨大なデバイスが必要になる

とはいえ、カメラ2台で実現できるという低価格さは、点群データ取得における大きな強みですね。

ちなみに、同じ原理を用い、撮影済みの複数画像（例えば、動画のフレーム）から対象の3次元形状を復元する技術として、Structure from Motion（SfM）があります。リアルタイムに3次元データを取得する技術ではないため、例えば自動運転用途には適しません。ただ、スマートフォン1台で撮影した動画からでも点群データを作ることもできる簡単かつ面白い技術です。別記事で紹介したいと思います。

TOF：Time Of Flight

TOFは、センサから照射した光が対象に当たり、反射した光がセンサに戻ってくるまでの時間を、何らかの方法で求めることにより距離を算出する技術です。
この時間を求める代表的な方式には、「時間差（直接方式）」と「位相差（間接方式）」の2種類があります。（注：Time Of Flight=光走行時間法、という言葉のイメージとしては「時間差」のみですが、「位相差」を含めてTOFと呼ぶことが多いです）