Technology

ぶつからない世界を実現する“超高速3次元画像認識技術”

SRIM Technology
ステレオカメラ研究の第一人者が目指す「最先端の衝突防止技術を全世界に!」
2つの目を持つ動物が進化の過程で得た
   応用範囲の広い “最高精度の距離測定システム”
その全視野の測距精度を最大限に活かす
 “超高速3次元画像認識技術”の実用化を目指します
■ SRIM ( Stereo Range Imager ) Technology 超高速全視野測距技術

▲距離計算結果の視差画像

距離に応じて色分けされた画像情報

 

ITD Labは、弊社CTOの実吉が東工大研究室で長い年月をかけて研究してきた “ステレオカメラによる立体画像認識技術”のFPGA化に成功
さらに、ITD Labのトップレベルのエンジニア達はFPGAの特性を最大限に引き出すため、パラレルパイプライン処理による“全視野瞬時距離測定技術”の超高速化に挑戦、 高速化が進むこれからのモビリティ社会の様々な要求に応える“ SRIM Technology ”の進化を目指しています
■ ADAS ( Advanced Driver Assistant System )
ステレオカメラ3次元距離測定技術SRIM Technologyを応用して、走行中の車の前方に現れる歩行者や車、障害物や白線などを自動検知し、ドライバーに 迫りくる危険を瞬時に見極めて警告し、ドライバーの安全運転をサポートするシステムです

 

 

超高速3次元距離測定技術 SRIM Technology 搭載
Intelligent Stereo Camera

■なぜ、ステレオカメラか?

ステレオカメラは、画像処理を通して人の目と同様にあらゆる立体物を認識します
ステレオカメラ方式の「衝突防止システム」は、物体依存性が殆ど無く、高速で位置や形状、相対速度が正確に検出できます

当社ISCステレオカメラ A:単眼カメラ B:LIDAR C:ミリ波レーダー
 立体認識 全ての立体物 モデル物体のみ 反射率の高い物体 反射率の高い物体
 距離制度 100m±2m 25m±0.08m 100m±10m 25m±0.5m 全域で±0.1m 全域で±0.2m
 視野角 40°~ 120° 40° 20° 10°
 検出速度 60fps(160fpsまで可) 30fps 10fps 15~20fps
 車線検出 白線・ガードレール検出可 白線のみ検出 不可 不可
 物体分離 物体境界線検知で優位 検出可だが劣位 応答速度遅い 精度は低い
 コスト A/B/Cより安価 Cと同等で高価 スキャン型は高価 高価
 取付け易さ 自動調整機能があり容易 熟練者で数時間 角度調整に時間 角度調整に時間
■ ITD Lab ISC (Intelligent Stereo Camera) の特長

高速物体認識機能、自動調整機能、自己位置認識機能を持った
独自開発の“SRIM Technology”を搭載することにより、他社ステレオカメラを凌駕する性能を実現します

SteroCamera性能比較
当社ISCステレオカメラ A社車搭載カメラ B社ステレオカメラ
 自己位置認識 × ×
 3次元地図生成 × ×
 自動調整機能 ◎GOOD △POOR ×
 検出速度・応答性 ◎60fps ~ 160fps ○30fps △30fps以下
 取付けと調整 ◎取付け後、調整不要 ×後付けは不可 △熟練度が必要
 処理スピード指標 ◎500 ○100 ×30~50
 コスト指標 ◎50~80 ○100 △200以上

 


■ステレオカメラの優位性
1、ステレオカメラはあらゆる距離の物体を検出できる

LiDARやミリ波レーダー、単眼カメラとの比較

          ●ステレオカメラ → 物体(富士山)が画面に写っていれば、そこまでの距離がわかる

視差0画素→1.2km以遠

視差60画素→5m

          ●単眼カメラ → 富士山が本物か絵か区別が付かず、距離はわからない。

本物の富士山

5m先の富士山の写真

          ●LiDAR・ミリ波レーダー → 富士山を検出できない。

2、ステレオカメラは近い距離の精度が高い

LiDARやミリ波レーダー、単眼カメラとの比較2

LiDARやミリ波レーダーの測距精度は高いが、10m先での距離精度は30万画素のステレオカメラでも±4㎝で、
 車載用LiDARの±5㎝(IBEO LUX社)に匹敵する。5mでは±1.5cmになり精度は上回る。
●衝突回避ブレーキは衝突時間に余裕のある遠方ではそれ程高い精度は必要なく、物体に近づくほど高い精度が求められる。
 つまり、LiDARやミリ波レーダーは遠方でオーバースペック、近方で粗い制御しかできない。

3、立体物検出で絶対距離が得られる
単眼カメラに対する優位性
●単眼カメラは、物体のモデルに合致する物体を画像から見付けることで距離を推定する。
 その物体の下端が道路面に接触していると仮定し、推定した水平線の画像中で下にある位置を距離に換算する。
ステレオカメラは、二つの画像から機械的に距離を求めるのでモデルや仮定は入らない。

■UBERの事故は、なぜ 起きたか

SRIM技術搭載ステレオカメラであれば事故は未然に防げた !?

  4、ステレオカメラは物体依存性が小さい

LiDARやミリ波レーダーは反射波を捉えるので反射率の低い物体を検出することが難しい。
●カメラは明暗の変化を捉えるので反射率の高い物体の前に反射率の低い物体があっても明暗の境界を検出し、
 手前に物体のあることが分かる。
●単眼カメラではモデルがないと、検出した境界が後ろの物体の表面の模様にも見え、
 物体として抽出することが出来ない。したがって距離もわからない。
ステレオカメラは境界の三次元位置が分かるので、物体の距離に加えて大きさや形状もわかる。

LiDARやミリ波レーダーは黒い服装の人は検出しにくい

    5、ステレオカメラは横方向の空間分解能が高い
●横から飛び出してくる物体の衝突予測には横方向の相対速度が重要である。
 そのためには物体の境界の動きを検出することが重要である。
LiDARやミリ波レーダーは平面までの距離を検出するので、その平面が横に
 動いても動きを検出することはできない。
 カメラは基本的にパターンを検出するセンサーであるので、物体の境界やその
 相対速度を容易に検出することができる。
●単眼カメラに対してステレオカメラは物体の距離がわかるので、
 ステレオカメラのみで前後方向を含めたすべての方向の動きを検出できる。

6、処理時間が短い
横からの急な飛び出しや急旋回したときの物体追跡に対応するため、短時間で連続的に周囲の状況を把握しなければならない。
カメラは100万画素以上の豊富な情報を60fps以上の高速で提供する。
ステレオカメラでは、距離を算出する部分の処理を高速化することにより160fpsで距離分布画像を出力することもできている。
単眼カメラでは全画面でのモデルとのマッチングが必要で、しかもモデルの種類は増えていく。したがって処理時間は増大する
傾向にあり、それを抑えるために処理チップも大きくなっている。

FPGA化したSAD計算回路

        7.ステレオカメラは視野角が大きい
ミリ波レーダーは大きくスキャンすることが難しく、90度を超える大きな視野角は得にくい。
LiDARはミラーを使ったり本体を回したりすることによって180度を超える大きな視野角を得ることができるが、
機械的に行うので数十フレーム/秒のような高速スキャンは難しい。
単眼カメラは魚眼レンズや全方位ミラーを用いることで容易に視野角を大きくすることができる。
ステレオカメラの場合も150度程度までは可能になった。


補正前画像

補正後画像

150度の超広角視差画像
            8.白線や黄線が検出できる
白線や黄線のような車線を示す線は、自動車の進路予測や自動運転のガイドとして非常に重要である。
しかし、これらはカメラでしか検出できない。
            9.夜間や悪天候への対応能力
人間が運転できない悪環境での自動運転は、すべてのセンサーが役不足である。
しかし現在志向している自動運転は、高速道路など人間の覚醒度が下がるような単純で運転しやすい環境である。その場合にはどの
センサーでも大同小異である。カメラの場合、夜間はヘッドライト、雨や雪ではワイパーがあるので、人間と同様に運転できる。

   ■ 他社のステレオカメラに対する優位性

  1.4Kステレオカメラであること

4Kのリアルタイムステレオカメラはまだ世の中に存在しないが、4Kになると、より遠くまでより広い視野で立体画像が得られる。
例えば視野角を30度にすると500m先の遠方でも±30mで計測できる。遠方での精度がよければ自動運転でベテランドライバー並み
のスムーズで快適な走行ができる。
30m先では±10cmの精度でレーザーやミリ波レーダーに匹敵する。10m先ではわずか±2.5cmであり、これほどの精度を確保でき
るセンサーは他に存在しない。視野角120度でもBf値は300なので、半径10mを±4cmの精度で計測できる。

2.自己調整機能を持つ ITDステレオ処理回路
ITDのステレオ処理回路は独自の自動調整機能の技術を保有している。
この技術はカメラ自身で絶対距離の調整が出来るようになり、取り付け時や取り付け後の調整が不要になる。
他社のステレオカメラのみならず、レーザーやミリ波レーダーでもなし得ない大幅なコスト低減につながる画期的な技術である。

必要な調整

時間経過によりカメラの相対位置がずれてくる。
原因は温度や加工歪み開放によるステーのねじれや
たわみがほとんどである。
 
その結果、カメラの微小な回転を生じて、画像に歪みが
発生する。
その動きは微小なのであおりは無視でき、画面の上下、
左右への並進と光軸回りの回転で修正できる。

3.補正校正の精度が高い    
ステレオカメラは画像パターンがない部分の視差が得られないことが弱点となっている。
他社のステレオカメラはパターンがないところでも視差が得られると言われるSGM(Semi Global Matching)などの高密度視差画像
の手法を用いている。きれいな視差画像が得られるが、補正校正が正しく出来ていなくてもよいため、誤った視差が拡散し、信頼性
の低い距離分布が得られてしまう。
 
ITDのステレオカメラは視差の得られない部分は視差データ無しで割り切り、信頼性の高い視差のみ用いる。
また補正校正法も工夫し、通常では0.2~0.3画素程度のずれが出るところを0.1画素に抑えている。
補正校正の精度を上げると正しい視差の密度が上がり、SGMなどを用いなくても、十分な密度で精度の高い視差画像という本来
あるべき結果が得られている。
これは他社が4Kカメラを開発したとしても優位性を確保できる重要な特長である。

 補正校正の特徴:格子模様を使い左右画像を同時に補正する           
補正前 補正後

    校正に必要な7パラメーターのうち5パラメーターが決まる。
   残りは光軸回りの同値回転と上下の並進のみとなる。

SADのみによる視差画像   
SGMによる高密度視差画像   

領域を侵食し合って、空がなくなったり、物体が太ったり、つながったり、
無意味な視差が生じたり、背景に侵食されて物体が消えることもある。

4.処理が速いこと                
フレームバッファを設けないことはもちろん、FPGAの特性を生かして並列パイプライン処理を徹底的に進め、世界最高速の
ステレオカメラを実現している。
SADの高精度化に徹し、高密度視差画像にするための処理を入れていないことも大きく貢献している。
補正校正回路も独自の回路を開発し、他社に比べ小型化している。
さらに立体物や白線の検出までFPGAに取り込んでいる。このように処理をすべてFPGA化しているので、コンパクトで軽く
低コストであること。バージョンアップも容易であることが特長の一つとなっている。
                      リアルタイムでの立体物検出
       Original Image                             Solids Detection
 

        5.立体物の形状を、明瞭な視差画像として取り込む
             精度を損ねる補間を行わないことに加え、元画像の輝度情報を用いることで、
    上下左右の空間分解能の高い、エッジの明瞭な、したがって立体物の形状が明確にわかる立体画像が得られている。
                       これもITD独自の手法である。


 

お問い合わせ・お見積りはここをクリック