背景介紹
三維成像技術作為感知真實三維世界的重要信息獲取手段,為重構物體真實幾何形貌及后續(xù)建模、檢測、識別提供了數(shù)據(jù)基礎。在工業(yè)4.0時代下,“分布式”工業(yè)機器人與“移動式”服務機器人的蓬勃式發(fā)展對三維成像技術的小型化、低成本和可靠性等提出了更高的要求。然而,現(xiàn)有面向移動終端的三維成像技術(散斑結構光與飛行時間法)僅用于人臉識別、室內(nèi)建模等對成像精度不敏感的領域。條紋結構光技術可實現(xiàn)高精度測量,但其測量效率較低、難以實現(xiàn)動態(tài)測量。因此,上述三維成像技術無法滿足在線工業(yè)檢測的低功耗、遠距離、高精度、高分辨率和快速三維成像的迫切需求。
圖1 三維成像技術的不同工業(yè)應用場景光學三維成像技術分類
圖2 典型的光學三維成像技術針對工業(yè)機器人高精度、高分辨率和快速測量應用而言,目前主流的光學三維成像技術是飛行時間法和結構光投影法[2],如表1所示。飛行時間法[3-5]分為直接飛行時間(direct ToF, dToF)和間接飛行時間(indirect ToF, iToF)。dToF具有低功耗、抗干擾性強、高精度、遠距離測量等優(yōu)勢,但是其對單光子雪崩器件(Single Photon Avalanche Diode, SPAD)的制作工藝、檢測精度有很高要求,導致系統(tǒng)集成困難、分辨率低。iToF采用圖像傳感器接受光信號克服了分辨率低這一缺陷,但是由于不同反射路徑的干擾問題,隨著測量距離的不斷增大將導致相位測量的信噪比顯著降低,深度誤差隨之增大。
表1 飛行時間法和結構光投影法的性能指標對比
圖3 飛行時間法的三維成像原理結構光投影法分為條紋投影法[6-11]和散斑投影法[12-14]。條紋投影法相關技術已經(jīng)較為成熟,產(chǎn)品有德國GOM公司的ATOS系列,國內(nèi)先臨三維的EinScan系列。然而,條紋投影法一般需要投影多組正弦條紋圖案以實現(xiàn)高精度測量,其測量效率較低、難以實現(xiàn)動態(tài)三維成像,數(shù)字光處理(Digital Light Processing, DLP)投影系統(tǒng)中的核心部件數(shù)字微鏡器件(Digital Mirror Device, DMD)被美國TI公司壟斷,相關設備存在成本高昂、系統(tǒng)小型化難度大等問題。散斑投影法極大簡化了結構光投影器件的制作工藝,采用的紅外散斑投射器件分為基于垂直腔面發(fā)射激光器(Vertical-Cavity Surface-Emitting Laser, VCSEL)的投影器件和基于邊發(fā)射激光器(Edge Emitting Laser, EEL)的投影器件,具有高測量效率、系統(tǒng)小型化等優(yōu)勢。
圖4 條紋投影法和散斑投影法的三維成像原理目前,影響散斑投影法的關鍵技術分為散斑圖案設計方法與高性能立體匹配算法。散斑圖案設計方法的關鍵思想是如何保證局部散斑相對于整個投影散斑圖案是全局唯一的。然而,由于被測物體表面的復雜反射特性以及雙相機間存在的視角差異,僅投影單幅散斑圖案仍難以保證整個測量空間中每個像素的全局唯一性,在實際測量時存在因誤匹配而導致其測量精度較差問題。
基于VCSEL投影陣列的散斑結構光三維成像技術原理
團隊所研制的基于VCSEL投影陣列的散斑結構光三維傳感器主要由2個紅外相機模組和3個小型化散斑投影模組構成,如圖5所示。小型化散斑投影模組采用VCSEL投射器作為紅外投影光源,通過在VCSEL頂層的特定位置開孔以形成大量散斑點。由VCSEL發(fā)射的紅外光線經(jīng)過準直透鏡,根據(jù)光的折射原理將衍射光束準直并匯聚成平行光束,以形成散斑狀結構光圖案。
通過引入具有光束復制功能的衍射光學元件(Diffractive optical elements, DOE),定制的DOE表面結構可以衍射出多個與入射圖案相同的子圖案,以實現(xiàn)幾十甚至數(shù)百倍的圖案復制效果。小型化散斑投影模組的視場角為58°×45°,焦距為8 mm,可以向被測場景投影總計3萬多個清晰、均勻的散斑點。水平方向上間隔分布的三個散斑投影模組形成散斑投影陣列,向被測場景連續(xù)投影三幅不同的散斑圖案,實現(xiàn)對場景深度信息的高效時空編碼。
圖5 基于VCSEL投影陣列的散斑結構光三維傳感器 (a) 硬件結構示意圖;(b) 實物圖
2. 三維結構光傳感器的時空散斑相關算法
團隊所提出的時空散斑相關方法主要包含三個步驟:時空匹配、成本聚合和視差優(yōu)化,如圖6所示。首先執(zhí)行一種由粗到精的時空立體匹配算法,在粗匹配階段使用基于ZNCC的局部時空匹配算法,獲得被測場景的一個可靠但平滑的初始視差先驗。在精匹配階段,將基于歸一化互信息的單像素匹配方法與時域匹配相結合,有效緩解因局部匹配而引起的視差平滑問題,同時提升匹配精度。然后將引導濾波應用于基于三幀散斑圖的時空成本聚合[15],使用融合拋物線與線性的加權插值函數(shù)實現(xiàn)亞像素視差優(yōu)化。
圖6 一種由粗到精的時空散斑相關算法的示意圖,包含三個步驟:時空匹配、成本聚合和視差優(yōu)化實驗結果與分析
為了驗證團隊所研制的三維結構光傳感器對復雜物體的測量性能,掃描了兩個具有不同復雜形貌的物體——人頭模型和大衛(wèi)模型,測量距離為65 cm。此外,選用了市面上兩款常見的散斑投影三維傳感器(Astra Pro設備和RealSense D455設備)作為對比實驗,對應的三維測量結果如圖7所示。可以發(fā)現(xiàn),Astra Pro設備提供的測量數(shù)據(jù)出現(xiàn)了明顯的深度階梯狀分層現(xiàn)象,存在嚴重的數(shù)據(jù)缺失問題。由于嚴重的點云平滑問題,RealSense設備的數(shù)據(jù)表面起伏較大,無法分辨人頭模型和大衛(wèi)模型的五官輪廓,其重構結果略差于Astra Pro設備。而本文所研制的設備可以較高質(zhì)量地重建出完整的五官輪廓,在細節(jié)處有著更好表現(xiàn),提供了高精度、高完整度的三維重構結果。
圖7 人頭模型和大衛(wèi)模型的三維重構結果 (a)-(b) 不同三維傳感器的測量結果,包括Astra Pro設備、RealSense D455設備和基于VCSEL投影陣列的散斑結構光三維傳感器2. 小目標金屬零件的遠距離測量實驗
為了驗證三維結構光傳感器在工業(yè)智能制造場景下的應用潛力,開展小目標金屬零件的遠距離測量實驗,以滿足零件分揀的應用需求。圖8提供了1 m距離處以不同姿態(tài)堆疊放置的金屬螺絲釘(直徑約為3-7 mm)的散斑圖與測量結果。由于小目標金屬零件占據(jù)的像素區(qū)域較少,因此設置的局部匹配窗口應盡可能小,但是小匹配窗口將降低匹配的準確率,產(chǎn)生更多的誤匹配,這對于散斑結構光三維傳感器十分具有挑戰(zhàn)性。從圖8 (d)-(f)可以看出,本文所研制的設備成功地重構出金屬零件末端部位的精準細節(jié),且對三種不同姿態(tài)均提供了完整的零件三維輪廓,這證明本文方法對工業(yè)檢測應用提供了良好的數(shù)據(jù)支撐。
圖8 小目標金屬零件的遠距離測量實驗 (a)-(c) 為不同姿態(tài)堆疊放置的金屬螺絲釘?shù)纳邎D;(d)-(f) 為與(a)-(c)對應的三維點云結果
圖9 小目標金屬零件的點云結果3. 復雜場景測量實驗
對于三維測量系統(tǒng)而言,測量具有復雜結構或不連續(xù)空間分布的遠距離場景是一項挑戰(zhàn)性任務。為此,構建了一個大空間范圍的復雜場景,使用各種形狀不同、大小不一的物體,有表面平滑連續(xù)的物體,也有復雜紋理特征的物體,待測場景的三維空間為0.7m×0.6m×1m(寬度×高度×深度)。如圖10所示,實驗結果證明所研制的三維結構光傳感器實現(xiàn)了魯棒、高精度的復雜場景重構。
圖10 復雜場景的三維測量結果圖總結
綜上所述,本文提出了一種基于VCSEL投影陣列的散斑結構光三維成像技術及其傳感器設計方法,通過使用3個小型化散斑投影模組形成散斑投影陣列,向被測場景連續(xù)投影三幅空間位置不同的散斑圖案,實現(xiàn)了對場景深度信息的高效時空編碼。同時,提出了一種由粗到精的時空散斑相關算法,成功恢復了復雜目標表面的精細輪廓。三維模型掃描重構實驗、小目標金屬零件的遠距離測量實驗和復雜場景測量實驗共同證明,所研制的三維結構光傳感器實現(xiàn)了遠距離、大視場、高精度三維測量,有望在零件分揀、工件裝配和焊接加工等工業(yè)場景得以廣泛應用。
