隨著工業(yè)4.0變革來臨，面對諸如復雜的物件辨識和尺寸量度任務，以至人機互動所需要的復雜互動，2D視覺在精度和距離測量方面均出現(xiàn)技術(shù)限制，市場對3D視覺的需求因而與日俱增。

 

3D視覺能提高機器人/機器系統(tǒng)在工業(yè)自動化應用的自主性和效率，提供2D視覺不能比擬的高精度質(zhì)量檢測，反向工程和物件度量等關(guān)鍵能力。另一方面，視覺系統(tǒng)導向機器人的應用正在增長中，這一技術(shù)需要3D視覺來實現(xiàn)更好的遙距導向、障礙物辨識和精確移動。

 

3D視覺也能保護需要大量人機互動的工廠工人，在系統(tǒng)級預防和排除危險狀況，并通過監(jiān)控系統(tǒng)，點算工場工人數(shù)目并把工人和機器人或物件分辨出來。

 

3D視覺的能力能夠?qū)崿F(xiàn)更安全、性能更好和更高效的終端用戶輔助系統(tǒng)，正在對社會帶來影響力。舉個例子，3D視覺已成為無人駕駛車輛的先進自動駕駛者輔助系統(tǒng)和人機合作機器人等應用的關(guān)鍵技術(shù)。

 

2D視覺在條形碼掃描或光學字體辨識等應用的功用是無可置疑的。它在工廠或倉庫應用有不可或缺的角色，而隨著區(qū)塊煉技術(shù)的引進和電商市場發(fā)展，它在物流中心和運輸應用有顯著的增長。Teledyne e2v 擁有專為條形碼掃描而設(shè)計的2D 成像產(chǎn)品，例如是集合高性能和能夠?qū)崿F(xiàn)高可靠性高速掃描的Snappy 傳感器系列。

 

3D圖像的生成有好幾種技術(shù)和科技。主流技術(shù)計有：

?

●    立體視覺： 使用兩部相機從不同角度對準主體，并使用校準技術(shù)把相機和具體深度信息之間的像素信息對齊。這類似于人類腦部目測距離的工作。

●    結(jié)構(gòu)化光線： 把一個已知的光線圖案投射到主體上，然后根據(jù)圖案在主體上的扭曲狀況，計算深度信息。

●    激光三角測量：激光三角測量通過將一部相機和一個激光光源配對，實現(xiàn)三維測量。系統(tǒng)根據(jù)激光光源和相機之間已知的角度偏距，以三角幾何理論量度出激光線的幾何抵銷(數(shù)值與主體的高度成比例)。這是一項基于掃描主體的技術(shù)。

●    飛行時間：一個光源與一個圖像傳感器同步，根據(jù)發(fā)出脈沖光線和光線反射回饋到傳感器的時間計算出距離。

 

每一種技術(shù)都有它的優(yōu)缺點，所以技術(shù)的適用程度取決于應用類型(其中距離范圍和深度精度要求是重點)。表一列出了相對不同條件的技術(shù)比較。

 

表 1  3D 成像技術(shù)“頂層”比較

 

雖然3D系統(tǒng)仍然占工業(yè)自動化和倉庫應用視覺系統(tǒng)的一小部分，現(xiàn)在越來越多基于3D立體視覺、結(jié)構(gòu)光線或激光技術(shù)的3D系統(tǒng)正在引進中。這些系統(tǒng)有固定的工作距離，需要大量校準工作以實現(xiàn)特定的偵測范圍。而飛行距離系統(tǒng)則能解決這些挑戰(zhàn)，并從應用角度提供更高靈活性，不過圖像分辨率仍然是大部分這類技術(shù)面對的制肘。

 

Teledyne e2v在機器視覺擁有長遠的成功歷史，例如是線陣相機和影像傳感器，而近期則積極打造用于3D成像的專用平臺。這一平臺將支持最新的工業(yè)應用，包括視覺導引機器人、物流應用自動化無人車輛、工廠監(jiān)控和安全、手持式掃描儀以及戶外應用。Teledyne e2v致力長期提供基于多種3D技術(shù)的產(chǎn)品，以滿足客戶應用的需求。

 

3D 視覺實現(xiàn)高速準確檢測提高產(chǎn)能，表現(xiàn)超越2D

 

工廠已進入自動化工作，以提高產(chǎn)能和在產(chǎn)品查驗和庫存的方方面面節(jié)省時間和金錢。要優(yōu)化這些因素，擁有視覺系統(tǒng)的機器需要更高速和以更佳性能工作。

 

因應這些發(fā)展，2D視覺遇上了限制，使得3D視覺被廣泛引進，以實施更高精度的質(zhì)量檢驗，反向工程或物件量度任務。三角測量技術(shù)正在這些應用中獲大量使用，鑒于三軸圖像要求高分辨率，需要非常高速的的傳感器。

 

圖 1  激光三角測量應用范例

 

自十多年前起， Teledyne e2v已經(jīng)和3D三角測量的市場領(lǐng)導者一同工作，以開發(fā)訂制化傳感器。去年Teledyne e2v 發(fā)布了能配合高速尺寸測量和查檢技術(shù)挑戰(zhàn)的標準傳感器，以滿足高速生產(chǎn)線的要求。

 

這一快閃 CMOS傳感器系列很好地組合了一個 4,096 x 1,024像素分辨率和一個2,048 x 1,024 像素傳感器，二者的幀率分別為1800 fps 和 1500 fps (8 位) ，兼容標準光學格式(APS兼容和 C-Mount)，讀出速度分別為61.4 Gbps 和 25.6 Gbps。

 

新型的傳感器設(shè)計用于為相機生商實現(xiàn)輕松和高性價比的集成解決方案，包括提供一系列片上功能，已達到寬廣應用范圍以及高靈活性：

?

●    高達100dB的高動態(tài)范圍(HDR)模式，實現(xiàn)對同一影象里的高反光表面和陰暗范圍進行測量和查驗

●    多重取景窗口(Region of Interest，ROI)模式兼顧高測量速度和范圍/分辨率

●    個別參數(shù)提供幀間“熱”配置模式有助于實現(xiàn)靈活性和對環(huán)境條件的實時適配 

●    多種曝光觸發(fā)模式能夠完全配合生產(chǎn)線速度

 

這些傳感器能夠為工業(yè)市場提供以下優(yōu)勢：

?

●    以2K或4K分辨率實現(xiàn)市場最高速率，提高產(chǎn)能

●    高性價比系統(tǒng)： Flash產(chǎn)品系列提供高性價比(市場最佳Gbps/售價比率)

●    允許對實時環(huán)境條件和生產(chǎn)線速度作出適應，實現(xiàn)高靈活性應用

 

3D 視覺提高工廠自主性和效率，性能超越2D 

 

為了改進工廠自動化的自主性和效率，無人操作機器人的應用正在不斷增加。隨著工廠和倉庫自動化程度越來越高，車間出現(xiàn)了人機密集工作，因而防止事故和提高安全度成為至關(guān)重要的任務。

 

在這些日益多變的工作環(huán)境里，飛行時間(Time-of-Flight，ToF)系統(tǒng)成為理想的解決方案，因為它們擁有實時3D信息和決策能力，以及能夠在快速移動的場景中偵測出物件或人員。

 

飛行時間技術(shù)可分為兩大類：直接飛行時間和間接飛行時間。

 

直接飛行時間是指系統(tǒng)通過直接計算光線從物件反射的時間量度出距離。 

 

而間接飛行時間則是系統(tǒng)通過計算光波發(fā)射到物件以及從對像反射的相位差異而得出距離，從而建立3D圖。 

 

圖2 直接飛行時間和間接飛行時間的優(yōu)缺點比較

 

間接飛行時間 – 相移

 

優(yōu)點

?

●    全速(多相像素)

●    背景去除，兼容戶外環(huán)境

●    低軟件復雜性

 

缺點

 

●    混疊

 

直接飛行時間 – 脈沖重建

 

優(yōu)點

 

●    無混疊

●    無錯誤距離測量(不受霧水、塵埃、多路反光影響)

 

缺點

 

●    嚴苛的速度要求(光脈沖速度以納秒計算)

●    相對高的計算復雜性

 

Teledyne e2v提供采用訂制化傳感器的直接飛行時間系統(tǒng)，以及使用完整標準產(chǎn)品的間接飛行時間系統(tǒng)。

 

Teledyne e2v 在飛行時間技術(shù)和解決方案上有超過10年的經(jīng)驗，并以在用于自動化、機器人、汽車和監(jiān)控工業(yè)專有傳感器方面的成功范例為基礎(chǔ)，實現(xiàn)創(chuàng)新飛行時間像素的強大能力。

 

我們的標準飛行時間傳感器通過以下特點，對應客戶需求：

?

●    高空間分辨率，實現(xiàn)大視場范圍和高角度分辨率

●    快速實時無運動模糊3D測定，在全分辨率下實現(xiàn)超過30fps深度圖

●    提供近、中、遠距離偵測和管理 

●    能在任何環(huán)境條件實現(xiàn)超高可靠度測距：具有在環(huán)境光條件下的出色高精度和強大功能，以及多系統(tǒng)工作

 

飛行時間技術(shù)處理復雜環(huán)境工作

 

相較其它3D技術(shù)，飛行時間具有快速、簡單、低成本，以及在中至遠距離提供出色的3D性能的特點。

 

再者，正如上文提及，飛行時間技術(shù)具有高靈活性 – 由于它無需按設(shè)定校準(如工廠校準)，因而可以固定在活動機器人上。系統(tǒng)也可以適應任何工作設(shè)定，使得飛行時間系統(tǒng)很好的配合復雜的環(huán)境和條件工作。

 

以下是一些飛行時間在工廠或倉庫應用的的最適用范例：

 

圖 3 飛行時間應用范例

 

●    量度箱子或包裝的外形尺寸和體積：飛行時間系像系統(tǒng)能夠量度箱子或包裝的尺寸和體積，以便于最有效裝盤或集運(優(yōu)化裝箱和貨車載荷)或提高產(chǎn)線效率

●    用于智能高效倉存管理的貨件識別：相較于2D傳統(tǒng)成像處理系統(tǒng)，飛行時間成像系統(tǒng)能夠以更短的時間檢測貨件或包裝尺寸

●    抓取與放置：飛行時間系統(tǒng)檢測和識別合適的物件進行抓取，并放置到合適的位置，相較使用2D傳統(tǒng)成像處理系統(tǒng)，可實現(xiàn)更高準確性和更短時間。

 

與市場現(xiàn)有產(chǎn)品相比， Bora傳感器(Teledyne e2v去年發(fā)布產(chǎn)品)為需要為固定物件進行分析的應用提供獨特的優(yōu)勢。這一款傳感器具有1.3MP高分辨率，能夠以2D和3D擷取具有寬廣視場的大面積現(xiàn)場，實現(xiàn)高性價比的優(yōu)化系統(tǒng)。我司所有飛行時間傳感器均設(shè)計用于高靈活性應用，可適應不同的工作條件并提供具有深度圖的實時3D影像擷取，并在全分辨率下以四相工作實現(xiàn)超過30fps的高速度。

 

Bora傳感器的功能亮點： 

 

●    創(chuàng)新10µm 像素設(shè)計

●    1,280 x 1,024 像素空間分辨率

●    卓越的靈敏度和獨有的片上門控全局快門模式，實現(xiàn)最快42ns 門控時間

 

飛行時間系統(tǒng)助力機器人在工廠環(huán)境以及其它應用中無人操控安全工作，比其它3D技術(shù)提供更多優(yōu)勢

 

圖4  機器人導向應用范例

 

今日的導向系統(tǒng)大多使用傳統(tǒng)激光雷達(Lidar)掃描儀和偵測物件，但由于它們有一些缺點，使得有越來越多使用如非直接飛行時間等其它技術(shù)的解決方案。相較于傳統(tǒng)激光雷達(Lidar)掃描儀，非直接飛行時間系統(tǒng)能提供實時影像信息，并有快速響應時間和無運動模糊的特點。由于它們不含機械部件，因而也有性能更強大、緊湊尺寸的特點。而固態(tài)設(shè)計更低功耗和更少計算的特點則可實現(xiàn)低成本。

 

表 2. 傳統(tǒng)Lidar 與非直接飛行時間“頂層”比較

 

在上述的應用中，飛行時間系統(tǒng)能解決不少挑戰(zhàn)。系統(tǒng)需要處理從10米起的短、中、長距離測量，速度也要足夠的快以避免產(chǎn)生瑕疵(現(xiàn)在市場上大部分飛行時間解決方案均集中于最大5-6米的短距踓)。另外，系統(tǒng)有可能需要在不同光線變化的條件下工作，例如機器人在工廠或倉庫到處移動工作，但不會對同一區(qū)域內(nèi)的其它機器人構(gòu)成障礙。

 

2020年7月， Teledyne e2v 發(fā)布了 Hydra3D傳感器，它是市場同級最佳飛行時間傳感器，它的創(chuàng)新的像素和高度靈活配置，實現(xiàn)非常高的動態(tài)范圍，為應用提供直觀技術(shù)，以完美應付各種工作條件。Hydra3D 具有832 x 600像素分辨率，10µm三內(nèi)存節(jié)點像素，允許最高3D性能水平，包括高深度分辨率，高速度和靈活工作條件。

 

 

Hydra3D 的創(chuàng)新多內(nèi)存節(jié)點像素能夠提供重建3D圖像所需的三個相位，有助于在快速移動場景中擷取無運動模糊的精準3D信息。

 

三內(nèi)存節(jié)點像素提供在單幀中建構(gòu)3D圖所需的多相位信息擷取和存儲能力，無需像其它非直接飛行時間技術(shù)般使用多幀技術(shù)。這一技術(shù)在快速移動場景應用避免任何運動模糊是非常強大的功能。這類似于2D視覺技術(shù)中全局快門和卷閘快門的差異。 

 

三內(nèi)存節(jié)點像素能夠以單個光脈沖擷取所有相位，實現(xiàn)光能優(yōu)化使用。在下圖的應用實例中，幀率保持不變，使得平均功耗大大減小。不過光能取決于高幀率或高精度 (配合多重捕獲)。

 

圖 5 單內(nèi)存節(jié)點與三內(nèi)存節(jié)點比較圖

 

Hydra3D 傳感器的其它優(yōu)勢包括配置靈活性和多重片上功能。例如強大的片上高動態(tài)范圍(HDR)功能配合高幀率和靈活配置，允許用戶對距離范圍、物件反光度、幀率等進行權(quán)衡，以及面向環(huán)境光的強大效能。而用于強大的多重飛行時間系統(tǒng)工作的獨特片上功能則讓異步系統(tǒng)同步工作而不互相干擾。

 

Hydra3D 傳感器的主要特征如下： 

 

 

CCD 年代的時間飛行

 

時間飛行的影象處理是相較傳統(tǒng)2D視覺系統(tǒng)更復雜的技術(shù)。它涉及光學和照明系統(tǒng)，取決于多個參數(shù)(如傳感器或視場、工廠校準、專有傳感器配置) 以便于完全配合應用需求。

 

我們經(jīng)常把時間飛行傳感器和CCD傳感器比較，因為復雜的設(shè)定需要在系統(tǒng)級投放大量力量以集成傳感器，應用設(shè)定的控制因而 成為關(guān)鍵因素。

 

基于我們在飛行時間ToF CMOS傳感器的專門技術(shù)以及與客戶的緊密工作，Teledyne e2v獲得關(guān)于飛行時間系統(tǒng)的原生挑戰(zhàn)的深厚經(jīng)驗。為了幫助客戶加快上市時間和獲得適合應用要求的最佳飛行時間系統(tǒng)，我們提供從CMOS影像傳感器到訂制相機模式等一系列技術(shù)解決方案，涵蓋完整系統(tǒng)到系統(tǒng)集成支持。這包括了一個使用我們的評估平臺的參考設(shè)計，照明和光學評估，肉眼安全考慮，建模和仿真、算法和校準。

 

圖 6  Teledyne-e2v 的飛行時間技術(shù)和能力可達到系統(tǒng)級

 

總結(jié)

 

隨著工廠和物流倉庫進入自動化年代，帶動了高效無人操作工業(yè)系統(tǒng)的需求，特別是用于導向機器人和機器(用于物件辨識，導向，高速和精準度)的3D視覺技術(shù)。市場上存在多種3D技術(shù)，每種各有優(yōu)缺點和配合技術(shù)，大部分取決于應用需求。所有的這些技術(shù)都需要具有精密功能的高效傳感器。

 

Teledyne e2v擁有與市場領(lǐng)先廠商合作的成功案例，并提供包括3D視覺的廣泛獨有解決方案系列，以服務諸如工廠自動化、物流和測量應用。我們在高性能CMOS影像傳感器的獨有技術(shù)(集成先進像素和獨特功能) 結(jié)合超過10年的在飛行時間系統(tǒng)的具體經(jīng)驗，助力我們幫助客戶解決3D視覺方面的種種挑戰(zhàn)。

 

 

推薦閱讀：