【導(dǎo)讀】一家成立由20名員工組成的日本新創(chuàng)公司ITD Lab正在開(kāi)發(fā)一種“智能立體攝像頭”(Intelligent Stereo Camera，ISC)技術(shù)，鎖定包括先進(jìn)駕駛輔助系統(tǒng)(ADAS)、自動(dòng)駕駛車(chē)輛、無(wú)人機(jī)、建筑用工具機(jī)、工業(yè)用機(jī)器人等應(yīng)用。
ITD Lab的秘密武器是首席技術(shù)官実吉敬二(Keiji Saneyoshi)，他是日本車(chē)廠(chǎng)斯巴魯(Subaru)智能駕駛輔助系統(tǒng)EyeSight之父，是該車(chē)廠(chǎng)原創(chuàng)立體視覺(jué)系統(tǒng)“Stereo Range Imager”幕后的首席工程師；実吉任職于Subaru時(shí)率領(lǐng)的團(tuán)隊(duì)，開(kāi)發(fā)了第一套只利用立體攝像頭(stereo cameras)來(lái)偵測(cè)物體，例如車(chē)輛、行人、自行車(chē)或機(jī)車(chē)騎士的駕駛輔助系統(tǒng)。
Keiji Saneyoshi
実吉在1998年離開(kāi)Subaru進(jìn)入學(xué)界，在東京工業(yè)大學(xué)(Tokyo Institute of Technology，TIT)擔(dān)任教授直到2017年初；他在TIT任教期間指導(dǎo)的團(tuán)隊(duì)進(jìn)一步提升了原始立體視覺(jué)算法，并在2016年5月成立ITD Lab
顯然先進(jìn)的立體視覺(jué)(stereo-vision technology)技術(shù)就是実吉與ITD Lab的專(zhuān)長(zhǎng)所在，該技術(shù)可提供“距離估算”(distance estimation)，這是單眼攝像頭無(wú)法做到的。然而，傳感器融合在現(xiàn)今汽車(chē)產(chǎn)業(yè)領(lǐng)域蔚為風(fēng)潮，ITD Lab推動(dòng)立體視覺(jué)在ADAS的應(yīng)用似乎是違背直覺(jué)。
盡管立體視覺(jué)曾經(jīng)被視為ADAS來(lái)說(shuō)至關(guān)重要的差異化技術(shù)，聚焦于高度自動(dòng)化駕駛車(chē)輛的一線(xiàn)汽車(chē)零組件供應(yīng)商(Tier One)與車(chē)廠(chǎng)傾向于認(rèn)為立體視覺(jué)不那么相關(guān)；產(chǎn)業(yè)界形成的共識(shí)是，單視覺(jué)(Monovision)的局限可以透過(guò)單眼攝像頭與雷達(dá)的結(jié)合來(lái)解決。
実吉坦承，雷達(dá)-單視覺(jué)方案確有進(jìn)展，不過(guò)他仍然對(duì)ITD Lab的立體視覺(jué)技術(shù)有信心，因?yàn)樵摷夹g(shù)不需要融合雷達(dá)數(shù)據(jù)，能提供在3D距離量測(cè)、自我位置識(shí)別、防碰撞、物體追蹤、車(chē)道識(shí)別、道路邊界識(shí)別等方面表現(xiàn)卓越性能，速度可達(dá)每秒60訊框(frames)、最高甚至可達(dá)每秒160個(gè)訊框。
曾受教于実吉的ITD Lab首席執(zhí)行官小倉(cāng)明宏(Akihiro Ogura)接受EE Times采訪(fǎng)時(shí)表示，該公司技術(shù)的其他優(yōu)勢(shì)包括支持“自動(dòng)校準(zhǔn)”(automatic calibration)，能吸收制造失誤與安裝時(shí)的連接失誤；而小倉(cāng)強(qiáng)調(diào)，ITD Lab的技術(shù)目標(biāo)是以較低的成本提供最高安全性，該公司應(yīng)用于ADAS的解決方案之成本會(huì)低于Intel/Mobileye的方案。
ITD Lab是在一個(gè)黑盒子里提供其先進(jìn)立體視覺(jué)算法，以?xún)?chǔ)存在ROM中的程序代碼形式，用以啟動(dòng)Intel-Altera的Cyclone FPGA。
ITD Lab展示其智能立體攝像頭(左上) （來(lái)源：EE Times）
與EyeSight系出同源
雖然ITD Lab是一家新創(chuàng)公司，卻因?yàn)榧夹g(shù)與Subaru的EyeSight有血緣關(guān)系而很少遇到信譽(yù)相關(guān)的問(wèn)題。如技術(shù)顧問(wèn)公司VSI Labs創(chuàng)辦人暨首席顧問(wèn)Phil Magney所言：“EyeSight是很可靠的解決方案，而且已經(jīng)存在市場(chǎng)好一段時(shí)間；Subaru在推出前向(forward-facing) ADAS解決方案后不久就贏得不少贊賞，這成為Subaru車(chē)用安全解決方案陣容的基礎(chǔ)。”
以実吉在Subaru開(kāi)發(fā)的Stereo Range Imager為基礎(chǔ)，ITD Lab聲稱(chēng)其解決方案有進(jìn)一步的改善，特別是在自動(dòng)校準(zhǔn)、視差影像精確度(parallax image accuracy)、計(jì)算性能(平行處理優(yōu)化)等方面。不過(guò)也有部分產(chǎn)業(yè)觀(guān)察家指出，立體視覺(jué)不再是ADAS的唯一解答。
針對(duì)Subaru的EyeSight，市場(chǎng)研究機(jī)構(gòu)The Linley Group資深分析師Mike Demler的觀(guān)察是：“Subaru顯然利用了雙攝像頭進(jìn)行距離估算，以支持其適應(yīng)性巡航控制與自動(dòng)剎車(chē)/油門(mén)等功能，這是罕見(jiàn)的選擇；”他指出：“雷達(dá)現(xiàn)在是該類(lèi)功能更熱門(mén)的技術(shù)選項(xiàng)，也更精確可靠，因?yàn)椴槐仡檻]光線(xiàn)情況與雨雪等情境。”
而Demler指出，使用立體攝像頭的唯一理由是3D建模以及距離估算，他猜測(cè)実吉選擇立體視覺(jué)方法而非攝像頭-雷達(dá)系統(tǒng)，只是因?yàn)樗麑?duì)前者比較熟悉。不過(guò)実吉堅(jiān)稱(chēng)，立體視覺(jué)方案──藉由在整個(gè)流程中保持光流(optical flow)──能讓ADAS更簡(jiǎn)單而且容易，因?yàn)椴恍枰獋鞲衅魅诤稀?/div>
VSI Labs的Magney部分同意実吉的意見(jiàn)；他指出：“采用立體視覺(jué)做為主要傳感器，就不必?fù)?dān)心雷達(dá)，”而且能讓你“把所有的處理程序包進(jìn)立體視覺(jué)模塊中，所以在布署之前一切都設(shè)定妥當(dāng)；”然而他也指出：“更常見(jiàn)的方法是將單眼攝像頭搭配雷達(dá)，可以更合理地量測(cè)物體的深度以及運(yùn)動(dòng)。”
確實(shí)，雷達(dá)技術(shù)一直在變得更好；如Magney所言，它抵抗天氣的能力比攝像頭更好。在另一方面，雷達(dá)的最大問(wèn)題仍然是“誤報(bào)”。隨著傳感器融合的勢(shì)力不斷擴(kuò)大，ITD的立體視覺(jué)技術(shù)有可能已經(jīng)過(guò)時(shí)，但該公司首席執(zhí)行官小倉(cāng)在充分意識(shí)到所面臨的艱困市場(chǎng)競(jìng)爭(zhēng)之同時(shí)，也表示：“給我們機(jī)會(huì)證明我們的技術(shù)，你一定不會(huì)失望。”
支持立體視覺(jué)技術(shù)，你不是一個(gè)人在戰(zhàn)斗
日本新創(chuàng)公司ITD Lab并非唯一看好立體視覺(jué)技術(shù)的業(yè)者，還有包括汽車(chē)安全系統(tǒng)制造商Autoliv、Subaru/Eyesight以及Ambarella (VisLab)，也提供立體視覺(jué)解決方案。
市場(chǎng)研究機(jī)構(gòu)The Linley Group資深分析師Mike Demler表示，來(lái)自歐洲的自動(dòng)駕駛技術(shù)開(kāi)發(fā)商AIMotive曾示范過(guò)利用立體攝像頭支持高階自動(dòng)駕駛；技術(shù)顧問(wèn)公司VSI Labs創(chuàng)辦人暨首席顧問(wèn)Phil Magney則指出，除了前面提到的那些公司：“有少數(shù)一線(xiàn)(Tier Ones)汽車(chē)電子廠(chǎng)商也仍支持立體視覺(jué)技術(shù)，就算目前沒(méi)有將該技術(shù)列在產(chǎn)品列表中，也會(huì)提供立體視覺(jué)方案的詢(xún)價(jià)(RFQ)。”
相較于其他立體視覺(jué)解決方案，ITD Lab首席技術(shù)官実吉敬二(Keiji Saneyoshi)強(qiáng)調(diào)，該公司的優(yōu)勢(shì)在于兩個(gè)方面：“我們提供更清晰的物體邊緣(object-edge)偵測(cè)，而且我們的處理速度快很多──大概是Subaru EyeSight速度的十倍。”
CMOS影像傳感器拍攝的影像 （來(lái)源：ITD Lab）
ITD Lab競(jìng)爭(zhēng)對(duì)手之立體視覺(jué)技術(shù)拍攝的影像 （來(lái)源：ITD Lab）
上面的第一張圖是以CMOS影像傳感器拍攝的影像，第二張圖則是ITD Lab競(jìng)爭(zhēng)對(duì)手的立體視覺(jué)技術(shù)所擷取的影像；実吉指出，物體之間的邊緣粗糙而且模糊，可能導(dǎo)致某些物體消失在背景中。下方的影像則是由ITD Lab自家立體視覺(jué)技術(shù)拍攝的，每個(gè)物體的邊緣更銳利，強(qiáng)化了可藉由轉(zhuǎn)向避免碰撞的能力。
以ITD Lab立體視覺(jué)技術(shù)拍攝的影像 （來(lái)源：ITD Lab）
功能齊全的SoC
而ITD Lab與其他計(jì)算機(jī)視覺(jué)處理器業(yè)者的最大差異化所在，是実吉堅(jiān)持利用FPGA做為視覺(jué)加速器，他相信FPGA不只對(duì)該公司的立體視覺(jué)算法很理想，也能在未來(lái)用以執(zhí)行CNN或DNN等人工智能神經(jīng)網(wǎng)絡(luò)：“FPGA的平行處理流水線(xiàn)是為深度學(xué)習(xí)量身打造。”
雖然目前ITD Lab的智能立體攝像頭(Intelligent Stereo Camera)還未提供深度學(xué)習(xí)功能，但該公司首席執(zhí)行官小倉(cāng)明宏(Akihiro Ogura)表示，他們計(jì)劃利用“一款低成本FPGA”添加AI功能。根據(jù)ITD Lab代理商Macnica/Fuji Electronics總經(jīng)理荒井文彥(Sachihiko Asakura)的說(shuō)法，該公司正準(zhǔn)備導(dǎo)入來(lái)自第三方業(yè)者的深度學(xué)習(xí)解決方案。
對(duì)此VSI Labs的Magney表示：“對(duì)ADAS來(lái)說(shuō)，沒(méi)有AI功能不會(huì)是一個(gè)缺陷，因?yàn)樵擃?lèi)系統(tǒng)主要是決定性應(yīng)用；不過(guò)對(duì)更多先進(jìn)應(yīng)用(例如自動(dòng)駕駛)來(lái)說(shuō)，你會(huì)需要對(duì)AI技術(shù)有所著墨，以保持與市場(chǎng)的關(guān)聯(lián)性。”
ITD Lab的実吉堅(jiān)信，立體視覺(jué)處理是在未進(jìn)行訓(xùn)練的情況下偵測(cè)一般物體的理想方案；相較之下單眼視覺(jué)可能會(huì)在遇到未經(jīng)過(guò)訓(xùn)練的狀況時(shí)錯(cuò)失物體偵測(cè)；“舉例來(lái)說(shuō)，Volvo的自動(dòng)駕駛技術(shù)據(jù)說(shuō)在識(shí)別馬路上的袋鼠時(shí)遭遇困難，”他表示，袋鼠的跳躍動(dòng)作會(huì)混淆單眼相機(jī)的視覺(jué)處理。
但The Linley Group的Demler并不贊同，他提出的疑問(wèn)是：“單眼視覺(jué)物體偵測(cè)與識(shí)別算法都已妥善經(jīng)過(guò)證實(shí)，ImageNet競(jìng)賽都是以單眼拍攝影像為識(shí)別內(nèi)容，這不是很有趣嗎？”他進(jìn)一步表示：“神經(jīng)網(wǎng)絡(luò)推理引擎是分類(lèi)氣，它們會(huì)計(jì)算一個(gè)物體有經(jīng)過(guò)預(yù)先訓(xùn)練的概率，如我們所知道的，Uber的系統(tǒng)其實(shí)有偵測(cè)到牽著自行車(chē)穿越馬路的女性路人，但軟件當(dāng)機(jī)了。”
對(duì)于Uber自駕車(chē)在美國(guó)發(fā)生的撞人致死事故，実吉的疑問(wèn)是Mobileye視覺(jué)處理器有沒(méi)有在足夠快的時(shí)間內(nèi)偵測(cè)到行人。為了證明今日的ADAS技術(shù)性能，Mobileye在來(lái)自警方提供之Uber交通事故視頻饋入上執(zhí)行其軟件；英特爾資深副總裁Amnon Shashua在去年3月的一篇部落格文章中表示：“盡管條件不理想，大多數(shù)出現(xiàn)在實(shí)際場(chǎng)景中的高動(dòng)態(tài)范圍數(shù)據(jù)可能丟失，但在發(fā)生撞擊大約1秒之前能達(dá)成清楚的偵測(cè)。”
実吉也有做過(guò)一樣的工作，在Uber事故的視頻饋入上執(zhí)行其軟件；根據(jù)他的說(shuō)法，ITD的智能立體攝像頭能在撞擊發(fā)生前2.23秒偵測(cè)到穿越馬路的女性行人。如下圖所示，第一欄是單眼視覺(jué)處理器擷取的影像在撞擊前1.29秒偵測(cè)到物體，第二欄是ITD的立體視覺(jué)擷取到的影像，第三欄則是警方提供的事故發(fā)生當(dāng)時(shí)監(jiān)視錄像。
以不同技術(shù)模擬偵測(cè)Uber美國(guó)的撞人致死事故 （來(lái)源：ITD Lab）
ITD Lab準(zhǔn)備推出其智能立體攝像頭芯片──儲(chǔ)存一組用以處理視差影像數(shù)據(jù)之FPGA程序代碼的ROM芯片──以及包括光學(xué)組件在內(nèi)的參考設(shè)計(jì)開(kāi)發(fā)板；該公司表示，至少將有一家Tier One廠(chǎng)商正在評(píng)估其技術(shù)，而実吉表示該方案的功耗是3瓦。
本文轉(zhuǎn)載自電子技術(shù)設(shè)計(jì)。
推薦閱讀：
