你的位置:首頁 > 傳感技術(shù) > 正文

惡劣條件下的成像如何破?eHDR智能線性化技術(shù)多圖效果對比!

發(fā)布時間:2024-05-14 來源:安森美 責(zé)任編輯:lina

【導(dǎo)讀】圖像傳感器廣泛用于安防監(jiān)控、隨身記錄儀、可視門鈴和機器人等應(yīng)用,必須能夠在各種惡劣成像條件下穩(wěn)定工作,以支持圖像視覺和機器視覺等功能。高動態(tài)范圍場景、運動物體或 LED 閃爍等惡劣成像條件,會導(dǎo)致攝像頭難以準(zhǔn)確捕捉畫面。


圖像傳感器廣泛用于安防監(jiān)控、隨身記錄儀、可視門鈴和機器人等應(yīng)用,必須能夠在各種惡劣成像條件下穩(wěn)定工作,以支持圖像視覺和機器視覺等功能。高動態(tài)范圍場景、運動物體或 LED 閃爍等惡劣成像條件,會導(dǎo)致攝像頭難以準(zhǔn)確捕捉畫面。


什么是 HDR,為什么需要 HDR?


圖像傳感器的動態(tài)范圍用于描述傳感器在較暗和較亮區(qū)域中捕獲圖像細節(jié)的能力。只有動態(tài)范圍較高的圖像才能讓人同時看到亮區(qū)和暗區(qū)的細節(jié)。人眼的動態(tài)范圍可以達到 100 dB 以上,但單次曝光的攝像頭很難達到這一水平。

為了擴展動態(tài)范圍,常用的方法是拍攝多張曝光時間不同的低動態(tài)范圍圖像,然后將它們合并在一起以獲得高動態(tài)范圍圖像。長曝光圖像可捕捉圖像中的暗區(qū),而短曝光圖像可捕捉亮區(qū),因此在合并后的圖像中,我們將能夠看到分別利用長曝光信號和短曝光信號形成的暗區(qū)和亮區(qū)。


線性化與相關(guān)的挑戰(zhàn)


合并各張圖像的過程稱為線性化。多張圖像的線性化需占用大量內(nèi)存,此外為實現(xiàn)高幀率,還需具備強大的處理能力作為支撐。


完成線性化后,在查看已合并的高動態(tài)范圍圖像時,還可能會遇到特定的圖像質(zhì)量問題。在惡劣的成像條件下,這些圖像質(zhì)量問題或偽影會變得更加明顯。


例如,以下成像條件會導(dǎo)致偽影問題更加明顯:

  • 場景中有運動物體

  • 場景中有 LED 燈閃爍

  • 空間內(nèi)鄰近區(qū)域使用來自多張圖像的數(shù)據(jù)


安森美 (onsemi)的白皮書《利用低帶寬高動態(tài)范圍 (eHDR) 技術(shù)提高物體識別精度》說明了 eHDR 相對于 LI?HDR 在帶寬和節(jié)省能耗方面的優(yōu)勢。該白皮書重點介紹了由安森美的 AR0822 圖像傳感器提供支持的線性化模式,其中的嵌入式高動態(tài)范圍 (eHDR) 技術(shù)無需依賴于主機 ISP/SoC,便能在傳感器上創(chuàng)建 HDR 圖像。AR0822 圖像傳感器的 eHDR 技術(shù)能夠有效應(yīng)對通過線性化將多張圖像合成 HDR 圖像時所遇到的重大難題,尤其是能夠解決因惡劣照明條件而產(chǎn)生的種種問題。


智能線性化改善轉(zhuǎn)換信噪比


一般的線性化過程會先使用長曝光信號,直至長曝光飽和(12 位 ADC 為 4095LSB),然后利用短曝光信號計算 HDR 圖像中所需的線性化信號。在 HDR 圖像中,由于短曝光信號的信噪比遠低于長曝光信號,因此從長曝光信號轉(zhuǎn)換到短曝光信號時會導(dǎo)致出現(xiàn)較明顯的偽影現(xiàn)象。當(dāng) ISP 對該圖像進行后處理時,偽影可能會進一步放大。


為了有效管理從長曝光到短曝光的轉(zhuǎn)換過程,智能線性化會對長曝光和短曝光信號進行加權(quán)組合,從而計算出一個信號。其中,長曝光和短曝光依據(jù)各自的信號水平被賦予不同的權(quán)重。通過這種智能線性化處理,當(dāng)從長曝光切換到短曝光時,信號會平滑傳輸。


圖 1 顯示了由頂部散射光照亮的相同場景,當(dāng)我們由上至下觀察這個灰色場景,會發(fā)現(xiàn)信號水平下降,圖像也從短曝光轉(zhuǎn)換到長曝光。圖 1 的左側(cè)圖像未啟用智能線性化功能??梢钥吹郊t色箭頭處存在較明顯的偽影現(xiàn)象,這正是因不同曝光水平而造成的轉(zhuǎn)換偽影。


圖 1 的右側(cè)圖像開啟了智能線性化功能,可以看到偽影現(xiàn)象顯著緩解,能給人以更舒適的觀感,而且也降低了被機器視覺算法誤認(rèn)為是邊緣的風(fēng)險。由此可見,AR0822 的智能線性化技術(shù)有助于實現(xiàn)不同曝光水平下信噪比的平滑過渡,避免信噪比突然變化。


圖像傳感器廣泛用于安防監(jiān)控、隨身記錄儀、可視門鈴和機器人等應(yīng)用,必須能夠在各種惡劣成像條件下穩(wěn)定工作,以支持圖像視覺和機器視覺等功能。高動態(tài)范圍場景、運動物體或 LED 閃爍等惡劣成像條件,會導(dǎo)致攝像頭難以準(zhǔn)確捕捉畫面。  什么是 HDR,為什么需要 HDR?  圖像傳感器的動態(tài)范圍用于描述傳感器在較暗和較亮區(qū)域中捕獲圖像細節(jié)的能力。只有動態(tài)范圍較高的圖像才能讓人同時看到亮區(qū)和暗區(qū)的細節(jié)。人眼的動態(tài)范圍可以達到 100 dB 以上,但單次曝光的攝像頭很難達到這一水平。  為了擴展動態(tài)范圍,常用的方法是拍攝多張曝光時間不同的低動態(tài)范圍圖像,然后將它們合并在一起以獲得高動態(tài)范圍圖像。長曝光圖像可捕捉圖像中的暗區(qū),而短曝光圖像可捕捉亮區(qū),因此在合并后的圖像中,我們將能夠看到分別利用長曝光信號和短曝光信號形成的暗區(qū)和亮區(qū)。  線性化與相關(guān)的挑戰(zhàn)  合并各張圖像的過程稱為線性化。多張圖像的線性化需占用大量內(nèi)存,此外為實現(xiàn)高幀率,還需具備強大的處理能力作為支撐。  完成線性化后,在查看已合并的高動態(tài)范圍圖像時,還可能會遇到特定的圖像質(zhì)量問題。在惡劣的成像條件下,這些圖像質(zhì)量問題或偽影會變得更加明顯。  例如,以下成像條件會導(dǎo)致偽影問題更加明顯:  場景中有運動物體  場景中有 LED 燈閃爍  空間內(nèi)鄰近區(qū)域使用來自多張圖像的數(shù)據(jù)  安森美 (onsemi)的白皮書《利用低帶寬高動態(tài)范圍 (eHDR) 技術(shù)提高物體識別精度》說明了 eHDR 相對于 LI?HDR 在帶寬和節(jié)省能耗方面的優(yōu)勢。該白皮書重點介紹了由安森美的 AR0822 圖像傳感器提供支持的線性化模式,其中的嵌入式高動態(tài)范圍 (eHDR) 技術(shù)無需依賴于主機 ISP/SoC,便能在傳感器上創(chuàng)建 HDR 圖像。AR0822 圖像傳感器的 eHDR 技術(shù)能夠有效應(yīng)對通過線性化將多張圖像合成 HDR 圖像時所遇到的重大難題,尤其是能夠解決因惡劣照明條件而產(chǎn)生的種種問題。  智能線性化改善轉(zhuǎn)換信噪比  一般的線性化過程會先使用長曝光信號,直至長曝光飽和(12 位 ADC 為 4095LSB),然后利用短曝光信號計算 HDR 圖像中所需的線性化信號。在 HDR 圖像中,由于短曝光信號的信噪比遠低于長曝光信號,因此從長曝光信號轉(zhuǎn)換到短曝光信號時會導(dǎo)致出現(xiàn)較明顯的偽影現(xiàn)象。當(dāng) ISP 對該圖像進行后處理時,偽影可能會進一步放大。  為了有效管理從長曝光到短曝光的轉(zhuǎn)換過程,智能線性化會對長曝光和短曝光信號進行加權(quán)組合,從而計算出一個信號。其中,長曝光和短曝光依據(jù)各自的信號水平被賦予不同的權(quán)重。通過這種智能線性化處理,當(dāng)從長曝光切換到短曝光時,信號會平滑傳輸。  圖 1 顯示了由頂部散射光照亮的相同場景,當(dāng)我們由上至下觀察這個灰色場景,會發(fā)現(xiàn)信號水平下降,圖像也從短曝光轉(zhuǎn)換到長曝光。圖 1 的左側(cè)圖像未啟用智能線性化功能??梢钥吹郊t色箭頭處存在較明顯的偽影現(xiàn)象,這正是因不同曝光水平而造成的轉(zhuǎn)換偽影。  圖 1 的右側(cè)圖像開啟了智能線性化功能,可以看到偽影現(xiàn)象顯著緩解,能給人以更舒適的觀感,而且也降低了被機器視覺算法誤認(rèn)為是邊緣的風(fēng)險。由此可見,AR0822 的智能線性化技術(shù)有助于實現(xiàn)不同曝光水平下信噪比的平滑過渡,避免信噪比突然變化。  圖 1.智能線性化技術(shù)能夠確保圖像在不同曝光水平下平滑過渡.png  圖 1.智能線性化技術(shù)能夠確保圖像在不同曝光水平下平滑過渡  智能線性化改善運動偽影成像  對運動場景進行多次曝光成像時,可能出現(xiàn)長曝光信號和經(jīng)線性化的短曝光信號不等效的情況,這是由于場景中物體正在運動造成的,并有可能導(dǎo)致出現(xiàn)顏色偽影,即在運動發(fā)生的區(qū)域中存在色調(diào)變化。  減少長曝光時間在一定程度上有助于減小偽影的面積,但這種方法的可操作性不高,可能會造成大部分場景處于低光狀態(tài),導(dǎo)致整個場景的整體圖像質(zhì)量下降。  AR0822 傳感器的智能線性化功能可以有效緩解場景中的顏色偽影。該功能會首先檢測場景中的運動,即短曝光與長曝光在線性化信號水平上的差異。然后將根據(jù)檢測到的運動程度,使用長曝光和短曝光的組合信號水平來減輕場景中的運動偽影。  圖 2 為背景中有旋轉(zhuǎn)風(fēng)扇的例子,對比了在智能線性化關(guān)閉和開啟兩種情況下的成像情況。智能線性化關(guān)閉時,風(fēng)扇葉片頂部附近區(qū)域出現(xiàn)了顏色偽影,這是由長曝光與線性化短曝光的信號水平差異造成的。在右側(cè)圖像,智能線性化算法檢測到了這一情況并進行了校正。  圖 2.智能線性化 – 減少運動偽影.png  圖 2.智能線性化 – 減少運動偽影    圖 3 放大了圖 2 的部分細節(jié)。智能線性化關(guān)閉時,風(fēng)扇葉片附近出現(xiàn)了黃色的運動偽影,而不是橙色。開啟智能線性化可以有效減輕這種顏色偽影。  圖 3.智能線性化技術(shù)能夠有效緩解運動偽影.png  圖 3.智能線性化技術(shù)能夠有效緩解運動偽影  智能線性化改善 LED 閃爍成像  在一般線性化過程中,場景中不停閃爍的 LED 燈可能會導(dǎo)致圖像傳感器的某個顏色通道通過長曝光成像,而另一個顏色通道通過短曝光成像,具體取決于每個顏色通道的信號水平。因此,當(dāng)某個顏色通道正通過長曝光成像時,LED燈處于開啟狀態(tài);而當(dāng)另一個顏色通道進行短曝光成像時,LED燈已經(jīng)關(guān)閉。后續(xù)合并不同曝光時間的圖像時,圖像的色調(diào)可能會因此而改變。在比較糟糕的情況下,圖像中會顯示 LED 為關(guān)閉狀態(tài),而肉眼卻看到 LED 正亮著。  智能線性化可以通過檢測長曝光與短曝光的線性化信號的差異,來感測由 LED 閃爍引起的閃爍偽影。它能根據(jù)觀測到的線性化信號的差異程度,智能地組合長曝光和短曝光,從而有效減輕顏色偽影。短曝光成像常會導(dǎo)致閃爍的 LED 呈關(guān)閉狀態(tài),而開啟智能線性化則可以避免這個問題,讓圖像更接近我們?nèi)搜塾^察到的情況。  圖 4 對比了智能線性化關(guān)閉和開啟兩種情況下的 LED 閃爍圖像。智能線性化關(guān)閉時,場景中的一些 LED 燈會顯示顏色偽影,這是由長曝光與短曝光的信號水平差異造成的。在右側(cè)圖像,智能線性化算法檢測到了這一情況并進行了校正。  圖 4.智能線性化 ? 視頻快照.png  圖 4.智能線性化 ? 視頻快照    圖 5 放大了圖 4 中的 LED 燈局部細節(jié)。智能線性化關(guān)閉時,在視頻中會看到閃爍的偽影,或者在快照圖像中會看到紅色箭頭所標(biāo)記的顏色偽影。開啟智能線性化可以有效減輕這些顏色偽影/閃爍偽影,如右側(cè)圖像所示。  圖 5.智能線性化技術(shù)能夠有效減少 LED 偽影.png  圖 5.智能線性化技術(shù)能夠有效減少 LED 偽影  智能線性化的集成優(yōu)勢  隨著攝像頭分辨率的持續(xù)提升以及汽車或監(jiān)控系統(tǒng)所連接的攝像頭數(shù)量不斷攀升,片外ISP/SoC的處理負擔(dān)日益加劇,進而使得算力和功耗問題愈發(fā)凸顯。將線性化算法轉(zhuǎn)移到傳感器有助于節(jié)省SoC的計算時間,同時提高傳輸幀率。憑借AR0822傳感器的智能線性化等先進算法,安森美可以有效減輕多重曝光HDR圖像產(chǎn)生的偽影,并且單個和多個傳感器可以輕松集成到ISP/SoC上。  文章來源:安森美

圖 1.智能線性化技術(shù)能夠確保圖像在不同曝光水平下平滑過渡


智能線性化改善運動偽影成像


對運動場景進行多次曝光成像時,可能出現(xiàn)長曝光信號和經(jīng)線性化的短曝光信號不等效的情況,這是由于場景中物體正在運動造成的,并有可能導(dǎo)致出現(xiàn)顏色偽影,即在運動發(fā)生的區(qū)域中存在色調(diào)變化。


減少長曝光時間在一定程度上有助于減小偽影的面積,但這種方法的可操作性不高,可能會造成大部分場景處于低光狀態(tài),導(dǎo)致整個場景的整體圖像質(zhì)量下降。


AR0822 傳感器的智能線性化功能可以有效緩解場景中的顏色偽影。該功能會首先檢測場景中的運動,即短曝光與長曝光在線性化信號水平上的差異。然后將根據(jù)檢測到的運動程度,使用長曝光和短曝光的組合信號水平來減輕場景中的運動偽影。


圖 2 為背景中有旋轉(zhuǎn)風(fēng)扇的例子,對比了在智能線性化關(guān)閉和開啟兩種情況下的成像情況。智能線性化關(guān)閉時,風(fēng)扇葉片頂部附近區(qū)域出現(xiàn)了顏色偽影,這是由長曝光與線性化短曝光的信號水平差異造成的。在右側(cè)圖像,智能線性化算法檢測到了這一情況并進行了校正。


圖像傳感器廣泛用于安防監(jiān)控、隨身記錄儀、可視門鈴和機器人等應(yīng)用,必須能夠在各種惡劣成像條件下穩(wěn)定工作,以支持圖像視覺和機器視覺等功能。高動態(tài)范圍場景、運動物體或 LED 閃爍等惡劣成像條件,會導(dǎo)致攝像頭難以準(zhǔn)確捕捉畫面。  什么是 HDR,為什么需要 HDR?  圖像傳感器的動態(tài)范圍用于描述傳感器在較暗和較亮區(qū)域中捕獲圖像細節(jié)的能力。只有動態(tài)范圍較高的圖像才能讓人同時看到亮區(qū)和暗區(qū)的細節(jié)。人眼的動態(tài)范圍可以達到 100 dB 以上,但單次曝光的攝像頭很難達到這一水平。  為了擴展動態(tài)范圍,常用的方法是拍攝多張曝光時間不同的低動態(tài)范圍圖像,然后將它們合并在一起以獲得高動態(tài)范圍圖像。長曝光圖像可捕捉圖像中的暗區(qū),而短曝光圖像可捕捉亮區(qū),因此在合并后的圖像中,我們將能夠看到分別利用長曝光信號和短曝光信號形成的暗區(qū)和亮區(qū)。  線性化與相關(guān)的挑戰(zhàn)  合并各張圖像的過程稱為線性化。多張圖像的線性化需占用大量內(nèi)存,此外為實現(xiàn)高幀率,還需具備強大的處理能力作為支撐。  完成線性化后,在查看已合并的高動態(tài)范圍圖像時,還可能會遇到特定的圖像質(zhì)量問題。在惡劣的成像條件下,這些圖像質(zhì)量問題或偽影會變得更加明顯。  例如,以下成像條件會導(dǎo)致偽影問題更加明顯:  場景中有運動物體  場景中有 LED 燈閃爍  空間內(nèi)鄰近區(qū)域使用來自多張圖像的數(shù)據(jù)  安森美 (onsemi)的白皮書《利用低帶寬高動態(tài)范圍 (eHDR) 技術(shù)提高物體識別精度》說明了 eHDR 相對于 LI?HDR 在帶寬和節(jié)省能耗方面的優(yōu)勢。該白皮書重點介紹了由安森美的 AR0822 圖像傳感器提供支持的線性化模式,其中的嵌入式高動態(tài)范圍 (eHDR) 技術(shù)無需依賴于主機 ISP/SoC,便能在傳感器上創(chuàng)建 HDR 圖像。AR0822 圖像傳感器的 eHDR 技術(shù)能夠有效應(yīng)對通過線性化將多張圖像合成 HDR 圖像時所遇到的重大難題,尤其是能夠解決因惡劣照明條件而產(chǎn)生的種種問題。  智能線性化改善轉(zhuǎn)換信噪比  一般的線性化過程會先使用長曝光信號,直至長曝光飽和(12 位 ADC 為 4095LSB),然后利用短曝光信號計算 HDR 圖像中所需的線性化信號。在 HDR 圖像中,由于短曝光信號的信噪比遠低于長曝光信號,因此從長曝光信號轉(zhuǎn)換到短曝光信號時會導(dǎo)致出現(xiàn)較明顯的偽影現(xiàn)象。當(dāng) ISP 對該圖像進行后處理時,偽影可能會進一步放大。  為了有效管理從長曝光到短曝光的轉(zhuǎn)換過程,智能線性化會對長曝光和短曝光信號進行加權(quán)組合,從而計算出一個信號。其中,長曝光和短曝光依據(jù)各自的信號水平被賦予不同的權(quán)重。通過這種智能線性化處理,當(dāng)從長曝光切換到短曝光時,信號會平滑傳輸。  圖 1 顯示了由頂部散射光照亮的相同場景,當(dāng)我們由上至下觀察這個灰色場景,會發(fā)現(xiàn)信號水平下降,圖像也從短曝光轉(zhuǎn)換到長曝光。圖 1 的左側(cè)圖像未啟用智能線性化功能??梢钥吹郊t色箭頭處存在較明顯的偽影現(xiàn)象,這正是因不同曝光水平而造成的轉(zhuǎn)換偽影。  圖 1 的右側(cè)圖像開啟了智能線性化功能,可以看到偽影現(xiàn)象顯著緩解,能給人以更舒適的觀感,而且也降低了被機器視覺算法誤認(rèn)為是邊緣的風(fēng)險。由此可見,AR0822 的智能線性化技術(shù)有助于實現(xiàn)不同曝光水平下信噪比的平滑過渡,避免信噪比突然變化。  圖 1.智能線性化技術(shù)能夠確保圖像在不同曝光水平下平滑過渡.png  圖 1.智能線性化技術(shù)能夠確保圖像在不同曝光水平下平滑過渡  智能線性化改善運動偽影成像  對運動場景進行多次曝光成像時,可能出現(xiàn)長曝光信號和經(jīng)線性化的短曝光信號不等效的情況,這是由于場景中物體正在運動造成的,并有可能導(dǎo)致出現(xiàn)顏色偽影,即在運動發(fā)生的區(qū)域中存在色調(diào)變化。  減少長曝光時間在一定程度上有助于減小偽影的面積,但這種方法的可操作性不高,可能會造成大部分場景處于低光狀態(tài),導(dǎo)致整個場景的整體圖像質(zhì)量下降。  AR0822 傳感器的智能線性化功能可以有效緩解場景中的顏色偽影。該功能會首先檢測場景中的運動,即短曝光與長曝光在線性化信號水平上的差異。然后將根據(jù)檢測到的運動程度,使用長曝光和短曝光的組合信號水平來減輕場景中的運動偽影。  圖 2 為背景中有旋轉(zhuǎn)風(fēng)扇的例子,對比了在智能線性化關(guān)閉和開啟兩種情況下的成像情況。智能線性化關(guān)閉時,風(fēng)扇葉片頂部附近區(qū)域出現(xiàn)了顏色偽影,這是由長曝光與線性化短曝光的信號水平差異造成的。在右側(cè)圖像,智能線性化算法檢測到了這一情況并進行了校正。  圖 2.智能線性化 – 減少運動偽影.png  圖 2.智能線性化 – 減少運動偽影    圖 3 放大了圖 2 的部分細節(jié)。智能線性化關(guān)閉時,風(fēng)扇葉片附近出現(xiàn)了黃色的運動偽影,而不是橙色。開啟智能線性化可以有效減輕這種顏色偽影。  圖 3.智能線性化技術(shù)能夠有效緩解運動偽影.png  圖 3.智能線性化技術(shù)能夠有效緩解運動偽影  智能線性化改善 LED 閃爍成像  在一般線性化過程中,場景中不停閃爍的 LED 燈可能會導(dǎo)致圖像傳感器的某個顏色通道通過長曝光成像,而另一個顏色通道通過短曝光成像,具體取決于每個顏色通道的信號水平。因此,當(dāng)某個顏色通道正通過長曝光成像時,LED燈處于開啟狀態(tài);而當(dāng)另一個顏色通道進行短曝光成像時,LED燈已經(jīng)關(guān)閉。后續(xù)合并不同曝光時間的圖像時,圖像的色調(diào)可能會因此而改變。在比較糟糕的情況下,圖像中會顯示 LED 為關(guān)閉狀態(tài),而肉眼卻看到 LED 正亮著。  智能線性化可以通過檢測長曝光與短曝光的線性化信號的差異,來感測由 LED 閃爍引起的閃爍偽影。它能根據(jù)觀測到的線性化信號的差異程度,智能地組合長曝光和短曝光,從而有效減輕顏色偽影。短曝光成像常會導(dǎo)致閃爍的 LED 呈關(guān)閉狀態(tài),而開啟智能線性化則可以避免這個問題,讓圖像更接近我們?nèi)搜塾^察到的情況。  圖 4 對比了智能線性化關(guān)閉和開啟兩種情況下的 LED 閃爍圖像。智能線性化關(guān)閉時,場景中的一些 LED 燈會顯示顏色偽影,這是由長曝光與短曝光的信號水平差異造成的。在右側(cè)圖像,智能線性化算法檢測到了這一情況并進行了校正。  圖 4.智能線性化 ? 視頻快照.png  圖 4.智能線性化 ? 視頻快照    圖 5 放大了圖 4 中的 LED 燈局部細節(jié)。智能線性化關(guān)閉時,在視頻中會看到閃爍的偽影,或者在快照圖像中會看到紅色箭頭所標(biāo)記的顏色偽影。開啟智能線性化可以有效減輕這些顏色偽影/閃爍偽影,如右側(cè)圖像所示。  圖 5.智能線性化技術(shù)能夠有效減少 LED 偽影.png  圖 5.智能線性化技術(shù)能夠有效減少 LED 偽影  智能線性化的集成優(yōu)勢  隨著攝像頭分辨率的持續(xù)提升以及汽車或監(jiān)控系統(tǒng)所連接的攝像頭數(shù)量不斷攀升,片外ISP/SoC的處理負擔(dān)日益加劇,進而使得算力和功耗問題愈發(fā)凸顯。將線性化算法轉(zhuǎn)移到傳感器有助于節(jié)省SoC的計算時間,同時提高傳輸幀率。憑借AR0822傳感器的智能線性化等先進算法,安森美可以有效減輕多重曝光HDR圖像產(chǎn)生的偽影,并且單個和多個傳感器可以輕松集成到ISP/SoC上。  文章來源:安森美

圖 2.智能線性化 – 減少運動偽影



圖 3 放大了圖 2 的部分細節(jié)。智能線性化關(guān)閉時,風(fēng)扇葉片附近出現(xiàn)了黃色的運動偽影,而不是橙色。開啟智能線性化可以有效減輕這種顏色偽影。


圖像傳感器廣泛用于安防監(jiān)控、隨身記錄儀、可視門鈴和機器人等應(yīng)用,必須能夠在各種惡劣成像條件下穩(wěn)定工作,以支持圖像視覺和機器視覺等功能。高動態(tài)范圍場景、運動物體或 LED 閃爍等惡劣成像條件,會導(dǎo)致攝像頭難以準(zhǔn)確捕捉畫面。  什么是 HDR,為什么需要 HDR?  圖像傳感器的動態(tài)范圍用于描述傳感器在較暗和較亮區(qū)域中捕獲圖像細節(jié)的能力。只有動態(tài)范圍較高的圖像才能讓人同時看到亮區(qū)和暗區(qū)的細節(jié)。人眼的動態(tài)范圍可以達到 100 dB 以上,但單次曝光的攝像頭很難達到這一水平。  為了擴展動態(tài)范圍,常用的方法是拍攝多張曝光時間不同的低動態(tài)范圍圖像,然后將它們合并在一起以獲得高動態(tài)范圍圖像。長曝光圖像可捕捉圖像中的暗區(qū),而短曝光圖像可捕捉亮區(qū),因此在合并后的圖像中,我們將能夠看到分別利用長曝光信號和短曝光信號形成的暗區(qū)和亮區(qū)。  線性化與相關(guān)的挑戰(zhàn)  合并各張圖像的過程稱為線性化。多張圖像的線性化需占用大量內(nèi)存,此外為實現(xiàn)高幀率,還需具備強大的處理能力作為支撐。  完成線性化后,在查看已合并的高動態(tài)范圍圖像時,還可能會遇到特定的圖像質(zhì)量問題。在惡劣的成像條件下,這些圖像質(zhì)量問題或偽影會變得更加明顯。  例如,以下成像條件會導(dǎo)致偽影問題更加明顯:  場景中有運動物體  場景中有 LED 燈閃爍  空間內(nèi)鄰近區(qū)域使用來自多張圖像的數(shù)據(jù)  安森美 (onsemi)的白皮書《利用低帶寬高動態(tài)范圍 (eHDR) 技術(shù)提高物體識別精度》說明了 eHDR 相對于 LI?HDR 在帶寬和節(jié)省能耗方面的優(yōu)勢。該白皮書重點介紹了由安森美的 AR0822 圖像傳感器提供支持的線性化模式,其中的嵌入式高動態(tài)范圍 (eHDR) 技術(shù)無需依賴于主機 ISP/SoC,便能在傳感器上創(chuàng)建 HDR 圖像。AR0822 圖像傳感器的 eHDR 技術(shù)能夠有效應(yīng)對通過線性化將多張圖像合成 HDR 圖像時所遇到的重大難題,尤其是能夠解決因惡劣照明條件而產(chǎn)生的種種問題。  智能線性化改善轉(zhuǎn)換信噪比  一般的線性化過程會先使用長曝光信號,直至長曝光飽和(12 位 ADC 為 4095LSB),然后利用短曝光信號計算 HDR 圖像中所需的線性化信號。在 HDR 圖像中,由于短曝光信號的信噪比遠低于長曝光信號,因此從長曝光信號轉(zhuǎn)換到短曝光信號時會導(dǎo)致出現(xiàn)較明顯的偽影現(xiàn)象。當(dāng) ISP 對該圖像進行后處理時,偽影可能會進一步放大。  為了有效管理從長曝光到短曝光的轉(zhuǎn)換過程,智能線性化會對長曝光和短曝光信號進行加權(quán)組合,從而計算出一個信號。其中,長曝光和短曝光依據(jù)各自的信號水平被賦予不同的權(quán)重。通過這種智能線性化處理,當(dāng)從長曝光切換到短曝光時,信號會平滑傳輸。  圖 1 顯示了由頂部散射光照亮的相同場景,當(dāng)我們由上至下觀察這個灰色場景,會發(fā)現(xiàn)信號水平下降,圖像也從短曝光轉(zhuǎn)換到長曝光。圖 1 的左側(cè)圖像未啟用智能線性化功能??梢钥吹郊t色箭頭處存在較明顯的偽影現(xiàn)象,這正是因不同曝光水平而造成的轉(zhuǎn)換偽影。  圖 1 的右側(cè)圖像開啟了智能線性化功能,可以看到偽影現(xiàn)象顯著緩解,能給人以更舒適的觀感,而且也降低了被機器視覺算法誤認(rèn)為是邊緣的風(fēng)險。由此可見,AR0822 的智能線性化技術(shù)有助于實現(xiàn)不同曝光水平下信噪比的平滑過渡,避免信噪比突然變化。  圖 1.智能線性化技術(shù)能夠確保圖像在不同曝光水平下平滑過渡.png  圖 1.智能線性化技術(shù)能夠確保圖像在不同曝光水平下平滑過渡  智能線性化改善運動偽影成像  對運動場景進行多次曝光成像時,可能出現(xiàn)長曝光信號和經(jīng)線性化的短曝光信號不等效的情況,這是由于場景中物體正在運動造成的,并有可能導(dǎo)致出現(xiàn)顏色偽影,即在運動發(fā)生的區(qū)域中存在色調(diào)變化。  減少長曝光時間在一定程度上有助于減小偽影的面積,但這種方法的可操作性不高,可能會造成大部分場景處于低光狀態(tài),導(dǎo)致整個場景的整體圖像質(zhì)量下降。  AR0822 傳感器的智能線性化功能可以有效緩解場景中的顏色偽影。該功能會首先檢測場景中的運動,即短曝光與長曝光在線性化信號水平上的差異。然后將根據(jù)檢測到的運動程度,使用長曝光和短曝光的組合信號水平來減輕場景中的運動偽影。  圖 2 為背景中有旋轉(zhuǎn)風(fēng)扇的例子,對比了在智能線性化關(guān)閉和開啟兩種情況下的成像情況。智能線性化關(guān)閉時,風(fēng)扇葉片頂部附近區(qū)域出現(xiàn)了顏色偽影,這是由長曝光與線性化短曝光的信號水平差異造成的。在右側(cè)圖像,智能線性化算法檢測到了這一情況并進行了校正。  圖 2.智能線性化 – 減少運動偽影.png  圖 2.智能線性化 – 減少運動偽影    圖 3 放大了圖 2 的部分細節(jié)。智能線性化關(guān)閉時,風(fēng)扇葉片附近出現(xiàn)了黃色的運動偽影,而不是橙色。開啟智能線性化可以有效減輕這種顏色偽影。  圖 3.智能線性化技術(shù)能夠有效緩解運動偽影.png  圖 3.智能線性化技術(shù)能夠有效緩解運動偽影  智能線性化改善 LED 閃爍成像  在一般線性化過程中,場景中不停閃爍的 LED 燈可能會導(dǎo)致圖像傳感器的某個顏色通道通過長曝光成像,而另一個顏色通道通過短曝光成像,具體取決于每個顏色通道的信號水平。因此,當(dāng)某個顏色通道正通過長曝光成像時,LED燈處于開啟狀態(tài);而當(dāng)另一個顏色通道進行短曝光成像時,LED燈已經(jīng)關(guān)閉。后續(xù)合并不同曝光時間的圖像時,圖像的色調(diào)可能會因此而改變。在比較糟糕的情況下,圖像中會顯示 LED 為關(guān)閉狀態(tài),而肉眼卻看到 LED 正亮著。  智能線性化可以通過檢測長曝光與短曝光的線性化信號的差異,來感測由 LED 閃爍引起的閃爍偽影。它能根據(jù)觀測到的線性化信號的差異程度,智能地組合長曝光和短曝光,從而有效減輕顏色偽影。短曝光成像常會導(dǎo)致閃爍的 LED 呈關(guān)閉狀態(tài),而開啟智能線性化則可以避免這個問題,讓圖像更接近我們?nèi)搜塾^察到的情況。  圖 4 對比了智能線性化關(guān)閉和開啟兩種情況下的 LED 閃爍圖像。智能線性化關(guān)閉時,場景中的一些 LED 燈會顯示顏色偽影,這是由長曝光與短曝光的信號水平差異造成的。在右側(cè)圖像,智能線性化算法檢測到了這一情況并進行了校正。  圖 4.智能線性化 ? 視頻快照.png  圖 4.智能線性化 ? 視頻快照    圖 5 放大了圖 4 中的 LED 燈局部細節(jié)。智能線性化關(guān)閉時,在視頻中會看到閃爍的偽影,或者在快照圖像中會看到紅色箭頭所標(biāo)記的顏色偽影。開啟智能線性化可以有效減輕這些顏色偽影/閃爍偽影,如右側(cè)圖像所示。  圖 5.智能線性化技術(shù)能夠有效減少 LED 偽影.png  圖 5.智能線性化技術(shù)能夠有效減少 LED 偽影  智能線性化的集成優(yōu)勢  隨著攝像頭分辨率的持續(xù)提升以及汽車或監(jiān)控系統(tǒng)所連接的攝像頭數(shù)量不斷攀升,片外ISP/SoC的處理負擔(dān)日益加劇,進而使得算力和功耗問題愈發(fā)凸顯。將線性化算法轉(zhuǎn)移到傳感器有助于節(jié)省SoC的計算時間,同時提高傳輸幀率。憑借AR0822傳感器的智能線性化等先進算法,安森美可以有效減輕多重曝光HDR圖像產(chǎn)生的偽影,并且單個和多個傳感器可以輕松集成到ISP/SoC上。  文章來源:安森美

圖 3.智能線性化技術(shù)能夠有效緩解運動偽影


智能線性化改善 LED 閃爍成像


在一般線性化過程中,場景中不停閃爍的 LED 燈可能會導(dǎo)致圖像傳感器的某個顏色通道通過長曝光成像,而另一個顏色通道通過短曝光成像,具體取決于每個顏色通道的信號水平。因此,當(dāng)某個顏色通道正通過長曝光成像時,LED燈處于開啟狀態(tài);而當(dāng)另一個顏色通道進行短曝光成像時,LED燈已經(jīng)關(guān)閉。后續(xù)合并不同曝光時間的圖像時,圖像的色調(diào)可能會因此而改變。在比較糟糕的情況下,圖像中會顯示 LED 為關(guān)閉狀態(tài),而肉眼卻看到 LED 正亮著。


智能線性化可以通過檢測長曝光與短曝光的線性化信號的差異,來感測由 LED 閃爍引起的閃爍偽影。它能根據(jù)觀測到的線性化信號的差異程度,智能地組合長曝光和短曝光,從而有效減輕顏色偽影。短曝光成像常會導(dǎo)致閃爍的 LED 呈關(guān)閉狀態(tài),而開啟智能線性化則可以避免這個問題,讓圖像更接近我們?nèi)搜塾^察到的情況。


圖 4 對比了智能線性化關(guān)閉和開啟兩種情況下的 LED 閃爍圖像。智能線性化關(guān)閉時,場景中的一些 LED 燈會顯示顏色偽影,這是由長曝光與短曝光的信號水平差異造成的。在右側(cè)圖像,智能線性化算法檢測到了這一情況并進行了校正。


圖像傳感器廣泛用于安防監(jiān)控、隨身記錄儀、可視門鈴和機器人等應(yīng)用,必須能夠在各種惡劣成像條件下穩(wěn)定工作,以支持圖像視覺和機器視覺等功能。高動態(tài)范圍場景、運動物體或 LED 閃爍等惡劣成像條件,會導(dǎo)致攝像頭難以準(zhǔn)確捕捉畫面。  什么是 HDR,為什么需要 HDR?  圖像傳感器的動態(tài)范圍用于描述傳感器在較暗和較亮區(qū)域中捕獲圖像細節(jié)的能力。只有動態(tài)范圍較高的圖像才能讓人同時看到亮區(qū)和暗區(qū)的細節(jié)。人眼的動態(tài)范圍可以達到 100 dB 以上,但單次曝光的攝像頭很難達到這一水平。  為了擴展動態(tài)范圍,常用的方法是拍攝多張曝光時間不同的低動態(tài)范圍圖像,然后將它們合并在一起以獲得高動態(tài)范圍圖像。長曝光圖像可捕捉圖像中的暗區(qū),而短曝光圖像可捕捉亮區(qū),因此在合并后的圖像中,我們將能夠看到分別利用長曝光信號和短曝光信號形成的暗區(qū)和亮區(qū)。  線性化與相關(guān)的挑戰(zhàn)  合并各張圖像的過程稱為線性化。多張圖像的線性化需占用大量內(nèi)存,此外為實現(xiàn)高幀率,還需具備強大的處理能力作為支撐。  完成線性化后,在查看已合并的高動態(tài)范圍圖像時,還可能會遇到特定的圖像質(zhì)量問題。在惡劣的成像條件下,這些圖像質(zhì)量問題或偽影會變得更加明顯。  例如,以下成像條件會導(dǎo)致偽影問題更加明顯:  場景中有運動物體  場景中有 LED 燈閃爍  空間內(nèi)鄰近區(qū)域使用來自多張圖像的數(shù)據(jù)  安森美 (onsemi)的白皮書《利用低帶寬高動態(tài)范圍 (eHDR) 技術(shù)提高物體識別精度》說明了 eHDR 相對于 LI?HDR 在帶寬和節(jié)省能耗方面的優(yōu)勢。該白皮書重點介紹了由安森美的 AR0822 圖像傳感器提供支持的線性化模式,其中的嵌入式高動態(tài)范圍 (eHDR) 技術(shù)無需依賴于主機 ISP/SoC,便能在傳感器上創(chuàng)建 HDR 圖像。AR0822 圖像傳感器的 eHDR 技術(shù)能夠有效應(yīng)對通過線性化將多張圖像合成 HDR 圖像時所遇到的重大難題,尤其是能夠解決因惡劣照明條件而產(chǎn)生的種種問題。  智能線性化改善轉(zhuǎn)換信噪比  一般的線性化過程會先使用長曝光信號,直至長曝光飽和(12 位 ADC 為 4095LSB),然后利用短曝光信號計算 HDR 圖像中所需的線性化信號。在 HDR 圖像中,由于短曝光信號的信噪比遠低于長曝光信號,因此從長曝光信號轉(zhuǎn)換到短曝光信號時會導(dǎo)致出現(xiàn)較明顯的偽影現(xiàn)象。當(dāng) ISP 對該圖像進行后處理時,偽影可能會進一步放大。  為了有效管理從長曝光到短曝光的轉(zhuǎn)換過程,智能線性化會對長曝光和短曝光信號進行加權(quán)組合,從而計算出一個信號。其中,長曝光和短曝光依據(jù)各自的信號水平被賦予不同的權(quán)重。通過這種智能線性化處理,當(dāng)從長曝光切換到短曝光時,信號會平滑傳輸。  圖 1 顯示了由頂部散射光照亮的相同場景,當(dāng)我們由上至下觀察這個灰色場景,會發(fā)現(xiàn)信號水平下降,圖像也從短曝光轉(zhuǎn)換到長曝光。圖 1 的左側(cè)圖像未啟用智能線性化功能??梢钥吹郊t色箭頭處存在較明顯的偽影現(xiàn)象,這正是因不同曝光水平而造成的轉(zhuǎn)換偽影。  圖 1 的右側(cè)圖像開啟了智能線性化功能,可以看到偽影現(xiàn)象顯著緩解,能給人以更舒適的觀感,而且也降低了被機器視覺算法誤認(rèn)為是邊緣的風(fēng)險。由此可見,AR0822 的智能線性化技術(shù)有助于實現(xiàn)不同曝光水平下信噪比的平滑過渡,避免信噪比突然變化。  圖 1.智能線性化技術(shù)能夠確保圖像在不同曝光水平下平滑過渡.png  圖 1.智能線性化技術(shù)能夠確保圖像在不同曝光水平下平滑過渡  智能線性化改善運動偽影成像  對運動場景進行多次曝光成像時,可能出現(xiàn)長曝光信號和經(jīng)線性化的短曝光信號不等效的情況,這是由于場景中物體正在運動造成的,并有可能導(dǎo)致出現(xiàn)顏色偽影,即在運動發(fā)生的區(qū)域中存在色調(diào)變化。  減少長曝光時間在一定程度上有助于減小偽影的面積,但這種方法的可操作性不高,可能會造成大部分場景處于低光狀態(tài),導(dǎo)致整個場景的整體圖像質(zhì)量下降。  AR0822 傳感器的智能線性化功能可以有效緩解場景中的顏色偽影。該功能會首先檢測場景中的運動,即短曝光與長曝光在線性化信號水平上的差異。然后將根據(jù)檢測到的運動程度,使用長曝光和短曝光的組合信號水平來減輕場景中的運動偽影。  圖 2 為背景中有旋轉(zhuǎn)風(fēng)扇的例子,對比了在智能線性化關(guān)閉和開啟兩種情況下的成像情況。智能線性化關(guān)閉時,風(fēng)扇葉片頂部附近區(qū)域出現(xiàn)了顏色偽影,這是由長曝光與線性化短曝光的信號水平差異造成的。在右側(cè)圖像,智能線性化算法檢測到了這一情況并進行了校正。  圖 2.智能線性化 – 減少運動偽影.png  圖 2.智能線性化 – 減少運動偽影    圖 3 放大了圖 2 的部分細節(jié)。智能線性化關(guān)閉時,風(fēng)扇葉片附近出現(xiàn)了黃色的運動偽影,而不是橙色。開啟智能線性化可以有效減輕這種顏色偽影。  圖 3.智能線性化技術(shù)能夠有效緩解運動偽影.png  圖 3.智能線性化技術(shù)能夠有效緩解運動偽影  智能線性化改善 LED 閃爍成像  在一般線性化過程中,場景中不停閃爍的 LED 燈可能會導(dǎo)致圖像傳感器的某個顏色通道通過長曝光成像,而另一個顏色通道通過短曝光成像,具體取決于每個顏色通道的信號水平。因此,當(dāng)某個顏色通道正通過長曝光成像時,LED燈處于開啟狀態(tài);而當(dāng)另一個顏色通道進行短曝光成像時,LED燈已經(jīng)關(guān)閉。后續(xù)合并不同曝光時間的圖像時,圖像的色調(diào)可能會因此而改變。在比較糟糕的情況下,圖像中會顯示 LED 為關(guān)閉狀態(tài),而肉眼卻看到 LED 正亮著。  智能線性化可以通過檢測長曝光與短曝光的線性化信號的差異,來感測由 LED 閃爍引起的閃爍偽影。它能根據(jù)觀測到的線性化信號的差異程度,智能地組合長曝光和短曝光,從而有效減輕顏色偽影。短曝光成像常會導(dǎo)致閃爍的 LED 呈關(guān)閉狀態(tài),而開啟智能線性化則可以避免這個問題,讓圖像更接近我們?nèi)搜塾^察到的情況。  圖 4 對比了智能線性化關(guān)閉和開啟兩種情況下的 LED 閃爍圖像。智能線性化關(guān)閉時,場景中的一些 LED 燈會顯示顏色偽影,這是由長曝光與短曝光的信號水平差異造成的。在右側(cè)圖像,智能線性化算法檢測到了這一情況并進行了校正。  圖 4.智能線性化 ? 視頻快照.png  圖 4.智能線性化 ? 視頻快照    圖 5 放大了圖 4 中的 LED 燈局部細節(jié)。智能線性化關(guān)閉時,在視頻中會看到閃爍的偽影,或者在快照圖像中會看到紅色箭頭所標(biāo)記的顏色偽影。開啟智能線性化可以有效減輕這些顏色偽影/閃爍偽影,如右側(cè)圖像所示。  圖 5.智能線性化技術(shù)能夠有效減少 LED 偽影.png  圖 5.智能線性化技術(shù)能夠有效減少 LED 偽影  智能線性化的集成優(yōu)勢  隨著攝像頭分辨率的持續(xù)提升以及汽車或監(jiān)控系統(tǒng)所連接的攝像頭數(shù)量不斷攀升,片外ISP/SoC的處理負擔(dān)日益加劇,進而使得算力和功耗問題愈發(fā)凸顯。將線性化算法轉(zhuǎn)移到傳感器有助于節(jié)省SoC的計算時間,同時提高傳輸幀率。憑借AR0822傳感器的智能線性化等先進算法,安森美可以有效減輕多重曝光HDR圖像產(chǎn)生的偽影,并且單個和多個傳感器可以輕松集成到ISP/SoC上。  文章來源:安森美

圖 4.智能線性化 ? 視頻快照


圖 5 放大了圖 4 中的 LED 燈局部細節(jié)。智能線性化關(guān)閉時,在視頻中會看到閃爍的偽影,或者在快照圖像中會看到紅色箭頭所標(biāo)記的顏色偽影。開啟智能線性化可以有效減輕這些顏色偽影/閃爍偽影,如右側(cè)圖像所示。


圖像傳感器廣泛用于安防監(jiān)控、隨身記錄儀、可視門鈴和機器人等應(yīng)用,必須能夠在各種惡劣成像條件下穩(wěn)定工作,以支持圖像視覺和機器視覺等功能。高動態(tài)范圍場景、運動物體或 LED 閃爍等惡劣成像條件,會導(dǎo)致攝像頭難以準(zhǔn)確捕捉畫面。  什么是 HDR,為什么需要 HDR?  圖像傳感器的動態(tài)范圍用于描述傳感器在較暗和較亮區(qū)域中捕獲圖像細節(jié)的能力。只有動態(tài)范圍較高的圖像才能讓人同時看到亮區(qū)和暗區(qū)的細節(jié)。人眼的動態(tài)范圍可以達到 100 dB 以上,但單次曝光的攝像頭很難達到這一水平。  為了擴展動態(tài)范圍,常用的方法是拍攝多張曝光時間不同的低動態(tài)范圍圖像,然后將它們合并在一起以獲得高動態(tài)范圍圖像。長曝光圖像可捕捉圖像中的暗區(qū),而短曝光圖像可捕捉亮區(qū),因此在合并后的圖像中,我們將能夠看到分別利用長曝光信號和短曝光信號形成的暗區(qū)和亮區(qū)。  線性化與相關(guān)的挑戰(zhàn)  合并各張圖像的過程稱為線性化。多張圖像的線性化需占用大量內(nèi)存,此外為實現(xiàn)高幀率,還需具備強大的處理能力作為支撐。  完成線性化后,在查看已合并的高動態(tài)范圍圖像時,還可能會遇到特定的圖像質(zhì)量問題。在惡劣的成像條件下,這些圖像質(zhì)量問題或偽影會變得更加明顯。  例如,以下成像條件會導(dǎo)致偽影問題更加明顯:  場景中有運動物體  場景中有 LED 燈閃爍  空間內(nèi)鄰近區(qū)域使用來自多張圖像的數(shù)據(jù)  安森美 (onsemi)的白皮書《利用低帶寬高動態(tài)范圍 (eHDR) 技術(shù)提高物體識別精度》說明了 eHDR 相對于 LI?HDR 在帶寬和節(jié)省能耗方面的優(yōu)勢。該白皮書重點介紹了由安森美的 AR0822 圖像傳感器提供支持的線性化模式,其中的嵌入式高動態(tài)范圍 (eHDR) 技術(shù)無需依賴于主機 ISP/SoC,便能在傳感器上創(chuàng)建 HDR 圖像。AR0822 圖像傳感器的 eHDR 技術(shù)能夠有效應(yīng)對通過線性化將多張圖像合成 HDR 圖像時所遇到的重大難題,尤其是能夠解決因惡劣照明條件而產(chǎn)生的種種問題。  智能線性化改善轉(zhuǎn)換信噪比  一般的線性化過程會先使用長曝光信號,直至長曝光飽和(12 位 ADC 為 4095LSB),然后利用短曝光信號計算 HDR 圖像中所需的線性化信號。在 HDR 圖像中,由于短曝光信號的信噪比遠低于長曝光信號,因此從長曝光信號轉(zhuǎn)換到短曝光信號時會導(dǎo)致出現(xiàn)較明顯的偽影現(xiàn)象。當(dāng) ISP 對該圖像進行后處理時,偽影可能會進一步放大。  為了有效管理從長曝光到短曝光的轉(zhuǎn)換過程,智能線性化會對長曝光和短曝光信號進行加權(quán)組合,從而計算出一個信號。其中,長曝光和短曝光依據(jù)各自的信號水平被賦予不同的權(quán)重。通過這種智能線性化處理,當(dāng)從長曝光切換到短曝光時,信號會平滑傳輸。  圖 1 顯示了由頂部散射光照亮的相同場景,當(dāng)我們由上至下觀察這個灰色場景,會發(fā)現(xiàn)信號水平下降,圖像也從短曝光轉(zhuǎn)換到長曝光。圖 1 的左側(cè)圖像未啟用智能線性化功能。可以看到紅色箭頭處存在較明顯的偽影現(xiàn)象,這正是因不同曝光水平而造成的轉(zhuǎn)換偽影。  圖 1 的右側(cè)圖像開啟了智能線性化功能,可以看到偽影現(xiàn)象顯著緩解,能給人以更舒適的觀感,而且也降低了被機器視覺算法誤認(rèn)為是邊緣的風(fēng)險。由此可見,AR0822 的智能線性化技術(shù)有助于實現(xiàn)不同曝光水平下信噪比的平滑過渡,避免信噪比突然變化。  圖 1.智能線性化技術(shù)能夠確保圖像在不同曝光水平下平滑過渡.png  圖 1.智能線性化技術(shù)能夠確保圖像在不同曝光水平下平滑過渡  智能線性化改善運動偽影成像  對運動場景進行多次曝光成像時,可能出現(xiàn)長曝光信號和經(jīng)線性化的短曝光信號不等效的情況,這是由于場景中物體正在運動造成的,并有可能導(dǎo)致出現(xiàn)顏色偽影,即在運動發(fā)生的區(qū)域中存在色調(diào)變化。  減少長曝光時間在一定程度上有助于減小偽影的面積,但這種方法的可操作性不高,可能會造成大部分場景處于低光狀態(tài),導(dǎo)致整個場景的整體圖像質(zhì)量下降。  AR0822 傳感器的智能線性化功能可以有效緩解場景中的顏色偽影。該功能會首先檢測場景中的運動,即短曝光與長曝光在線性化信號水平上的差異。然后將根據(jù)檢測到的運動程度,使用長曝光和短曝光的組合信號水平來減輕場景中的運動偽影。  圖 2 為背景中有旋轉(zhuǎn)風(fēng)扇的例子,對比了在智能線性化關(guān)閉和開啟兩種情況下的成像情況。智能線性化關(guān)閉時,風(fēng)扇葉片頂部附近區(qū)域出現(xiàn)了顏色偽影,這是由長曝光與線性化短曝光的信號水平差異造成的。在右側(cè)圖像,智能線性化算法檢測到了這一情況并進行了校正。  圖 2.智能線性化 – 減少運動偽影.png  圖 2.智能線性化 – 減少運動偽影    圖 3 放大了圖 2 的部分細節(jié)。智能線性化關(guān)閉時,風(fēng)扇葉片附近出現(xiàn)了黃色的運動偽影,而不是橙色。開啟智能線性化可以有效減輕這種顏色偽影。  圖 3.智能線性化技術(shù)能夠有效緩解運動偽影.png  圖 3.智能線性化技術(shù)能夠有效緩解運動偽影  智能線性化改善 LED 閃爍成像  在一般線性化過程中,場景中不停閃爍的 LED 燈可能會導(dǎo)致圖像傳感器的某個顏色通道通過長曝光成像,而另一個顏色通道通過短曝光成像,具體取決于每個顏色通道的信號水平。因此,當(dāng)某個顏色通道正通過長曝光成像時,LED燈處于開啟狀態(tài);而當(dāng)另一個顏色通道進行短曝光成像時,LED燈已經(jīng)關(guān)閉。后續(xù)合并不同曝光時間的圖像時,圖像的色調(diào)可能會因此而改變。在比較糟糕的情況下,圖像中會顯示 LED 為關(guān)閉狀態(tài),而肉眼卻看到 LED 正亮著。  智能線性化可以通過檢測長曝光與短曝光的線性化信號的差異,來感測由 LED 閃爍引起的閃爍偽影。它能根據(jù)觀測到的線性化信號的差異程度,智能地組合長曝光和短曝光,從而有效減輕顏色偽影。短曝光成像常會導(dǎo)致閃爍的 LED 呈關(guān)閉狀態(tài),而開啟智能線性化則可以避免這個問題,讓圖像更接近我們?nèi)搜塾^察到的情況。  圖 4 對比了智能線性化關(guān)閉和開啟兩種情況下的 LED 閃爍圖像。智能線性化關(guān)閉時,場景中的一些 LED 燈會顯示顏色偽影,這是由長曝光與短曝光的信號水平差異造成的。在右側(cè)圖像,智能線性化算法檢測到了這一情況并進行了校正。  圖 4.智能線性化 ? 視頻快照.png  圖 4.智能線性化 ? 視頻快照    圖 5 放大了圖 4 中的 LED 燈局部細節(jié)。智能線性化關(guān)閉時,在視頻中會看到閃爍的偽影,或者在快照圖像中會看到紅色箭頭所標(biāo)記的顏色偽影。開啟智能線性化可以有效減輕這些顏色偽影/閃爍偽影,如右側(cè)圖像所示。  圖 5.智能線性化技術(shù)能夠有效減少 LED 偽影.png  圖 5.智能線性化技術(shù)能夠有效減少 LED 偽影  智能線性化的集成優(yōu)勢  隨著攝像頭分辨率的持續(xù)提升以及汽車或監(jiān)控系統(tǒng)所連接的攝像頭數(shù)量不斷攀升,片外ISP/SoC的處理負擔(dān)日益加劇,進而使得算力和功耗問題愈發(fā)凸顯。將線性化算法轉(zhuǎn)移到傳感器有助于節(jié)省SoC的計算時間,同時提高傳輸幀率。憑借AR0822傳感器的智能線性化等先進算法,安森美可以有效減輕多重曝光HDR圖像產(chǎn)生的偽影,并且單個和多個傳感器可以輕松集成到ISP/SoC上。  文章來源:安森美

圖 5.智能線性化技術(shù)能夠有效減少 LED 偽影


智能線性化的集成優(yōu)勢


隨著攝像頭分辨率的持續(xù)提升以及汽車或監(jiān)控系統(tǒng)所連接的攝像頭數(shù)量不斷攀升,片外ISP/SoC的處理負擔(dān)日益加劇,進而使得算力和功耗問題愈發(fā)凸顯。將線性化算法轉(zhuǎn)移到傳感器有助于節(jié)省SoC的計算時間,同時提高傳輸幀率。憑借AR0822傳感器的智能線性化等先進算法,安森美可以有效減輕多重曝光HDR圖像產(chǎn)生的偽影,并且單個和多個傳感器可以輕松集成到ISP/SoC上。

文章來源:安森美


免責(zé)聲明:本文為轉(zhuǎn)載文章,轉(zhuǎn)載此文目的在于傳遞更多信息,版權(quán)歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權(quán)問題,請聯(lián)系小編進行處理。


推薦閱讀:

使用ROS1驅(qū)動程序來操控ADI Trinamic電機控制器

干貨!UWB新國標(biāo)深度解讀 | 大帶寬模式是國產(chǎn)化突圍的關(guān)鍵

使用4、5和6系列混合信號示波器排除電磁干擾故障

面向未來的電源開關(guān)解決方案

如何利用精密部件經(jīng)濟高效地實現(xiàn)可靠的飛機導(dǎo)航系統(tǒng)



特別推薦
技術(shù)文章更多>>
技術(shù)白皮書下載更多>>
熱門搜索
?

關(guān)閉

?

關(guān)閉