隨著AI 技術(shù)、算力和數(shù)據(jù)量的快速發(fā)展，使得大量視頻數(shù)據(jù)的“受眾”已不再是人，而是機(jī)器和算法。通過(guò)目標(biāo)分析等算法，使得視頻中嵌入的信息發(fā)揮了越來(lái)越大的價(jià)值。圖像在從“給人看”轉(zhuǎn)變成 “給機(jī)器看”為主。

　　“給機(jī)器看”可以實(shí)現(xiàn)海量視頻的快速分析，大幅提升效率及發(fā)現(xiàn)更多目標(biāo)細(xì)節(jié)。對(duì)于攝像機(jī)拍攝的海量數(shù)據(jù)，機(jī)器處理將是后續(xù)發(fā)展更好的選擇，因?yàn)閱渭円揽咳肆ψR(shí)別需要海量的人力投入且效率底下，而機(jī)器算法可以7×24 小時(shí)全天不間斷分析，大幅減少操作人員瀏覽視頻數(shù)據(jù)的時(shí)間，快速自動(dòng)定位感興趣信息并進(jìn)行結(jié)構(gòu)化的存儲(chǔ)，減少疲勞等原因造成的審查疏忽，從而極大的提升效率。

　　同時(shí)，依靠算法模型的優(yōu)化和海量數(shù)據(jù)訓(xùn)練的優(yōu)勢(shì)，智能算法已經(jīng)表現(xiàn)出超越人眼的性能，在目標(biāo)檢測(cè)、目標(biāo)識(shí)別等多項(xiàng)指標(biāo)上都達(dá)到新的高度，因此利用機(jī)器可以發(fā)現(xiàn)更多人眼忽略的細(xì)節(jié)。

　　隨著 “夜生活”成為人們生活的重要部分，攝像機(jī)在夜間也能有全彩的圖像逐漸成為市場(chǎng)需求，突破夜間成像也成為業(yè)界的研究課題。

　　傳統(tǒng)攝像機(jī)在夜間低照度下圖像質(zhì)量較差，尤其在拍攝運(yùn)動(dòng)目標(biāo)時(shí)，具有噪聲大、細(xì)節(jié)缺失等問(wèn)題，從而導(dǎo)致識(shí)別率急劇下降，無(wú)法達(dá)到智能可用。為了讓攝像機(jī)在夜晚也能顯示高清圖像，通常需要給攝像機(jī)補(bǔ)很亮的白光，從而導(dǎo)致光污染。如何讓攝像機(jī)在夜間實(shí)現(xiàn)高清成像的同時(shí)避免刺眼的補(bǔ)光，成為行業(yè)迫切的訴求。

　　另一種夜間成像方案是使用紅外補(bǔ)光。紅外補(bǔ)光沒(méi)有光污染，補(bǔ)光亮度也足夠目標(biāo)檢測(cè)識(shí)別，但紅外圖像有一個(gè)缺陷是缺乏色彩，成像效果和人眼視覺(jué)不符合，人眼主觀查看也容易困擾。

　　為了解決當(dāng)前攝像機(jī)在夜間無(wú)法兼顧色彩、光污染、清晰度的難題，各個(gè)廠家都推出了各自的解決方案。如有的采用“硬件改造”方式，通過(guò)對(duì)光學(xué)元器件的定制改造同時(shí)增加一定補(bǔ)光來(lái)達(dá)到全彩效果，這一方案對(duì)設(shè)備的校準(zhǔn)有很高的依賴同時(shí)攝像機(jī)成像的誤差率會(huì)相應(yīng)增高。還有的則“軟硬兼施”，在強(qiáng)大“算力”的加持下用軟件與算法升級(jí)來(lái)打造全天候極致圖像體驗(yàn)，讓人看更舒適、讓機(jī)器看的更準(zhǔn)。

　　華為SuperColor低照全彩技術(shù)就是“軟硬兼施”的成果，通過(guò)濾光、補(bǔ)光、曝光、降噪、配準(zhǔn)、融合等一系列專利技術(shù)組合，在去除光污染的同時(shí)，又兼具圖像清晰度和色彩還原度。

　　傳統(tǒng)的攝像機(jī)安裝IR-Cut雙濾鏡，當(dāng)鏡頭外的紅外感應(yīng)點(diǎn)偵測(cè)到光線的強(qiáng)弱變化后，內(nèi)置的IR-Cut自動(dòng)切換濾鏡能夠根據(jù)外部光線的強(qiáng)弱隨之自動(dòng)切換。

　　由于低照全彩需要兼顧彩色和紅外細(xì)節(jié)，因此在硬件層面需要讓攝像機(jī)能同時(shí)接收彩色和紅外圖像，而達(dá)到此目的的關(guān)鍵在于雙通濾光片的使用。雙通濾光片和IR-CUT濾光片區(qū)別在于：雙通濾光片讓環(huán)境中的可見(jiàn)光全部通過(guò)，同時(shí)讓所需要的紅外光透過(guò)，而IR-Cut是將所有紅外光過(guò)濾。

　　雙通濾光片原理圖

　　這一小改動(dòng)既解決了同時(shí)透過(guò)可見(jiàn)光和紅外光的問(wèn)題，又解決了環(huán)境中紅外光干擾問(wèn)題，但徹底解決光干擾問(wèn)題，同時(shí)實(shí)現(xiàn)高清真彩，還得配合軟件上的優(yōu)化。

　　分時(shí)雙光采集系統(tǒng)可解決低照全彩技術(shù)的信號(hào)獲取問(wèn)題，但在成像層面仍然面臨很多問(wèn)題，首要問(wèn)題就因?yàn)榉謺r(shí)采集而導(dǎo)致的彩色、紅外圖像配準(zhǔn)。

　　低照全彩攝像機(jī)是同鏡不同時(shí)，因此低照全彩攝像機(jī)最大的配準(zhǔn)難題在于時(shí)域運(yùn)動(dòng)。在夜間低照?qǐng)鼍跋拢�由于噪聲大、圖像信號(hào)弱等問(wèn)題，時(shí)域配準(zhǔn)所依賴的光流計(jì)算難以達(dá)到可用的精度。同時(shí)由于紅外和彩色特質(zhì)不同，傳統(tǒng)光流算法提取到能夠匹配的特征點(diǎn)很少，導(dǎo)致圖像出現(xiàn)重影、顏色溢出等問(wèn)題。

　　為了提升時(shí)域配準(zhǔn)的準(zhǔn)確度，低照全彩采用了基于深度神經(jīng)網(wǎng)絡(luò)的配準(zhǔn)技術(shù)，神經(jīng)網(wǎng)絡(luò)具備強(qiáng)大的學(xué)習(xí)能力，可以通過(guò)訓(xùn)練學(xué)習(xí)到彩色、紅外匹配特征，從而解決直接配準(zhǔn)問(wèn)題。

　　噪聲是在信號(hào)采集過(guò)程中引入的一種圖像失真，其中最主要來(lái)自光子散粒噪聲，除此之外，噪聲來(lái)源還包括暗電流噪聲、熱點(diǎn)噪聲、固定模式噪聲以及讀出噪聲。為了獲得高質(zhì)量的圖像效果，需要先對(duì)圖像進(jìn)行降噪處理，盡可能的保持原始圖片信息的完整性，又能去除信號(hào)中的無(wú)用信息，改善編碼效率。

　　傳統(tǒng)降噪基于圖像底層數(shù)據(jù)進(jìn)行處理，當(dāng)噪聲大過(guò)細(xì)節(jié)時(shí)，往往不能做很好的區(qū)分，導(dǎo)致降噪的同時(shí)會(huì)丟失圖像的細(xì)節(jié)信息，另外，對(duì)運(yùn)動(dòng)強(qiáng)度的估計(jì)受噪聲影響，當(dāng)噪聲較大時(shí)，在降噪強(qiáng)度和運(yùn)動(dòng)區(qū)域拖尾之間很難做均衡。

　　低照全彩采用基于深度學(xué)習(xí)的降噪技術(shù)（即AI降噪），在以上方面都有較好的表現(xiàn)�；�于深度學(xué)習(xí)的降噪技術(shù)采用全新的算法架構(gòu)，利用類人腦學(xué)習(xí)，預(yù)先訓(xùn)練好各種噪聲數(shù)據(jù)，可以更好的區(qū)分噪聲和細(xì)節(jié)、運(yùn)動(dòng)和非運(yùn)動(dòng)區(qū)域，改善傳統(tǒng)算法的運(yùn)動(dòng)拖尾問(wèn)題，在抑制噪聲的同時(shí)保留更多細(xì)節(jié)信息。

　　在傳統(tǒng)的RGB傳感器中，RGB提供了三個(gè)顏色通道用于合成顏色。那么，紅外信息是否能夠提供顏色信息？還是僅僅提供了空間結(jié)構(gòu)的細(xì)節(jié)信息？答案是后者。由于紅外光屬于人眼不感知的信號(hào)，應(yīng)該將其作為空間細(xì)節(jié)的一種補(bǔ)充。

　　在某些場(chǎng)景下，紅外圖像往往與彩色圖像具有非常大的特征差異。光波與分子的相互作用也會(huì)導(dǎo)致紅外圖像與彩色圖像結(jié)構(gòu)的不同，例如所謂wood效應(yīng)，即綠色植物在紅外圖像中亮度非常高這一現(xiàn)象，造成這一現(xiàn)象的原因?yàn)槿~綠素的存在使得綠色植物對(duì)于紅外光的反射更強(qiáng)。同時(shí)，紅外圖像也會(huì)“隱藏”一些可見(jiàn)光下可見(jiàn)的細(xì)節(jié)信息。

　　紅外圖像和彩色圖像在特征上差距非常大，傳統(tǒng)的融合方案都是提取紅外的細(xì)節(jié)融合到彩色圖像的亮度通道上，而色彩直接使用彩色圖像的色度信息。紅外、彩色融合的難題在于提升清晰度的同時(shí)，要保持灰階的準(zhǔn)確性，典型的算法有拉普拉斯金字塔融合、泊松融合等傳統(tǒng)算法。這些傳統(tǒng)算法能有效增強(qiáng)融合后的細(xì)節(jié)，但這些算法由于融合了低頻信號(hào)，會(huì)帶來(lái)偏色的問(wèn)題，可是如果只融合高頻信號(hào)，又會(huì)導(dǎo)致紅外和彩色亮度差異大的邊緣區(qū)域效果不自然。

　　低照全彩技術(shù)采用AI融合方法，利用神經(jīng)網(wǎng)絡(luò)提取Low-Level特征，通過(guò)訓(xùn)練讓網(wǎng)絡(luò)自己進(jìn)行細(xì)節(jié)融合的同時(shí)，保持色彩跟高清彩色圖一致。

　　隨著算力的普惠，在光學(xué)技術(shù)已經(jīng)趨于天花板而AI算力遵循摩爾定律每?jī)赡攴�倍的今天，可以預(yù)見(jiàn)低照全彩技術(shù)在不久會(huì)成為攝像機(jī)的標(biāo)配，圖像將“給機(jī)器看”得更好、色彩更真實(shí)、讓智能全天候可用。

　　有了方法路徑、有了技術(shù)，自然少不了科學(xué)的評(píng)價(jià)，這樣才能促進(jìn)圖像技術(shù)的不斷發(fā)展。就如智能手機(jī)領(lǐng)域有DXO 標(biāo)準(zhǔn)來(lái)評(píng)價(jià)圖像能力，智能攝像機(jī)的圖像也應(yīng)有自動(dòng)化、科學(xué)的評(píng)價(jià)體系。

　　就在2021年，《面向機(jī)器視覺(jué)安防攝像機(jī)圖像質(zhì)量評(píng)測(cè)方法研究報(bào)告》正式發(fā)布了，面向目標(biāo)識(shí)別任務(wù)的圖像質(zhì)量評(píng)價(jià)方法。當(dāng)前，針對(duì)智能攝像機(jī)的關(guān)鍵應(yīng)用場(chǎng)景，結(jié)合機(jī)器視覺(jué)任務(wù)進(jìn)行圖像質(zhì)量評(píng)價(jià)是一個(gè)關(guān)鍵方向。