麻豆精品无码国产在线播放,国产亚洲精品成人AA片新蒲金,国模无码大尺度一区二区三区,神马免费午夜福利剧场

基于高動態范圍攝像裝置的曝光控制方法和裝置與流程

文檔序號:12497079閱讀:493來源:國知局
基于高動態范圍攝像裝置的曝光控制方法和裝置與流程

本發明屬于圖像處理技術領域,具體涉及一種基于高動態范圍攝像裝置的曝光控制方法和裝置。



背景技術:

高動態范圍(HDR,High-Dynamic Range)的攝像頭分別采用兩路不同曝光的方式對于同一場景同時進行曝光處理而獲得長曝光圖像和短曝光圖像,較長曝光時間的一路主要對應高動態場景中的較暗的區域處于合適的亮度,而較短曝光時間的一路主要對應高動態場景中較亮的區域處于合適的亮度,然后通過兩路圖像的融合并相互彌補不足,最終實現在高動態范圍的場景中正常的顯示圖像中所有的信息的目的。

高動態范圍的攝像頭需要采用兩路相互獨立的曝光機制在同一時間進行曝光控制,并且分別穩定在兩種不同亮度狀況的場景中,因此,在高動態范圍攝像頭自動曝光的控制策略上需要兩套不同的自動曝光策略來分別滿足長曝光圖像和短曝光圖像的亮度需求,在各種的曝光策略的控制過程中需要參考兩路曝光的圖像進行圖像融合,所以在曝光策略的控制中又必須要求會相互影響。

基于高動態范圍的攝像頭的功能,可實現分別在同一時刻分別采集長曝光時間圖像數據和短曝光時間圖像數據,并通過圖像信號處理(ISP,Image Signal Processing)芯片進行圖像處理,能夠實時合成高動態范圍的圖像。

傳統的高動態范圍攝像頭的自動曝光算法,主要通過對長曝光圖像的較暗的部分進行亮度控制和短曝光圖像中較亮的部分進行亮度控制,最終產生兩張不同曝光程度的圖像信息用于融合。傳統的高動態范圍攝像頭的自動曝光算法只保證兩路曝光數據獨立參考是合適的,但對于動態范圍程度強弱不同并沒有做合適的調整。容易出現過渡不好或者合成圖像的動態范圍有限。傳統的高動態范圍攝像頭的自動曝光算法并沒有考慮長短兩路曝光的協同處理的要求,在更大的動態范圍場景容易出現短曝光中欠曝同時長曝光中過曝而導致沒有任何有效的圖像信息。



技術實現要素:

本發明技術方案要解決的技術問題是現有的高動態范圍攝像頭的自動曝光算法合成的圖像的動態范圍有限或在高動態范圍場景容易出現短曝光欠曝同時長曝光過曝而導致沒有有效的圖像信息。

為解決上述技術問題,本發明技術方案提供一種基于高動態范圍攝像裝置的曝光控制方法,包括:

基于高動態范圍攝像裝置獲取同一場景的短曝光圖像和長曝光圖像;

分別統計所述短曝光圖像和長曝光圖像的直方圖信息和分區域亮度信息,所述短曝光圖像的直方圖信息包括過亮區域的概率密度,所述長曝光圖像的直方圖信息包括欠曝區域的概率密度,所述短曝光圖像的分區域亮度信息包括短曝光圖像的亮度平均值和統計區域的平均亮度,所述長曝光圖像的分區域亮度信息包括長曝光圖像的亮度平均值和統計區域的平均亮度;

分別獲取短曝光的調整影響值和長曝光的調整影響值,其中,所述短曝光的調整影響值與所述短曝光圖像的直方圖信息和分區域亮度信息相關,所述長曝光的調整影響值與所述長曝光圖像的直方圖信息、分區域亮度信息和所述短曝光圖像的分區域亮度信息相關;

基于所述短曝光的調整影響值進行短曝光調整,基于所述長曝光的調整影響值進行長曝光調整;

當短曝光達到穩定后,基于短曝光的亮度評估值與長曝光的亮度評估值的比值進行長曝光調整,直至長曝光達到穩定,其中,所述短曝光的亮度評估值為短曝光的曝光時間和增益的乘積,所述長曝光的亮度評估值為長曝光的曝光時間和增益的乘積。

為解決上述技術問題,本發明技術方案還提供一種基于高動態范圍攝像裝置的曝光控制裝置,包括:

圖像獲取單元,用于基于高動態范圍攝像裝置獲取同一場景的短曝光圖像和長曝光圖像;

第一信息統計單元,用于統計所述短曝光圖像的直方圖信息和分區域亮度信息,所述短曝光圖像的直方圖信息包括過亮區域的概率密度,所述短曝光圖像的分區域亮度信息包括短曝光圖像的亮度平均值和統計區域的平均亮度;

第二信息統計單元,用于統計所述長曝光圖像的直方圖信息和分區域亮度信息,所述長曝光圖像的直方圖信息包括欠曝區域的概率密度,所述長曝光圖像的分區域亮度信息包括長曝光圖像的亮度平均值和統計區域的平均亮度;

第一影響值獲取單元,用于獲取短曝光的調整影響值,所述短曝光的調整影響值與所述短曝光圖像的直方圖信息和分區域亮度信息相關;

第二影響值獲取單元,用于獲取長曝光的調整影響值,所述長曝光的調整影響值與所述長曝光圖像的直方圖信息、分區域亮度信息和所述短曝光圖像的分區域亮度信息相關;

第一調整單元,用于基于所述短曝光的調整影響值進行短曝光調整;

第二調整單元,用于基于所述長曝光的調整影響值進行長曝光調整,以及,當短曝光達到穩定后,基于短曝光的亮度評估值與長曝光的亮度評估值的比值進行長曝光調整,直至長曝光達到穩定,其中,所述短曝光的亮度評估值為短曝光的曝光時間和增益的乘積,所述長曝光的亮度評估值為長曝光的曝光時間和增益的乘積。

與現有技術相比,本發明技術方案結合利用直方圖信息和分區域的亮度信息共同控制自動曝光的亮度狀態,實現亮度信息更加合理。在長曝光圖像和短曝光圖像的自動曝光控制上,不但考慮了相互獨立的曝光控制,保證亮度信息合適的前提下,以短曝光控制為主,保證整體圖像不會過曝,并且長曝光參考短曝光進行控制,進而達到整體圖像曝光擁有完整的信息,保證合成圖像擁有連續有效的細節信息。

附圖說明

圖1為本發明技術方案的基于高動態范圍攝像裝置的曝光控制方法的流程示意圖;

圖2為短曝光的自動曝光調整的控制流程示意圖;

圖3為長曝光的自動曝光調整的控制流程示意圖;

圖4為本發明技術方案的基于高動態范圍攝像裝置的曝光控制裝置的結構示意圖。

具體實施方式

請參考圖1,本發明技術方案的基于高動態范圍攝像裝置的曝光控制方法包括:

S1,基于高動態范圍攝像裝置獲取同一場景的短曝光圖像和長曝光圖像;

S2,分別統計所述短曝光圖像和長曝光圖像的直方圖信息和分區域亮度信息;

S3,分別獲取短曝光的調整影響值和長曝光的調整影響值,其中,所述短曝光的調整影響值與所述短曝光圖像的直方圖信息和分區域亮度信息相關,所述長曝光的調整影響值與所述長曝光圖像的直方圖信息、分區域亮度信息和所述短曝光圖像的分區域亮度信息相關;

S4,基于所述短曝光的調整影響值進行短曝光調整,基于所述長曝光的調整影響值進行長曝光調整;

S5,當短曝光達到穩定后,基于短曝光的亮度評估值與長曝光的亮度評估值的比值進行長曝光調整,直至長曝光達到穩定,其中,所述短曝光的亮度評估值為短曝光的曝光時間和增益的乘積,所述長曝光的亮度評估值為長曝光的曝光時間和增益的乘積。

下面結合實施例和附圖對各步驟進行詳細說明。

步驟S1,基于高動態范圍攝像裝置獲取同一場景的短曝光圖像和長曝光圖像。

高動態范圍攝像裝置(例如支持高動態范圍的攝像頭)的輸出通常可以包括兩路圖像數據:短曝光圖像數據是在較長曝光時間條件下獲得的,通常稱為長曝光圖像數據;長曝光圖像數據是在較短曝光時間條件下獲得的,通常稱為長曝光圖像數據。長曝光時間的圖像整體擁有較高的圖像亮度,在合成之后的高動態范圍圖像中主要提供亮度較暗部分的亮度細節信息,短曝光時間的圖像整體擁有較低的圖像亮度,在合成之后的高動態范圍圖像中主要提供亮度較亮部分的亮度細節信息。

步驟S2,分別統計所述短曝光圖像和長曝光圖像的直方圖信息和分區域亮度信息。

具體來說,請參考圖2,統計所述短曝光圖像的直方圖信息包括:

步驟S21a,計算短曝光圖像數據中灰階i的概率密度PDFi,0≤i≤n-1,n為圖像的灰階總數。以256個灰階為例,可以通過ISP芯片獲取短曝光圖像的圖像數據(即短曝光圖像數據),統計亮度信息在[0~255]灰階上每個灰階所擁有的像素個數,通過該灰階的像素個數與圖像數據的所有像素的個數的比值,獲得灰階i的概率密度PDFi,且

步驟S21b,計算短曝光圖像數據中過亮區域的概率密度OE_PDF,如公式(1)所示:

從公式(1)來看,亮度大于或等于短曝光高門限OE_THR_H的概率密度擁有較高的計算權重,權重為1;在亮度小于或等于短曝光高門限OE_THR_H并且大于或等于短曝光低門限OE_THR_L之間的每一個灰階的概率密度,其權重逐次遞減;在亮度小于短曝光低門限OE_THR_L的灰階其權重為0。

其中,短曝光高門限OE_THR_H作為判斷直方圖的亮度過高區域的兩個門限中的高門限,表示大于或等于該門限的亮度信息在視覺上已經無法辨識亮度。以0~255灰階為例,短曝光高門限OE_THR_H一般設定在224,數值上允許0~8的波動,即短曝光高門限OE_THR_H可以在224~232之間取值。短曝光低門限OE_THR_L作為判斷直方圖的亮度過高區域的兩個門限中的低門限,表示大于或等于該門限的亮度信息在視覺上接近無法辨識或者難以辨識。以0~255灰階為例,短曝光低門限OE_THR_L一般設定在192,數值上允許0~18的波動,即短曝光低門限OE_THR_L可以在192~210之間取值。

請繼續參考圖2,統計所述短曝光圖像的分區域亮度信息包括:

步驟S22a,將短曝光圖像分成若干統計區域,計算統計區域j的平均亮度AVGj,0≤j≤m-1,m為統計區域總數。舉例來說,可以通過ISP芯片獲取短曝光圖像數據,將短曝光圖像平均分成8*8=64個統計區域,分別計算64個統計區域中每個統計區域的平均亮度AVGj。劃分的統計區域的數量最少要求為8*8的統計區域,也可以更多,統計區域的數量越多在判斷上越準確。

步驟S22b,根據統計區域的平均亮度AVGj計算短曝光圖像的亮度平均值SHORT_AVG。短曝光圖像的亮度平均值可以是所有統計區域的平均亮度的平均值,為了更準確反映短曝光圖像的評估結果,在本發明實施例中,短曝光圖像的亮度平均值是取若干亮度較高的統計區域的平均亮度的平均值。舉例來說,對于64個統計區域中每個統計區域的平均亮度AVGj從大到小進行排序,取亮度高的S_BLOCK_CNT個統計區域的平均亮度進行求和再除以S_BLOCK_CNT獲得短曝光圖像的亮度平均值SHORT_AVG。其中,S_BLOCK_CNT的取值兼顧考慮曝光調整的穩定性和亮度計算的精確性,S_BLOCK_CNT數值太小的時候,亮度計算容易引起較大的數值變化從而自動曝光調整不穩定,S_BLOCK_CNT數值太大的時候,亮度計算的精確度不夠,S_BLOCK_CNT在取值上一般為統計區域總數m的40%,該百分比數值允許±16%的變化,即S_BLOCK_CNT的取值范圍可以在(m*24%)~(m*56%)。

請參考圖3,統計所述長曝光圖像的直方圖信息包括:

步驟S31a,計算長曝光圖像數據中灰階i的概率密度PDFi,0≤i≤n-1,n為圖像的灰階總數。以256個灰階為例,可以通過ISP芯片獲取長曝光圖像的圖像數據(即長曝光圖像數據),統計亮度信息在[0~255]灰階上每個灰階所擁有的像素個數,通過該灰階的像素個數與圖像數據的所有像素的個數的比值,獲得灰階i的概率密度PDFi,且

步驟S31b,計算長曝光圖像數據中欠曝區域的概率密度UE_PDF,如公式(2)所示:

從公式(2)來看,亮度小于或等于長曝光低門限UE_THR_L的概率密度擁有較高的計算權重,權重為1;在亮度大于或等于長曝光低門限UE_THR_L并且小于或等于長曝光高門限UE_THR_H之間的每一個灰階的概率密度,其權重逐次遞減;在亮度大于長曝光高門限UE_THR_H的灰階其權重為0。

其中,長曝光高門限UE_THR_H作為判斷直方圖的亮度過低區域的兩個門限中的高門限,表示小于該門限的亮度信息在視覺上隱約能看到一些不明顯的亮度細節。以0~255灰階為例,長曝光高門限UE_THR_H一般設定在42,數值上允許0~10的波動,即長曝光高門限UE_THR_H可以在42~52之間取值。長曝光低門限OE_THR_L作為判斷直方圖的亮度過低區域的兩個門限中的低門限,表示小于該門限的亮度信息在視覺上看到的基本為黑色,不存在亮度信息。以0~255灰階為例,長曝光低門限UE_THR_L一般設定在24,數值上允許0~8的波動,即長曝光低門限UE_THR_L可以在24~32之間取值。

請繼續參考圖3,統計所述長曝光圖像的分區域亮度信息包括:

步驟S32a,將長曝光圖像分成若干統計區域,計算統計區域j的平均亮度AVGj,0≤j≤m-1,m為統計區域總數。舉例來說,可以通過ISP芯片獲取長曝光圖像數據,將長曝光圖像平均分成8*8=64個統計區域,分別計算64個統計區域中每個統計區域的平均亮度AVGj。劃分的統計區域的數量最少要求為8*8的統計區域,也可以更多,統計區域的數量越多在判斷上越準確。長曝光圖像的統計區域的劃分與短曝光圖像的統計區域的劃分是一致的。

步驟S32b,根據統計區域的平均亮度AVGj計算長曝光圖像的亮度平均值LONG_AVG。長曝光圖像的亮度平均值可以是所有統計區域的平均亮度的平均值,為了更準確反映長曝光圖像的評估結果,在本發明實施例中,長曝光圖像的亮度平均值是取若干亮度較高的統計區域的平均亮度的平均值。舉例來說,對于64個統計區域中每個統計區域的平均亮度AVGj從大到小進行排序,取亮度較低的L_BLOCK_CNT個統計區域的平均亮度進行求和再除以L_BLOCK_CNT獲得長曝光圖像的亮度平均值LONG_AVG。其中,L_BLOCK_CNT的取值兼顧考慮曝光調整的穩定性和亮度計算的精確性,L_BLOCK_CNT數值太小的時候,亮度計算容易引起較大的數值變化從而自動曝光調整不穩定,L_BLOCK_CNT數值太大的時候,亮度計算的精確度不夠,L_BLOCK_CNT在取值上一般為統計區域總數m的40%,該百分比數值允許±16%的變化,即L_BLOCK_CNT的取值范圍可以在(m*24%)~(m*56%)。

接著請參考圖1,步驟S3,分別獲取短曝光的調整影響值和長曝光的調整影響值,其中,所述短曝光的調整影響值與所述短曝光圖像的直方圖信息和分區域亮度信息相關,所述長曝光的調整影響值與所述長曝光圖像的直方圖信息、分區域亮度信息和所述短曝光圖像的分區域亮度信息相關。

所述短曝光的調整影響值包括第一直方圖信息影響值A11和第一分區域信息影響值A12。所述長曝光的調整影響值包括第二直方圖信息影響值A21、第二分區域信息影響值A22和信息損失區域影響值A23。

高動態范圍攝像頭自動曝光的調整控制過程中,為實現亮度的平滑過渡,實際調整參考的影響值與當前的亮度狀態和最終的目標狀態的差值有關,差值較大調整的速度越快,差值較小調整的速度越慢,最終保證圖像亮度穩定在目標狀態附近。

具體來說,請參考圖2,獲取短曝光的調整影響值包括:

步驟S21c,計算與過亮區域的概率密度OE_PDF相關的第一直方圖信息影響值A11,如公式(3)所示:

第一直方圖信息影響值A11表示短曝光的直方圖對于亮度控制的影響值,其數值越大,表示當前場景需要的合適的亮度越低,數值上通過比較過亮區域的概率密度OE_PDF與過亮區域的概率密度的目標值OE_T和過亮區域的概率密度的最大設定值OE_MAX來決定。K1定義為區域輕度過亮系數,K2定義為區域過度過亮系數,K1和K2的取值作用于計算得到的影響值,其取值與攝像裝置的動態范圍相關,一般K1可以在15~40范圍內取值,K2可以在28~60范圍內取值,K1默認為20,K2默認為42,在過亮區域的概率密度OE_PDF大于或等于過亮區域的概率密度的最大設定值OE_MAX的時候,過亮區域的概率密度OE_PDF每提升5%,短曝光的直方圖信息影響值A11提高42。

參考過亮區域的概率密度OE_PDF獲得的第一直方圖信息影響值A11作為自動曝光調整中短曝光調整的多個條件中的其中一個來決定最終自動曝光的穩定程度。當過亮區域的概率密度OE_PDF大于設定的過亮區域的概率密度的目標值OE_T的時候,獲得直方圖信息作用于自動曝光的調整要求降低亮度,自動曝光調整主要由直方圖調整和分區域調整共同決定。

當過亮區域的概率密度OE_PDF小于設定的過亮區域的概率密度的目標值OE_T的時候,獲得直方圖信息作用于自動曝光的調整要求提升亮度,自動曝光調整主要由直方圖調整和分區域調整共同決定。

過亮區域的概率密度的目標值OE_T作為設定合理的曝光圖像允許的過亮區域的目標概率密度值,其數值并非固定不變,在處于亮度高的場景,數值會比較大,一般在5%左右,在夜晚等亮度較暗的場景,數值一般會在2%左右,對于其他亮度狀況做線性內差。

當過亮區域的概率密度OE_PDF大于設定的過亮區域的概率密度的最大設定值OE_MAX的時候,獲得直方圖信息作用于自動曝光的調整要求降低亮度,直方圖信息作用于自動曝光的調整擁有較高的影響值。

過亮區域的概率密度的最大設定值OE_MAX表示允許的過亮區域的最大概率密度值,大于該值的時候表示圖像亮度過高引起的區域細節損失嚴重。在處于亮度高的場景,數值會比較大,一般在12%左右,在夜晚等亮度較暗的場景,數值一般會在8%左右。對于其他亮度狀況做線性內差。

步驟S22c,計算與短曝光圖像的亮度平均值SHORT_AVG相關的第一分區域信息影響值A12,當短曝光圖像的亮度平均值SHORT_AVG小于短曝光的目標亮度值TARGET_SAVG時如公式(4)所示,當短曝光圖像的亮度平均值SHORT_AVG大于短曝光的目標亮度值TARGET_SAVG時如公式(5)所示:

其中,DIFF1=|SHORT_AVG-TARGET_SAVG|,DIFF1表示亮度差值的絕對值,REF_AVG1為第一參考系數,作為配置值默認為1,允許在0.5~1.5的范圍內取值,數值越大表示參考使用分區域的平均亮度計算作用越大。公式(4)中的第一分區域信息影響值A12為負數表示,影響值為提升圖像的亮度;公式(5)中的第一分區域信息影響值A12為正數表示,影響值為降低圖像的亮度。

通過短曝光圖像的亮度平均值SHORT_AVG與設定的短曝光的目標亮度值TARGET_SAVG的差值獲得的第一分區域信息影響值A12作為自動曝光調整中短曝光調整的多個條件中的其中的一個來決定最終自動曝光的穩定程度。

當計算得到的短曝光圖像的亮度平均值SHORT_AVG小于設定的短曝光的目標亮度值TARGET_SAVG,并且亮度差值的絕對值DIFF1大于最小穩定門限STABLE_THR的時候,獲得分區域平均亮度信息作用于自動曝光的調整要求提升亮度,自動曝光調整主要由直方圖調整和分區域調整共同決定。短曝光的目標亮度值TARGET_SAVG作為基于分區域平均亮度調整的目標值,反應短曝光顯示的圖像中較亮區域的有效信息的平均亮度值。以0~255灰階為例,短曝光的目標亮度值TARGET_SAVG一般設定為140,TARGET_SAVG表現的是短曝光的合適的亮度值,取值范圍可以在120~156,最小穩定門限STABLE_THR一般設定為4,STABLE_THR的取值范圍可以在3~8。

當計算得到的短曝光圖像的亮度平均值SHORT_AVG大于設定的短曝光的目標亮度值TARGET_SAVG,并且亮度差值的絕對值DIFF1大于最小穩定門限STABLE_THR的時候,獲得分區域平均亮度信息作用于自動曝光的調整要求降低亮度,自動曝光調整主要由直方圖調整和分區域調整共同決定。

當計算得到的短曝光圖像的亮度平均值SHORT_AVG與設定的短曝光的目標亮度值TARGET_SAVG的亮度差值的絕對值DIFF1小于或等于最小穩定門限STABLE_THR的時候,獲得分區域平均亮度信息作用于自動曝光的調整達到穩定狀態,自動曝光調整主要由直方圖調整和分區域調整共同決定。

步驟S22d,記錄短曝光圖像中平均亮度AVGj小于平均亮度第一門限DB_THR的統計區域。平均亮度第一門限DB_THR為單個統計區域平均亮度擁有有效信息的判斷門限,以0~255灰階為例,其數值一般設為36,DB_THR的取值范圍可以在30~48。小于平均亮度第一門限DB_THR的統計區域會被記錄為短曝光的欠曝統計區域以用于長曝光的調整影響值的計算。

請參考圖3,獲取長曝光的調整影響值包括:

步驟S31c,計算與欠曝區域的概率密度UE_PDF相關的第二直方圖信息影響值A21,如公式(6)所示:

第二直方圖信息影響值A21表示長曝光的直方圖對于亮度控制的影響值,A21的值為負數,表示實際對亮度的調整影響需要提高亮度值,數值越小,需要提高的程度越大。第二直方圖信息影響值A21通過比較欠曝區域的概率密度UE_PDF與欠曝區域的概率密度的目標值UE_T和欠曝區域的概率密度的最大設定值UE_MAX來決定。K3為區域輕度欠曝系數,K4為區域過度欠曝系數,K3和K4的取值作用于計算得到的影響值,其取值與攝像裝置的動態范圍相關,一般K3可以在-40~-15范圍內取值,K4可以在-60~-28范圍內取值,K3默認為-20,K4默認為-42,在欠曝區域的概率密度UE_PDF大于或等于欠曝區域的概率密度的最大設定值UE_MAX的時候,欠曝區域的概率密度UE_PDF每改變8%,短曝光的直方圖信息影響值A21降低42。

參考欠曝區域的概率密度UE_PDF獲得的第二直方圖信息影響值A21作為自動曝光調整中長曝光調整的多個條件中的其中一個來決定最終自動曝光的穩定程度。當欠曝區域的概率密度UE_PDF大于設定的欠曝區域的概率密度的目標值UE_T的時候,獲得直方圖信息作用于自動曝光的調整要求提高亮度,自動曝光調整主要由直方圖調整和分區域調整共同決定。

當欠曝區域的概率密度UE_PDF小于設定的欠曝區域的概率密度的目標值UE_T的時候,獲得直方圖信息作用于自動曝光的調整要求降低亮度,自動曝光調整主要由直方圖調整和分區域調整共同決定。

欠曝區域的概率密度的目標值UE_T作為設定合理的曝光圖像允許的過亮區域的目標概率密度值,其數值越大,表示圖像越多的細節因亮度不足而無法辨識。在處于亮度高的場景,數值一般在6%左右,在夜晚等亮度較暗的場景,數值一般會在18%左右,對于其他亮度狀況做線性內差。

當欠曝區域的概率密度UE_PDF大于設定的欠曝區域的概率密度的最大設定值UE_MAX的時候,獲得直方圖信息作用于自動曝光的調整要求降低亮度,直方圖信息作用于自動曝光的調整擁有較高的影響值。

欠曝區域的概率密度的最大設定值UE_MAX作為設定合理的曝光圖像因欠曝無亮度信息區域的最大概率密度值,在處于亮度高的場景,數值一般在18%左右,在夜晚等亮度較暗的場景,數值一般會在32%左右。對于其他亮度狀況做線性內差。

步驟S32c,計算與長曝光圖像的亮度平均值LONG_AVG相關的第二分區域信息影響值A22,當長曝光圖像的亮度平均值LONG_AVG小于長曝光的目標亮度值TARGET_LAVG時如公式(7)所示,當長曝光圖像的亮度平均值LONG_AVG大于長曝光的目標亮度值TARGET_LAVG時如公式(8)所示:

其中,DIFF2=|LONG_AVG-TARGET_LAVG|,DIFF2表示亮度差值的絕對值,REF_AVG2為第二參考系數,作為配置值默認為1,允許在0.5~1.5的范圍內取值,數值越大表示參考使用分區域的平均亮度計算作用越大。公式(7)中的第二分區域信息影響值A22為負數表示,影響值為提升圖像的亮度;公式(8)中的第二分區域信息影響值A22為正數表示,影響值為降低圖像的亮度。

通過長曝光圖像的亮度平均值LONG_AVG與設定的長曝光的目標亮度值TARGET_LAVG的差值獲得的第二分區域信息影響值A22作為自動曝光調整中長曝光調整的多個條件中的其中的一個來決定最終自動曝光的穩定程度。

當計算得到的長曝光圖像的亮度平均值LONG_AVG小于設定的長曝光的目標亮度值TARGET_LAVG,并且亮度差值的絕對值DIFF2大于最小穩定門限STABLE_THR的時候,獲得分區域平均亮度信息作用于自動曝光的調整要求提升亮度,自動曝光調整主要由直方圖調整和分區域調整共同決定。長曝光的目標亮度值TARGET_LAVG作為基于分區域平均亮度調整的目標值,反應長曝光顯示的圖像中較暗區域的有效信息的平均亮度值。以0~255灰階為例,長曝光的目標亮度值TARGET_LAVG一般設定為100,TARGET_LAVG表現的是長曝光的合適的亮度值,其取值范圍可以在80~120,最小穩定門限STABLE_THR一般設定為4,STABLE_THR的取值范圍可以在3~8。

當計算得到的長曝光圖像的亮度平均值LONG_AVG大于設定的長曝光的目標亮度值TARGET_LAVG,并且亮度差值的絕對值DIFF2大于最小穩定門限STABLE_THR的時候,獲得分區域平均亮度信息作用于自動曝光的調整要求降低亮度,自動曝光調整主要由直方圖調整和分區域調整共同決定。

當計算得到的長曝光圖像的亮度平均值LONG_AVG與設定的長曝光的目標亮度值TARGET_LAVG的亮度差值的絕對值DIFF2小于或等于最小穩定門限STABLE_THR的時候,獲得分區域平均亮度信息作用于自動曝光的調整達到穩定狀態,自動曝光調整主要由直方圖調整和分區域調整共同決定。

步驟S32d,記錄長曝光圖像中平均亮度AVGj大于平均亮度第二門限BB_THR的統計區域。平均亮度第二門限BB_THR為單個統計區域平均亮度擁有有效信息的判斷門限,以0~255灰階為例,其數值為214,BB_THR的取值范圍可以在192~230。大于平均亮度第二門限BB_THR的統計區域會被記錄為長曝光的過曝統計區域以用于長曝光的調整影響值的計算。

步驟S32e,計算信息損失區域影響值A23,如公式(9)所示:

其中,BB_AVG表示所有信息損失的統計區域在長曝光中的平均亮度的平均值,CNT表示信息損失的統計區域的數量,B_AVGk表示記錄的單個信息損失的統計區域在長曝光中的平均亮度。REF3表示影響系數,默認值設為1.2,取值范圍可以在0.6~1.8。A23值越大表示長曝光中信息損失的越多,長曝光的調整需要降低亮度的要求越高。

若統計區域在短曝光中的平均亮度小于第一門限DB_THR且在長曝光中的平均亮度大于第二門限BB_THR,則該統計區域判定為信息損失的統計區域,如果信息損失的統計區域占所有統計區域的數量百分比達到6%(允許范圍可以為4%~10%),則信息損失區域影響值A23的作用為降低長曝光圖像的亮度。信息損失區域影響值A23作為自動曝光調整中長曝光調整的多個條件中的其中的一個來決定最終自動曝光的穩定程度。

請繼續參考圖1,步驟S4,基于所述短曝光的調整影響值進行短曝光調整,基于所述長曝光的調整影響值進行長曝光調整。

如圖2所示,基于所述短曝光的調整影響值進行短曝光調整包括:步驟S41,結合第一直方圖信息影響值A11和第一分區域信息影響值A12確定短曝光的調整方向和速度,以調整短曝光的曝光時間和增益。

具體地,計算第一直方圖信息影響值A11和第一分區域信息影響值A12的和值,和值的正負決定調整的方向,和值為負數表示需要提高當前場景的亮度,和值為正數表示需要降低當前場景的亮度;和值的絕對值的大小決定調整的速度,和值的絕對值越大表示調整的速度越大。當和值的絕對值小于設定的穩定門限值AFFECT_STABLE的時候,判定當前亮度處于合適狀態,也就是短曝光達到穩定,不需要調整。穩定門限值AFFECT_STABLE默認設為18,AFFECT_STABLE的取值過大容易導致穩定時候的亮度存在差異,其取值范圍可以在14~30。短曝光即短曝光在不同場景下最終的穩定程度也會因自適應的調整而不相同。

如圖3所示,基于所述長曝光的調整影響值進行長曝光調整包括:步驟S42,結合第二直方圖信息影響值A21、第二分區域信息影響值A22和信息損失區域影響值A23確定長曝光的調整方向和速度,以調整長曝光的曝光時間和增益。

根據獲得的直方圖和分域區亮度數據,可以預估長短曝光各自場景調整的合適的亮度狀況,并分別對短曝光圖像參考短曝光統計數據進行自動曝光調整,長曝光圖像數據需參考長曝光統計數據和短曝光當前亮度數據進行曝光調整。

具體地,計算第二直方圖信息影響值A21、第二分區域信息影響值A22和信息損失區域影響值A23的和值,和值的正負決定調整的方向,和值為負數表示需要提高當前場景的亮度,和值為正數表示需要降低當前場景的亮度;和值的絕對值的大小決定調整的速度,和值的絕對值越大表示調整的速度越大。當和值的絕對值小于設定的穩定門限值AFFECT_STABLE的時候,判定當前亮度處于合適狀態,也就是長曝光達到穩定,不需要調整。穩定門限值AFFECT_STABLE默認設為18,AFFECT_STABLE的取值范圍可以在14~30。長曝光即長曝光在不同場景下最終的穩定程度也會因自適應的調整而不相同。

步驟S5,當短曝光達到穩定后,基于短曝光的亮度評估值與長曝光的亮度評估值的比值進行長曝光調整,直至長曝光達到穩定,其中,所述短曝光的亮度評估值為短曝光的曝光時間和增益的乘積,所述長曝光的亮度評估值為長曝光的曝光時間和增益的乘積。

通過獲得的短曝光的調整方向和速度,決定短曝光的調整狀態;通過獲得的長曝光的調整方向和速度,決定長曝光的調整狀態。短曝光在亮度調整上擁有較高的優先級,短曝光主要保證合成之后的圖像不存在大量的過曝區域,短曝光數據中的過曝區域無法通過圖像處理還原出實際的有效信息。

長短曝光共同調整的要求如下:在長短曝光同時進行調整的過程中,短曝光的亮度調整未達到穩定(即短曝光控制未達到穩定狀態)的時候,短曝光的亮度調整和長曝光的亮度調整分別獨立進行,如步驟S41和S42所述。長短兩路圖像數據的自動曝光調整以短曝光調整為主,長曝光圖像調整受到短曝光圖像的亮度狀態進行限制調整。在長短曝光同時進行調整的過程中,短曝光亮度調整優先達到亮度穩定,長曝光亮度調整參考短曝光亮度調整提供的數據進行調整和修正亮度值。如果長曝光先進入穩定,判斷為假穩定狀態,等待短曝光穩定之后,再通過影響值判斷穩定狀態,如果此時長曝光中的影響值A21、A22和A23的和值的絕對值小于AFFECT_STABLE判斷長曝光進入穩定,否則長曝光繼續調整直到穩定。短曝光穩定后,長曝光不再根據影響值A21、A22和A23進行亮度調整,而是根據長短曝光的亮度評估值進行限制調整。

具體來說,請結合參考圖2和圖3,步驟S5可以進一步包括:

步驟S51,計算短曝光的亮度評估值S_AS,所述短曝光的亮度評估值為短曝光的曝光時間和增益的乘積。

步驟S52,計算長曝光的亮度評估值L_AS,所述長曝光的亮度評估值為長曝光的曝光時間和增益的乘積。

設定允許的亮度評估值的最大比值K,判斷長曝光的亮度評估值L_AS與短曝光的亮度評估值S_AS是否大于K:

步驟S53a,當L_AS/S_AS>K時候,限制長曝光的曝光時間和增益的乘積為短曝光的曝光時間和增益的乘積的K倍,即L_AS=K*S_AS;

步驟S53b,當L_AS/S_AS≤K時候,強制進行長曝光的亮度評估值調整,具體地,如果長曝光的曝光時間未達到最大值,則降低長曝光的曝光時間;如果長曝光的曝光時間達到最大值,且長曝光的增益未達到最小值,則降低長曝光的增益,否則降低長曝光的曝光時間。

亮度評估值的最大比值K作為經驗值,對于不同的接入HDR的攝像頭,其表現數的值也會不同,一般使用8倍的關系,K=8,代表長短曝光的亮度評估值的比值為8:1,K的取值范圍可以為2~16。

綜上,短曝光的自動曝光調整的控制流程可以如圖2所示,長曝光的自動曝光調整的控制流程可以如圖3所示。

對應上述的基于高動態范圍攝像裝置的曝光控制方法,本發明技術方案還提供一種高動態范圍攝像裝置的曝光控制裝置,如圖4所示的實施例,所述曝光控制裝置包括:圖像獲取單元A1,第一信息統計單元B1、第二信息統計單元B2、第一影響值獲取單元C1、第二影響值獲取單元C2、第一調整單元D1和第二調整單元D2。

圖像獲取單元A1用于基于高動態范圍攝像裝置獲取同一場景的短曝光圖像和長曝光圖像。

第一信息統計單元B1用于統計所述短曝光圖像的直方圖信息和分區域亮度信息;第二信息統計單元B2用于統計所述長曝光圖像的直方圖信息和分區域亮度信息。

第一影響值獲取單元C1用于獲取短曝光的調整影響值,所述短曝光的調整影響值與所述短曝光圖像的直方圖信息和分區域亮度信息相關;第二影響值獲取單元C2用于獲取長曝光的調整影響值,所述長曝光的調整影響值與所述長曝光圖像的直方圖信息、分區域亮度信息和所述短曝光圖像的分區域亮度信息相關。

第一調整單元D1用于基于所述短曝光的調整影響值進行短曝光調整;第二調整單元D2用于基于所述長曝光的調整影響值進行長曝光調整,以及,當短曝光達到穩定后,基于短曝光的亮度評估值與長曝光的亮度評估值的比值進行長曝光調整,直至長曝光達到穩定,其中,所述短曝光的亮度評估值為短曝光的曝光時間和增益的乘積,所述長曝光的亮度評估值為長曝光的曝光時間和增益的乘積。

本發明技術方案可以應用于ISP芯片中,通過ISP芯片進行處理,實現長曝光和短曝光的亮度自動控制。以ISP芯片作為算法的載體,主要支持長曝光通路和短曝光通路的雙路圖像數據輸入,通過雙路的ISP同時處理兩路的數據信息。

以ISP芯片對支持高動態范圍的攝像頭的輸出數據進行處理為前提,調用ISP芯片中的自動曝光算法通過I2C分別控制長曝光的曝光時間和增益以及短曝光的曝光時間和增益來控制獲取圖像的亮度信息,然后通過ISP芯片的雙路圖像合成功能進行長短曝光的圖像合成。

綜上所述,本發明技術方案主要用于高動態范圍的攝像裝置對于長曝光圖像和短曝光圖像的自動曝光的控制,相比傳統的算法策略,同時利用了直方圖信息和分區域的亮度信息共同控制自動曝光的亮度狀態,對于多種不同場景能夠根據實際亮度需求而調整直方圖亮度控制優先還是分區域亮度控制優先,進而影響最終自動曝光的穩定的狀態,實現亮度信息更加合理。

在長曝光和短曝光亮度控制的同時,為保證最后合成的圖像能完整的顯示所有的信息,在曝光的控制過程中,又不是完全獨立,而是以短曝光采集圖像為主,保證整體圖像不會過曝,然后通過長曝光對短曝光丟失掉的數據部分進行補充,近而達到整體圖像曝光擁有完整的信息。

在長曝光圖像和短曝光圖像的自動曝光控制上,本發明技術方案相比傳統的算法策略,不但考慮的相互獨立的曝光控制,保證亮度信息合適的前提下,同時也配合圖像信號處理的高動態范圍圖像合成功能,限制了長短曝光的亮度差值,保證合成圖像擁有連續有效的細節信息。

本發明技術方案通過對支持長短兩路曝光的高動態范圍攝像頭進行自動曝光控制,實現了長曝光亮度和短曝光亮度同時調整的功能。

在保證在不同場景的亮度準確性的控制上,本發明技術方案參考了直方圖統計數據和分區域統計數據同時作用于亮度的調整,最終達到符合直方圖最優和分區域統計最優的場景亮度控制。因此對于多種場景擁有更好的適應性。

在高動態范圍的圖像合成過程中,自動曝光采集到的圖像的數據源直接決定了合成之后圖像效果的好壞,當長曝光圖像亮度和短曝光圖像亮度差別不大的時候,合成的高動態范圍的圖像效果不夠明顯,而當場曝光圖像亮度和短曝光圖像亮度差別太大的時候,合成的高動態范圍的圖像會出現沒有信息的數據斷層。通過本專利的長短曝光的亮度控制,能保證長曝光和短曝光都處于比較好的亮度狀況的同時,又能不會因為某個區域在長曝光過曝以及在短曝光欠曝而產生的沒有細節的圖像數據信息。

本發明雖然已以較佳實施方式公開如上,但其并不是用來限定本發明,任何本領域技術人員在不脫離本發明的精神和范圍內,都可以利用上述揭示的方法和技術內容對本發明技術方案做出可能的變動和修改,因此,凡是未脫離本發明技術方案的內容,依據本發明的技術實質對以上實施方式所作的任何簡單修改、等同變化及修飾,均屬于本發明技術方案的保護范圍。

當前第1頁1 2 3 
網友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1
主站蜘蛛池模板: 乐清市| 太和县| 三穗县| 略阳县| 墨竹工卡县| 阿合奇县| 朝阳市| 曲沃县| 古浪县| 南充市| 娄底市| 淮北市| 盐山县| 腾冲县| 老河口市| 南京市| 出国| 北流市| 鄂伦春自治旗| 怀安县| 重庆市| 湛江市| 浮山县| 博爱县| 凉山| 铅山县| 乌拉特前旗| 康定县| 彰武县| 织金县| 洮南市| 叙永县| 鸡泽县| 罗江县| 湟源县| 建平县| 上杭县| 若尔盖县| 嘉荫县| 谷城县| 安塞县|