本發明涉及偏振光成像，具體的涉及一種基于fpga的多通道融合偏振攝像機及多通道融合方法。

背景技術：

1、偏振光成像技術是通過對物體反射或透射的偏振光進行采集和分析，獲取和處理物體表面形態和物理性質信息的一種技術，該技術有助于難以可視化或識別的檢測，而偏振攝像機作為偏振光成像技術工程化應用的前端設備，發揮了偏振光采集的重要作用。

2、然而，目前常用的偏振攝像機僅采用偏振光灰度傳感器來采集0°、45°、90°和135°四個偏振角度的4通道偏振光亮度信息，且不包含色彩信息；為此，我們提出一種基于fpga的多通道融合偏振攝像機，同時融合偏振光灰度傳感器和偏振光rggb傳感器(偏振光微陣列和rggb拜耳濾鏡耦合的偏振光圖像傳感器)的共計20通道偏振光信息，能有效彌補單一偏振光灰度傳感器獲取信息量的不足，為后端的去霧、揭偽、去水面反光等應用提供更多維度的光學信息；并采用一種插值算法重構偏振光rggb傳感器的16通道數據，有效減弱采用最近鄰域線性插值法重構造成的圖像邊界格點、偽彩等缺陷。

3、此外，更多類型的光電傳感器協同工作還會涉及同步問題。比如，傳統成像系統的各載荷獨立處理曝光控制等流程，采用同一個同步源使其輸出相對同步，但輸出的視頻圖像需通過幀緩存跨入同一時鐘域中消除相位差后完成融合，而幀緩存機制會引入至少1幀延遲時間。又比如，采用同一硬件平臺處理多種型號傳感器的集成化成像系統能從傳感器端同步曝光，但現有的實現方式存在兩個問題，一是受不同型號傳感器對光強響應率差異、像元陣列上光學微透元件透過率差異等因素影響，不同型號傳感器同起始和結束曝光后輸出的原始視頻數據灰度值存在一定差異，影響后端圖像融合效果，通過算法消除差異需消耗額外時間和資源；二是多顆傳感器共用一個自動曝光控制模塊，當其中一路傳感器入射光被遮擋時，亮度均值降低，自動曝光模塊會反向拉高曝光時間和增益，導致共享參數的另一路傳感器輸出圖像過亮。因此，我們還提出一種基于上述偏振攝像機的多通道融合方法，以便解決多類型光電傳感器協同工作時涉及的同步問題。

技術實現思路

1、針對上述問題，本發明的目的是提供一種偏振光攝像機及多通道融合方法，采用fpga外接多顆偏振光灰度傳感器和偏振光rggb傳感器。其中，每顆偏振光灰度傳感器能同時獲取4個近紅外通道偏振光信息，包括但不限于imx250mzr-c；每顆偏振光rggb傳感器能同時獲取16個通道偏振光信息，包括但不限于imx250myr-c。

2、為實現上述目的，本發明采用的技術方案之一：一種基于fpga的多通道融合偏振攝像機，包括電源轉換電路，以及與fpga電路互聯的偏振光圖像傳感器外圍電路、外同步信號處理電路、串口轉換電路、視頻接口電路、存儲器電路、時鐘電路；所述fpga電路作為攝像機的核心處理器件，包括偏振光傳感器驅動模塊、視頻采集模塊、視頻處理模塊、同步和曝光控制模塊、串口數據編解碼模塊、參數配置及管理模塊、時鐘和復位管理模塊。

3、進一步地，所述電源轉換電路將外部電源轉換為內部電路工作所需的工作電源；所述偏振光圖像傳感器外圍電路搭載多顆偏振光灰度圖像傳感器、多顆偏振光rggb傳感器，以及保證傳感器正常工作的電路；所述外同步信號處理電路將差分或其他電平標準的外同步信號轉換成ttl電平標準，輸出至fpga電路；所述串口轉換電路將rs-422或rs-232電平與ttl電平標準進行相互轉換，實現用戶端和本系統之間的串行數據收發；所述視頻接口電路接收并行數字視頻數據并將其轉換為sdi、cameralink、cml接口格式的視頻信號輸出；所述存儲器電路包含可擦除只讀存儲器、flash存儲器芯片及其外圍電路；所述時鐘電路包含時鐘芯片及其外圍電路。

4、進一步地，所述偏振光傳感器驅動模塊將每顆偏振光傳感器中各個寄存器的配置參數編碼為i2c、spi格式的串行數據發送至偏振光圖像傳感器，由于配置時序和數據編碼均可編程實現，因此還可配置各類非標準接口的傳感器；所述視頻采集模塊按傳感器標稱的視頻數據格式標準對來自傳感器的原始視頻進行解碼，生成并行視頻數據輸出至視頻處理模塊；所述視頻處理模塊對并行視頻數據僅采用黑電平校正、多通道視頻數據合并、十字疊加/消隱算法處理，以保留更多傳感器獲取的原始偏振光信息，對偏振光rggb傳感器輸出的一路圖像，增加一級插值算法重構16通道可見光偏振光彩色圖像；所述同步和曝光控制模塊運行自動/手動曝光算法，用外同步信號和自動/手動曝光算法計算的時間參數控制偏振傳感器外觸發曝光，實現各傳感器獨立曝光、同步輸出；所述串口數據編解碼模塊執行用戶端和fpga之間控制指令和返回數據的編解碼；所述參數配置及管理模塊執行上電復位后的初始化參數配置、用戶修改參數的保存、恢復出廠默認參數；所述時鐘和復位管理模塊將時鐘電路輸入的主時鐘轉換為fpga內部各模塊工作所需時鐘信號，產生各偏振光傳感器、fpga內部各模塊的復位信號。

5、本發明采用的技術方案之二：基于上述偏振光攝像機的多通道融合方法，通過如下步驟實現：

6、sa1：用戶端為攝像機提供電源和外同步信號；

7、sa2：攝像機的時鐘電路振蕩產生主時鐘，激勵時鐘和復位管理模塊產生符合時序要求的偏振光傳感器和fpga內部其他模塊所需的時鐘信號和復位信號；

8、sa3：參數配置及管理模塊從存儲器中讀取參數數據，用其配置傳感器的寄存器和fpga內部除參數配置及管理模塊之外的其他所有模塊；

9、sa4：攝像機的同步和曝光控制模塊，在每幀或間隔多幀內通過持續采集計算一幀圖像灰度數據平均值mean，采用自動/手動曝光算法生成曝光參數iexp；并持續采樣用戶端向攝像機輸入的外同步信號周期tframe，通過二者計算并生成外觸發曝光信號xtrig輸入給偏振傳感器，通過迭代的方法使mean收斂于目標灰度值mean_target附近；同時，視頻采集模塊在每一個或隔幾個tframe周期內采集一次多個偏振傳感器輸出的原始視頻數據，再同步對多通道數據進行黑電平校正、十字分劃疊加圖像處理；處理過程中，偏振光rggb傳感器輸出的一通道視頻圖像增加一級插值重構算法處理，偏振光灰度傳感器視頻數據流需從插值重構算法模塊流入流出，以保證和其他通道視頻流完全同步，最后生成的數字視頻送入到視頻輸出模塊；

10、sa5：對各通道偏振光圖像進行數據進行融合，按照接口協議標準對數字視頻進行非壓縮編碼后，將其送入視頻接口電路輸出。

11、進一步地，所述同步和曝光控制模塊中，自動/手動曝光算法和同步控制算法協同工作，所述自動/手動曝光算法的實施步驟如下：

12、sc1：將用戶端的外同步信號周期設置為緊接其后的第n+1個外同步信號周期設為tframe_n+1，以此類推tframe_n+2……；每幀的讀出時間treadout為常數，曝光結束到像素讀出之間的延遲時間設為tdelay，并假設tdelay＝0；

13、sc2：傳感器n的自動/手動曝光算法在每個外同步信號周期獨立生成曝光參數，將第n個周期內生成的曝光參數設為texpn_n；

14、sc3：傳感器n在tframe_n周期內以前一個周期的曝光參數texpn_n為參考，在tframe_n-texpn_n時刻獨立開始曝光，在tframe_n截止時刻結束曝光，并在下一個tframe_n開始時間輸出原始視頻。

15、進一步地，所述偏振光rggb傳感器原始視頻數據的插值重構算法通過視頻處理模塊完成，其實施步驟如下：

16、sd1：建立數學模型

17、根據偏振和rggb拜耳濾片耦合的微陣列排布建立二維模型，每個像素點都為1個采樣點；重構前，每個采樣點(i，j)只具備一個偏振角度的一維色度信息p(i，j)，其中i是行數，i∈[0～最大行數)；j是列數，j∈[0～最大列數)；p(i，j)為采樣點(i，j)的原始灰度數據；重構后，插值生成每個采樣點的一個偏振角度的組合色彩分量{r_d5(i，j)，g_d5(i，j)，b_d5(i，j)}；其中r_d5(i，j)、g_d5(i，j)、b_d5(i，j)分別為采樣點(i，j)的紅色插值分量、綠色插值分量、藍色插值分量；

18、sd2：滑窗

19、通過fpga的先進先出緩存器或隨機存取存儲器緩存9行圖像，每行再用reg寄存器緩存9個像素點，流水線式生成每個像素點的9×9矩陣；矩陣中心點為當前采樣點(i，j)，相鄰行的行坐標分別為i-1和i+1，相鄰列的列坐標分別為j-1和j+1，以此類推；

20、sd3：采用fpga的流水線處理方式逐個實時將每個像素點的9×9矩陣與模型匹配，采用以下公式插值重構偏振光的紅綠藍色彩空間圖像圖像，流程如下：

21、(1)綠色分量采樣點gr和gb的綠色插值分量均為自身原始灰度數據p(i，j)，即g_d5(i，j)＝p(i，j)；紅色分量采樣點r的紅色插值分量為自身原始灰度數據p(i，j)，即r_d5(i，j)＝p(i，j)；藍色分量采樣點b的藍色插值分量為自身原始灰度數據p(i，j)，即b_d5(i，j)＝p(i，j)；

22、(2)根據已知的綠色分量采樣點gr和gb的原始灰度數據，重建紅色分量采樣點r和藍色分量采樣點b的綠色插值分量g_d5(i，j)；

23、先通過公式1和公式2分別求出0°、45°、90°、135°偏振角度的紅色分量采樣點r和藍色分量采樣點b的δh,δv：

24、δh＝|p(i,j-2)-p(i,j+2)|+|2p(i,j)-p(i,j-4)-p(i,j+4)|????(1)

25、δv＝|p(i-2,j)-p(i+2,j)|+|2p(i,j)-p(i-4,j)-p(i+4,j)|????(2)

26、式中，p(i,j)為當前采樣點(i,j)在插值重構前的原始灰度數據，p(i,j-2)、p(i,j+2)、p(i-2,j)和p(i+2,j)分別為采樣點(i,j-2)、(i,j+2)、(i-2,j)和(i+2,j)在插值重構前的原始灰度數據，p(i,j-4)、p(i,j+4)、p(i-4,j)和p(i+4,j)分別為采樣點(i,j-4)、(i,j+4)、(i-4,j)和(i+4,j)在插值重構前的原始灰度數據；根據數學模型，如果(i,j)為紅色分量采樣點，那么p(i,j)、p(i,j-4)、p(i,j+4)、p(i-4,j)和p(i+4,j)|都為紅色分量，p(i,j-2)、p(i,j+2)、p(i-2,j)和p(i+2,j)為綠色分量；如果(i,j)為藍色分量采樣點，那么p(i,j)、p(i,j-4)、p(i,j+4)、p(i-4,j)和p(i+4,j)都為藍色分量，p(i,j-2)、p(i,j+2)、p(i-2,j)和p(i+2,j)為綠色分量；

27、再比較δh、δv的大小，通過公式3計算紅色分量采樣點r和藍色分量采樣點b的綠色插值分量g_d5(i，j)：

28、

29、(3)同步計算其他采樣點處的剩余分量；

30、計算綠色分量采樣點gb的紅色插值分量r_d5：

31、

32、計算綠色分量采樣點gb的藍色插值分量b_d5：

33、

34、計算綠色分量采樣點gr的紅色插值分量r_d5：

35、

36、計算綠色分量采樣點gr的藍色插值分量b_d5：

37、

38、計算藍色分量采樣點b的紅色插值分量r_d5：

39、δh＝|p(i-2,j-2)-p(i+2,j+2)|+|2g_d5(i,j)-g_d5(i-2,j-2)-g_d5(i+2,j+2)|????(8)

40、δv＝|p(i+2,j-2)-p(i-2,j+2)|+|2g_d5(i,j)-g_d5(i+2,j-2)-g_d5(i-2,j+2)|????(9)

41、

42、計算紅色分量采樣點r的藍色分量b_d5：

43、δh＝|p(i-2,j-2)-p(i+2,j+2)|+|2g_d5(i,j)-g_d5(i-2,j-2)-g_d5(i+2,j+2)|????(11)

44、δv＝|p(i+2,j-2)-p(i-2,j+2)|+|2g_d5(i,j)-g_d5(i+2,j-2)-g_d5(i-2,j+2)|????(12)

45、

46、與現有技術相比，本發明采用分焦面型偏振成像技術，實時、同步采集多組4通道近紅外偏振光圖像信息和多組16通道可見光偏振光圖像信息，通過同步方法實現16通道圖像自動曝光，各圖像傳感器既能按各自適配的曝光參數獨立自動曝光，又能同步輸出圖像數據；通過fpga流水線滑窗方法實現插值重構16通道彩色可見光偏振圖像，拼接融合多個通道的偏振光圖像數據，編碼后通過視頻接口輸出到用戶端進行處理，具體的優點如下：

47、1、多顆偏振光rggb傳感器協同工作，不僅能獲取亮度與色彩信息，還能獲取傳統圖像傳感器難以感知的偏振光信息；

48、2、提出一種改進的外同步方法，既能通過獨立曝光將各路視頻數據灰度值收斂于不同目標灰度值，又可從傳感器源頭消除灰度偏差，還能保證視頻圖像像素級同步；以常用的74.25mhz頻率的像素時鐘為例，多通道視頻圖像的同步相位差小于1個像素時鐘周期，約0.13468ns；

49、3、分焦平面型偏振光rggb圖像傳感器同時輸出16個通道光偏振信息，采用最近鄰域線性插值法造成的圖像邊界格點、偽彩等缺陷尤為明顯；本發明提供一種插值方法能有效減弱該缺陷，并能同步分離出0°、45°、90°和135°的rgb圖像，且延遲低，插值處理時間為8行像素時鐘周期；以1080p分辨率、30hz幀頻、74.25mhz像素時鐘頻率的圖像為例，延遲約237μs。