本申請屬于圖像處理，具體涉及一種圖像重建方法、裝置和電子設備。

背景技術：

1、在圖像處理領域中，圖像的動態范圍是指圖像的最高亮度與最低亮度的比值，與低動態范圍(low?dynamic?range，ldr)圖像相比，高動態范圍(high?dynamic?range，hdr)圖像可以更好地反映場景在明亮和黑暗區域的視覺細節。然而標準的數字成像設備所記錄的圖片的位深度不足以覆蓋真實場景下的動態范圍，導致圖像在暗處欠曝或者亮處過曝。

2、隨著高動態范圍技術和神經網絡的發展，目前，進行hdr圖像重建的方式通常是：先通過光流的方式，將短曝光ldr圖像與長曝光ldr圖像進行顯式運動對齊，再利用權重預測網絡確定對齊圖像的相應位置的融合權重，通過加權平均，融合得到重建的hdr圖像。

3、為了實現通過光流的方式，將短曝光ldr圖像與長曝光ldr圖像進行顯式運動對齊，首要前提是保證兩張圖像的亮度一致。但在現實場景中，通常無法保證圖像亮度一致，嚴重影響光流的準確性，無法實現圖像的運動對齊，導致hdr圖像重建的泛化性和魯棒性較低。

技術實現思路

1、本申請實施例的目的是提供一種圖像重建方法、裝置、電子設備、可讀存儲介質和計算機程序產品，能夠解決hdr圖像重建的泛化性和魯棒性較低的問題。

2、第一方面，本申請實施例提供了一種圖像重建方法，該方法包括：

3、獲取圖像幀序列，所述圖像幀序列包括按順序排列的第一短曝光低動態范圍ldr圖像、長曝光ldr圖像和第二短曝光ldr圖像；

4、確定所述第一短曝光ldr圖像和所述第二短曝光ldr圖像之間的雙向光流；

5、基于所述雙向光流確定所述第一短曝光ldr圖像和所述第二短曝光ldr圖像之間的第一預測插幀圖像對應的初始化光流；

6、以所述長曝光ldr圖像為運動對齊目標，對所述初始化光流進行細化，得到目標光流；

7、基于所述目標光流、所述第一短曝光ldr圖像和所述第二短曝光ldr圖像確定插幀圖像；

8、基于所述長曝光ldr圖像和所述插幀圖像進行高動態范圍hdr圖像重建，得到hdr圖像。

9、第二方面，本申請實施例提供了一種圖像重建裝置，該裝置包括：

10、獲取模塊，用于獲取圖像幀序列，所述圖像幀序列包括按順序排列的第一短曝光低動態范圍ldr圖像、長曝光ldr圖像和第二短曝光ldr圖像；

11、確定模塊，用于確定所述第一短曝光ldr圖像和所述第二短曝光ldr圖像之間的雙向光流；

12、所述確定模塊，還用于基于所述雙向光流確定所述第一短曝光ldr圖像和所述第二短曝光ldr圖像之間的第一預測插幀圖像對應的初始化光流；

13、細化模塊，用于以所述長曝光ldr圖像為運動對齊目標，對所述初始化光流進行細化，得到目標光流；

14、所述確定模塊，還用于基于所述目標光流、所述第一短曝光ldr圖像和所述第二短曝光ldr圖像確定插幀圖像；

15、重建模塊，用于基于所述長曝光ldr圖像和所述插幀圖像進行高動態范圍hdr圖像重建，得到hdr圖像。

16、第三方面，本申請實施例提供了一種電子設備，該電子設備包括處理器和存儲器，所述存儲器存儲可在所述處理器上運行的程序或指令，所述程序或指令被所述處理器執行時實現如第一方面所述的方法的步驟。

17、第四方面，本申請實施例提供了一種可讀存儲介質，所述可讀存儲介質上存儲程序或指令，所述程序或指令被處理器執行時實現如第一方面所述的方法的步驟。

18、第五方面，本申請實施例提供了一種芯片，所述芯片包括處理器和通信接口，所述通信接口和所述處理器耦合，所述處理器用于運行程序或指令，實現如第一方面所述的方法。

19、第六方面，本申請實施例提供一種計算機程序產品，該程序產品被存儲在存儲介質中，該程序產品被至少一個處理器執行以實現如第一方面所述的方法。

20、本申請實施例通過在確定第一短曝光ldr圖像和第二短曝光ldr圖像之間的插幀圖像的過程中，先確定第一短曝光ldr圖像和第二短曝光ldr圖像之間的雙向光流，基于雙向光流確定第一短曝光ldr圖像和第二短曝光ldr圖像之間的第一預測插幀圖像對應的初始化光流，再以長曝光ldr圖像為運動對齊目標，對初始化光流進行細化，得到目標光流，進而基于目標光流、第一短曝光ldr圖像和第二短曝光ldr圖像確定插幀圖像，可以得到與長曝光ldr圖像運動對齊的插幀圖像。如此，通過基于長曝光ldr圖像和插幀圖像進行高動態范圍hdr圖像重建，即可得到hdr圖像。本申請實施例中進行hdr圖像重建的方式不受曝光參數的限制，增強了hdr圖像重建的泛化性和魯棒性。

技術特征：

1.一種圖像重建方法，其特征在于，包括：

2.根據權利要求1所述的方法，其特征在于，所述初始化光流包括從所述第一短曝光ldr圖像到所述第一預測插幀圖像的第一初始化光流，以及從所述第二短曝光ldr圖像到所述第一預測插幀圖像的第二初始化光流；

3.根據權利要求2所述的方法，其特征在于，所述目標光流包括從所述第一短曝光ldr圖像到所述第一預測插幀圖像的第一目標光流，以及從所述第二短曝光ldr圖像到所述第一預測插幀圖像的第二目標光流；

4.根據權利要求3所述的方法，其特征在于，所述以所述長曝光ldr圖像為運動對齊目標，基于所述光流細化數據進行光流細化，得到所述第一目標光流和所述第二目標光流，包括：

5.根據權利要求3所述的方法，其特征在于，所述基于所述目標光流、所述第一短曝光ldr圖像和所述第二短曝光ldr圖像確定插幀圖像，包括：

6.根據權利要求5所述的方法，其特征在于，所述對所述第三對齊圖像和所述第四對齊圖像進行插幀融合，得到所述插幀圖像，包括：

7.根據權利要求1-6任一項所述的方法，其特征在于，所述基于所述長曝光ldr圖像和所述插幀圖像進行高動態范圍hdr圖像重建，得到hdr圖像，包括：

8.根據權利要求1-6任一項所述的方法，其特征在于，所述雙向光流包括從所述第一短曝光ldr圖像到所述第二短曝光ldr圖像的第一光流，以及從所述第二短曝光ldr圖像到所述第一短曝光ldr圖像的第二光流；

9.一種圖像重建裝置，其特征在于，包括：

10.一種電子設備，其特征在于，包括處理器和存儲器，所述存儲器存儲可在所述處理器上運行的程序或指令，所述程序或指令被所述處理器執行時實現如權利要求1-8任一項所述的圖像重建方法的步驟。

技術總結
本申請公開了一種圖像重建方法、裝置和電子設備，屬于圖像處理技術領域。其中，該方法包括：獲取圖像幀序列，所述圖像幀序列包括按順序排列的第一短曝光低動態范圍LDR圖像、長曝光LDR圖像和第二短曝光LDR圖像；確定所述第一短曝光LDR圖像和所述第二短曝光LDR圖像之間的雙向光流；基于所述雙向光流確定所述第一短曝光LDR圖像和所述第二短曝光LDR圖像之間的第一預測插幀圖像對應的初始化光流；以所述長曝光LDR圖像為運動對齊目標，對所述初始化光流進行細化，得到目標光流；基于所述目標光流、所述第一短曝光LDR圖像和所述第二短曝光LDR圖像確定插幀圖像；基于所述長曝光LDR圖像和所述插幀圖像進行高動態范圍HDR圖像重建，得到HDR圖像。

技術研發人員：楊勝航,曾宇希
受保護的技術使用者：維沃移動通信有限公司
技術研發日：
技術公布日：2025/4/24