本發明涉及一種電子設備，更具體地涉及一種基于運動的圖像增強方法和電子設備。本技術基于并要求于2022年8月26日提交的印度臨時申請no.202241048869的優先權，其公開內容通過引用并入本文。

背景技術：

1、圖像增強最近引起了廣泛關注，尤其是在智能電話消費市場上。領先的智能電話供應商最近在諸如高動態范圍（hdr）和低光去噪之類的圖像增強領域中取得了非凡進展。然而，運動主體（例如，人類）的圖像捕獲通常導致諸如模糊（1）之類的偽影，并且在沒有良好照明條件的情況下，通常導致諸如低光噪聲（2）之類的偽影，如圖1所示。

2、經由減少偽影的圖像增強對美學和下游計算機視覺任務兩者至關要。多幀算法（例如，多幀噪聲去除（mfnr）和hdr）通常用于圖像增強方法。為了避免在圖像處理期間產生諸如模糊（1）/低光噪聲（2）/重影（3）之類的偽影，多幀算法經常對運動圖進行計算。經常使用基于光度差異的方法或基于人體關鍵點的方法對運動圖進行計算。然而，在存在模糊（1）/低光噪聲（2）/重影（3）的情況下，這些方法經常導致誤報運動。結果，輸出圖像具有更多噪聲（2）或更低的動態范圍（4）。

3、基于光度差異的方法使用每個像素的光度對準（hdr可選），然后使用光度差異。在存在噪聲的情況下生成運動圖，該運動圖生成易于出現誤差。結果，產生大面積的誤報運動。大面積的誤報運動導致區域混合較少，這進一步導致動態范圍損失或噪聲增加，如圖2a和圖2b所示。

4、基于人體關鍵點的方法通過計算人體關鍵點（然后對其進行分析以檢測運動）來估計人體姿勢。在存在高噪聲/模糊的情況下，所估計的人體關鍵點是錯誤的，這進一步導致將靜態區域分類為運動（誤報運動）。隨后，這導致較低的動態范圍（4）或較高的噪聲（2）。

5、因此，希望解決上述缺點或其他不足，或至少針對基于運動的圖像增強提供一種有用的替代方案。

技術實現思路

1、【技術問題】

2、本文中的實施例的主要目的在于：通過使用多個估計的關鍵點基于與該多個估計的關鍵點（該關鍵點與接收到的圖像幀的主體相關聯）相關聯的運動特性以及主體所執行的動作從接收到的圖像幀中的多個區域中識別出要增強的具有圖像偽影的一個或多個區域（例如，模糊區域、具有大量運動的區域等），從而智能地生成圖像。因此，當與接收到的圖像幀的多個區域中的一個或多個區域相比時，增強圖像包括沒有圖像偽影的一個或多個增強區域，這增強了用戶體驗。

3、本文中的實施例的另一目的在于：通過基于檢測到的動作（例如，用戶的跳躍）和多個估計的關鍵點預測接收到的圖像幀中的局部運動區域（例如，用戶的腿部），來從多個最佳圖像幀中確定最佳運動圖，其中，多個最佳圖像幀包括檢測到的動作的峰值動作（例如，用戶在空中跳躍）。利用最佳運動圖來生成增強圖像（例如，hdr圖像、去噪圖像、模糊校正圖像、反射去除圖像等）。

4、【問題的解決方案】

5、相應地，本文中的實施例提供了一種用于基于運動的圖像增強的方法。該方法包括：由電子設備接收包括執行動作的主體的圖像幀。此外，該方法包括：由電子設備確定與接收到的圖像幀的主體相關聯的多個關鍵點。此外，該方法包括：由電子設備使用多個估計的關鍵點檢測主體所執行的動作。此外，該方法包括：由電子設備確定與多個估計的關鍵點相關聯的運動特性。此外，該方法包括：由電子設備基于用多個估計的關鍵點確定的運動特性以及檢測到的動作，從接收到的圖像幀中的多個區域中識別出要增強的一個或多個區域。此外，該方法包括：由電子設備生成增強圖像，該增強圖像包括與接收到的圖像幀的多個區域中的一個或多個區域相比的一個或多個增強區域。此外，該方法包括：由電子設備存儲增強圖像，該增強圖像包括多個區域中的一個或多個增強區域。

6、在實施例中，其中，由電子設備基于用多個估計的關鍵點確定的運動特性以及檢測到的動作，從接收到的圖像幀中的多個區域中識別出要增強的一個或多個區域包括：由電子設備基于檢測到的動作從接收到的圖像幀中確定多個最佳圖像幀，其中，多個最佳圖像幀包括檢測到的動作的峰值動作。此外，該方法包括：由電子設備基于檢測到的動作來預測接收到的圖像幀中的局部運動區域。此外，該方法包括：由電子設備基于預測的局部運動區域和多個估計的關鍵點來確定多個最佳圖像幀中的最佳運動圖。此外，該方法包括：由電子設備基于所確定的最佳運動圖、與多個估計的關鍵點相關聯的所確定的運動特性、以及檢測到的動作，執行針對多個最佳圖像幀的空間-時間偽影的定位。此外，該方法包括：由電子設備基于空間-時間偽影的定位從接收到的圖像幀中的多個區域中識別出要增強的一個或多個區域，其中，該一個或多個區域包括圖像偽影，并且圖像偽影包括模糊區域、噪聲區域、暗區域和運動區域。

7、在實施例中，其中，由電子設備基于預測的局部運動區域和多個估計的關鍵點確定多個最佳圖像幀中的最佳運動圖包括：由電子設備基于圖像恢復機制生成多個最佳圖像幀的初始運動圖。此外，該方法包括：由電子設備通過連接多個估計的關鍵點來生成數字骨架。此外，該方法包括：由電子設備針對檢測到的運動從電子設備的數據庫的預定義詞典中檢索所生成的數字骨架的關鍵點和骨骼的運動概率。針對每個動作，計算針對每個關鍵點的運動概率。例如，針對跳躍，由于四肢相比于身體移動得更快，因此其概率將更高。此外，該方法包括：由電子設備基于檢索到的關鍵點和骨骼的運動概率來更新所生成的數字骨架。此外，該方法包括：由電子設備基于所預測的局部運動區域、所生成的初始運動圖和更新后的數字骨架來確定最佳運動圖。

8、在實施例中，其中，由電子設備執行針對多個最佳圖像幀的空間-時間偽影的定位包括：由電子設備使用經典學習機制和深度學習機制確定多個最佳圖像幀的噪聲標準偏差，以從接收到的圖像幀中的多個區域中識別出要增強的一個或多個區域。圖像在每個區域中的標準偏差可以被設置為噪聲估計。此外，該方法包括：由電子設備從至少一個接收到的圖像幀中的多個區域中確定至少一個靜態區域。此外，該方法包括：由電子設備確定該至少一個靜態區域中的至少一個變化關鍵點。此外，該方法包括：由電子設備基于后估計誤差和多個估計的關鍵點來確定所預測的局部運動區域中的每個關鍵點的運動參數，其中，運動參數包括位移、速度和加速度。此外，該方法包括：由電子設備使用所確定的運動參數來確定多個最佳圖像幀的后續幀之間的運動。此外，該方法包括：由電子設備基于所確定的運動來確定模糊核的大小，以從接收到的圖像幀中的多個區域中識別出要增強的一個或多個區域。

9、在實施例中，其中，通過應用圖像增強機制生成的增強圖像包括高動態范圍（hdr）圖像、去噪圖像、模糊校正圖像和反射去除圖像。

10、在實施例中，其中，生成hdr圖像包括：基于與多個估計的關鍵點相關聯的所確定的運動特性以及檢測到的動作，由電子設備對從接收到的圖像幀中的多個區域中識別出的一個或多個區域進行聚類，以及將接收到的圖像幀聚類為多個幀組，其中，多個幀組包括具有最低位移的多個幀、具有中等位移的多個幀和具有最高位移的多個幀。此外，該方法包括：由電子設備從具有最低位移的多個幀中生成高曝光幀。此外，該方法包括：由電子設備從具有中等位移的多個幀中生成中等曝光幀。此外，該方法包括：由電子設備從具有最高位移的多個幀中生成低曝光幀。此外，該方法包括：由電子設備混合所生成的高曝光幀、所生成的中等曝光幀和所生成的低曝光幀，以生成hdr圖像。

11、在實施例中，通過利用最佳運動圖生成去噪圖像。

12、在實施例中，生成模糊校正圖像包括：由電子設備確定運動參數是否超過預定義閾值。僅運動參數高于預定義閾值，才需要進行模糊校正。此外，該方法包括：由電子設備對所測量的運動參數超過預定義閾值的關鍵點周圍的區域應用模糊校正。此外，該方法包括：由電子設備通過對所測量的運動參數超過預定義閾值的關鍵點周圍的區域應用模糊校正來生成模糊校正圖像。

13、在實施例中，其中，生成反射去除圖像包括：由電子設備確定用第一主體的多個估計的關鍵點確定的運動特性與用第二主體的多個估計的關鍵點確定的運動特性之間的相關性。此外，該方法包括：由電子設備將第二主體的高度相關的關鍵點分類為反射關鍵點。此外，該方法包括：由電子設備使用分類后的高度相關的關鍵點生成反射圖。此外，該方法包括：由電子設備使用所生成的反射圖生成反射去除圖像。

14、在實施例中，其中，由電子設備基于用多個估計的關鍵點確定的至少一個運動特性以及至少一個檢測到的動作從至少一個接收到的圖像幀中的多個區域中識別出要增強的一個或多個區域包括：由電子設備（100）將與和多個估計的關鍵點中的每一個相關聯的一個或多個運動特性的計算值與預期值進行比較；由電子設備（100）確定多個估計的關鍵點中的每一個的計算值與預期值的偏差；并且由電子設備（100）確定多個估計的關鍵點中具有大于閾值的偏差的第一組關鍵點。

15、相應地，本文中的實施例提供了用于基于運動的圖像增強的電子設備。該電子設備包括與處理器和存儲器耦接的圖像處理控制器。圖像處理控制器接收包括執行動作的主體的圖像幀。圖像處理控制器確定與接收到的圖像幀的主體相關聯的多個關鍵點。圖像處理控制器使用多個估計的關鍵點檢測主體所執行的動作。圖像處理控制器確定與多個估計的關鍵點相關聯的運動特性。圖像處理控制器基于用多個估計的關鍵點確定的運動特性以及檢測到的動作從接收到的圖像幀中的多個區域中識別出要增強的一個或多個區域。圖像處理控制器生成增強圖像，該增強圖像包括與接收到的圖像幀的多個區域中的一個或多個區域相比的一個或多個增強區域。圖像處理控制器存儲包括多個區域中的一個或多個增強區域在內的增強圖像。

16、當結合以下描述和附圖考慮時，將更好地了解和理解本文中的實施例的這些和其他方面。然而，應該理解，雖然以下描述指示了優選實施例及其許多具體細節，但是以下描述是通過說明而非限制性的方式給出的?？梢栽诒疚闹械膶嵤├姆秶鷥茸龀龆喾N改變和修改，并且本文中的實施例包括所有這樣的修改。

17、【發明的有益效果】

18、在一個實施例中，電子設備可以獲得增強圖像。