本公開涉及圖像處理，特別是涉及一種圖像降噪方法、降噪模型的訓(xùn)練方法、裝置。

背景技術(shù)：

1、隨著圖像處理技術(shù)的發(fā)展，圖像處理技術(shù)在各個(gè)領(lǐng)域得到了廣泛的應(yīng)用，例如圖像的降噪處理等。其中，圖像降噪處理的目的是去除圖像中的噪點(diǎn)，提高圖像的質(zhì)量，得到更加清晰的圖像。

2、傳統(tǒng)的圖像降噪技術(shù)大多采用濾波的方式，但會(huì)損傷圖像的整體清晰度和銳化程度，導(dǎo)致最終得到的圖像不清晰。而另外有些方案是將噪聲模型按理論建模后去除，然而由于噪聲在圖像上產(chǎn)生的位置和強(qiáng)度都有概率性，因而按固定噪聲值去除的方式誤差太大。除此之外，使用神經(jīng)網(wǎng)絡(luò)模型也可以去除圖像中的噪聲，然而該種方式的神經(jīng)網(wǎng)絡(luò)模型通常不是端到端的網(wǎng)絡(luò)模型，需要進(jìn)行額外的特征處理，并且需要額外的大量數(shù)據(jù)來進(jìn)行訓(xùn)練，導(dǎo)致出現(xiàn)模型嚴(yán)重依賴訓(xùn)練數(shù)據(jù)的準(zhǔn)確性。

技術(shù)實(shí)現(xiàn)思路

1、基于此，有必要針對(duì)上述技術(shù)問題，提供一種圖像降噪方法、降噪模型的訓(xùn)練方法、裝置。

2、第一方面，本公開提供了一種圖像降噪方法。所述方法包括：

3、獲取待去噪圖像；

4、將所述待去噪圖像中的像素?cái)?shù)據(jù)輸入到預(yù)先訓(xùn)練完成的降噪模型的解碼器中，經(jīng)由所述降噪模型中的解碼器輸出去噪圖像；其中，所述降噪模型的訓(xùn)練過程包括：基于預(yù)先拍攝得到的同一場景下的多張曝光值不同的圖像，計(jì)算參考像素值，在預(yù)訓(xùn)練模型的編碼器中利用預(yù)先確定的噪聲分布情況和所述參考像素值，得到加噪像素值，在所述預(yù)訓(xùn)練模型的解碼器中基于所述加噪像素值得到去噪像素值，基于所述去噪像素值和所述參考像素值之間的損失值進(jìn)行迭代所述預(yù)訓(xùn)練模型的解碼器，得到降噪模型。

5、在其中一個(gè)實(shí)施例中，所述方法還包括：

6、獲取在同一場景下拍攝得到的多張曝光值不同的圖像；

7、基于所述多張曝光值不同的圖像，計(jì)算得到每個(gè)位置的像素均值，基于所述每個(gè)位置的像素均值確定每個(gè)位置的參考像素值；

8、在預(yù)訓(xùn)練模型的編碼器中基于所述預(yù)先確定的噪聲分布情況和所述參考像素值，得到加噪像素值；

9、在所述預(yù)訓(xùn)練模型的解碼器中基于所述加噪像素值得到去噪像素值，基于所述去噪像素值和所述參考像素值之間的損失值進(jìn)行迭代所述預(yù)訓(xùn)練模型的解碼器，得到降噪模型。

10、在其中一個(gè)實(shí)施例中，所述基于所述預(yù)先確定的噪聲分布情況和所述參考像素值，得到加噪像素值，包括：

11、基于所述每個(gè)位置的參考像素值，計(jì)算得到每個(gè)位置的像素方差；

12、基于所述參考像素值和像素方差，構(gòu)建用于計(jì)算噪聲參數(shù)的線性回歸模型，利用所述線性回歸模型計(jì)算得到噪聲參數(shù)；

13、對(duì)所述噪聲參數(shù)進(jìn)行線性變換，并基于預(yù)先確定的噪聲模型、噪聲分布情況和線性變換后的所述噪聲參數(shù)，確定噪聲像素分布區(qū)間；

14、在所述噪聲像素分布區(qū)間進(jìn)行采樣，得到加噪像素值。

15、在其中一個(gè)實(shí)施例中，所述噪聲模型包括采用下述方式確定：

16、確定成像設(shè)備在成像階段中的模擬增益階段之前和之后的階段所產(chǎn)生的噪聲；

17、根據(jù)所述成像階段中得到的實(shí)際光子數(shù)量、量子效率和模擬增益階段之前和之后的階段所產(chǎn)生的噪聲，生成噪聲模型，其中，所述量子效率表征光子轉(zhuǎn)換為電子的效率。

18、在其中一個(gè)實(shí)施例中，所述對(duì)所述噪聲參數(shù)進(jìn)行線性變換，并基于預(yù)先確定的噪聲模型、噪聲分布情況和線性變換后的所述噪聲參數(shù)，確定噪聲像素分布區(qū)間，包括：

19、基于所述噪聲模型和噪聲分布情況，生成噪聲分布模型；

20、基于所述噪聲分布模型以及線性變換后的所述噪聲參數(shù)，確定噪聲像素分布區(qū)間。

21、在其中一個(gè)實(shí)施例中，所述在所述預(yù)訓(xùn)練模型的解碼器中基于所述加噪像素值得到去噪像素值，基于所述去噪像素值和所述參考像素值之間的損失值進(jìn)行迭代所述預(yù)訓(xùn)練模型的解碼器，得到降噪模型，包括：

22、響應(yīng)于所述預(yù)訓(xùn)練模型的解碼器進(jìn)行反向傳播，從標(biāo)準(zhǔn)正態(tài)分布區(qū)間中進(jìn)行隨機(jī)采樣，得到隨機(jī)采樣值；

23、基于隨機(jī)采樣值和所述噪聲像素分布區(qū)間，利用重參數(shù)化技術(shù)對(duì)所述預(yù)訓(xùn)練模型的解碼器進(jìn)行反向傳播，更新所述預(yù)訓(xùn)練模型的解碼器中的參數(shù)，得到降噪模型。

24、在其中一個(gè)實(shí)施例中，所述基于所述參考像素值和像素方差，構(gòu)建用于計(jì)算噪聲參數(shù)的線性回歸模型，利用所述線性回歸模型計(jì)算得到噪聲參數(shù)之前，所述方法還包括：

25、基于所述成像階段中得到的目標(biāo)光子數(shù)量、所述實(shí)際光子數(shù)量和所述噪聲模型，確定線性回歸模型中的參數(shù)。

26、第二方面，本公開還提供了一種降噪模型的訓(xùn)練方法，所述方法包括：

27、獲取在同一場景下拍攝得到的多張曝光值不同的圖像；

28、基于所述多張曝光值不同的圖像，計(jì)算得到每個(gè)位置的像素均值，基于所述每個(gè)位置的像素均值確定每個(gè)位置的參考像素值；

29、在預(yù)訓(xùn)練模型的編碼器中基于所述預(yù)先確定的噪聲分布情況和所述參考像素值，得到加噪像素值；

30、在所述預(yù)訓(xùn)練模型的解碼器中基于所述加噪像素值得到去噪像素值，基于所述去噪像素值和所述參考像素值之間的損失值進(jìn)行迭代所述預(yù)訓(xùn)練模型的解碼器，得到降噪模型。

31、第三方面，本公開還提供了一種圖像降噪裝置。所述裝置包括：

32、數(shù)據(jù)獲取模塊，用于獲取待去噪圖像；

33、模型處理模塊，用于將所述待去噪圖像中的像素?cái)?shù)據(jù)輸入到預(yù)先訓(xùn)練完成的降噪模型的解碼器中，經(jīng)由所述降噪模型中的解碼器輸出去噪圖像；其中，所述降噪模型的訓(xùn)練過程包括：基于預(yù)先拍攝得到的同一場景下的多張曝光值不同的圖像，計(jì)算參考像素值，在預(yù)訓(xùn)練模型的編碼器中利用預(yù)先確定的噪聲分布情況對(duì)所述參考像素值施加噪聲得到加噪像素值，在所述預(yù)訓(xùn)練模型的解碼器中基于所述加噪像素值得到去噪像素值，基于所述去噪像素值和所述參考像素值之間的損失值進(jìn)行迭代所述預(yù)訓(xùn)練模型的解碼器，得到降噪模型。

34、第四方面，本公開還提供了一種降噪模型的訓(xùn)練裝置，所述裝置包括：

35、圖像獲取模塊，用于獲取在同一場景下拍攝得到的多張曝光值不同的圖像；

36、像素處理模塊，用于基于所述多張曝光值不同的圖像，計(jì)算得到每個(gè)位置的像素均值，基于所述每個(gè)位置的像素均值確定每個(gè)位置的參考像素值；

37、加噪模塊，用于在預(yù)訓(xùn)練模型的編碼器中基于所述預(yù)先確定的噪聲分布情況和所述參考像素值，得到加噪像素值；

38、模型訓(xùn)練模塊，用于在所述預(yù)訓(xùn)練模型的解碼器中基于所述加噪像素值得到去噪像素值，基于所述去噪像素值和所述參考像素值之間的損失值進(jìn)行迭代所述預(yù)訓(xùn)練模型的解碼器，得到降噪模型。

39、第四方面，本公開還提供了一種計(jì)算機(jī)設(shè)備。所述計(jì)算機(jī)設(shè)備包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述任一方法實(shí)施例中的步驟。

40、第四方面，本公開還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述任一方法實(shí)施例中的步驟。

41、第五方面，本公開還提供了一種計(jì)算機(jī)程序產(chǎn)品。所述計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述任一方法實(shí)施例中的步驟。

42、上述圖像降噪方法、降噪模型的訓(xùn)練方法、裝置中，通過使用同一場景下多張曝光值不同的圖像來計(jì)算參考像素值，充分利用了場景的一致性信息。同一場景下的圖像具有相似的內(nèi)容和結(jié)構(gòu)，不同曝光值使得圖像在亮度等方面有所變化，這為準(zhǔn)確計(jì)算參考像素值提供了豐富的數(shù)據(jù)基礎(chǔ)。這種方式能夠更好地捕捉該場景下的像素特征和噪聲特性，使得后續(xù)訓(xùn)練出的降噪模型對(duì)該場景下的噪聲具有更強(qiáng)的針對(duì)性。在訓(xùn)練過程中，結(jié)合預(yù)先確定的噪聲分布情況和參考像素值在編碼器中得到加噪像素值。由于是基于特定場景的圖像數(shù)據(jù)，所確定的噪聲分布能夠更符合該場景實(shí)際的噪聲情況。例如，如果該場景的噪聲主要是由光線變化引起的某種特定分布的噪聲(如低光照下的泊松噪聲等)，通過這種方式可以更準(zhǔn)確地模擬和學(xué)習(xí)這種噪聲，提高模型對(duì)該場景噪聲的處理能力。在訓(xùn)練過程中，先在編碼器中模擬加噪過程，然后在解碼器中進(jìn)行去噪操作，并基于去噪像素值和參考像素值之間的損失值迭代解碼器。另外，由于解碼器的作用是進(jìn)行去噪，因此可以僅訓(xùn)練解碼器，無需訓(xùn)練編碼器，能夠提高模型訓(xùn)練的速度。通過計(jì)算去噪像素值和參考像素值之間的損失值，并以此為依據(jù)對(duì)解碼器進(jìn)行迭代更新，能夠使解碼器不斷調(diào)整自身的參數(shù)，以減小損失值。這種基于損失值的迭代優(yōu)化過程可以使模型逐漸收斂到一個(gè)較好的狀態(tài)，提高模型的降噪性能。例如，使用均方誤差作為損失函數(shù)時(shí)，隨著迭代次數(shù)的增加，模型能夠使去噪像素值更接近參考像素值，從而提高對(duì)噪聲的去除效果。在獲取待去噪圖像后，可以直接將其像素?cái)?shù)據(jù)輸入到預(yù)先訓(xùn)練完成的降噪模型的解碼器中，快速得到去噪圖像。這種應(yīng)用方式簡單高效，不需要對(duì)每張待去噪圖像重新進(jìn)行復(fù)雜的訓(xùn)練過程。由于模型已經(jīng)在特定場景下進(jìn)行了有效的訓(xùn)練，能夠快速準(zhǔn)確地對(duì)輸入的圖像進(jìn)行降噪處理，提高了圖像去噪的效率和質(zhì)量。