本公開涉及圖像處理領(lǐng)域，尤其涉及圖像重建方法及裝置。

背景技術(shù)：

目前，超分辨率(super-resolution)即通過硬件或軟件的方法提高原有圖像的分辨率，通過低分辨率圖像來得到高分辨率圖像的過程就是超分辨率重建。

高分辨率意味著圖像中的像素密度高，能夠提供更多的細(xì)節(jié)，而這些細(xì)節(jié)在許多實(shí)際應(yīng)用中不可或缺。例如，高分辨率醫(yī)療圖像對(duì)于醫(yī)生做出正確的診斷是非常有幫助的；使用高分辨率衛(wèi)星圖像就很容易從相似物中區(qū)別相似的對(duì)象；監(jiān)控視頻中的目標(biāo)如汽車牌照或者疑犯的臉部需要特寫放大。

技術(shù)實(shí)現(xiàn)要素：

本公開實(shí)施例提供圖像重建方法及裝置。所述技術(shù)方案如下：

根據(jù)本公開實(shí)施例的第一方面，提供一種圖像重建方法，包括：

獲取圖像中y通道圖像和uv通道圖像；

通過預(yù)設(shè)全卷積網(wǎng)，對(duì)所述y通道圖像進(jìn)行高分辨率重建，得到放大h倍的新y通道圖像；其中，所述新y通道圖像的像素個(gè)數(shù)是所述y通道圖像的像素個(gè)數(shù)的h²倍，所述h是大于1的數(shù)；

根據(jù)所述新y通道圖像和所述uv通道圖像，生成放大所述h倍的新圖像。

本公開的實(shí)施例提供的技術(shù)方案可以包括以下有益效果：通過預(yù)設(shè)全卷積網(wǎng)，將y通道圖像的像素增加h²倍，這樣，特征增多，y通道圖像的分辨率就會(huì)提高，因此，相較于圖像，提高了新圖像的分辨率。

在一個(gè)實(shí)施例中，所述根據(jù)所述新y通道圖像和所述uv通道圖像，生成放大所述h倍的新圖像包括：

通過預(yù)設(shè)插值方法，根據(jù)所述uv通道圖像，得到放大所述h倍的新uv通道圖像；

根據(jù)所述新y通道圖像和所述新uv通道圖像，生成所述新圖像。

本公開的實(shí)施例提供的技術(shù)方案可以包括以下有益效果：實(shí)現(xiàn)如何生成新圖像。

在一個(gè)實(shí)施例中，所述通過預(yù)設(shè)全卷積網(wǎng)包括n層卷積層，所述n為大于1的正整數(shù)，所述通過預(yù)設(shè)全卷積網(wǎng)，對(duì)所述y通道圖像進(jìn)行高分辨率重建，得到所述h倍的新y通道圖像包括：

根據(jù)所述n層中前n-1層卷積層，將所述y通道圖像縮小m倍；所述m為大于1的數(shù)；

根據(jù)所述n層中第n層卷積層，將縮小后的y通道圖像放大mh倍，得到所述新y通道圖。

本公開的實(shí)施例提供的技術(shù)方案可以包括以下有益效果：通過縮小y通道圖像增加圖像通道數(shù)，從而可以增加更多的像素來放大y通道圖像，達(dá)到了增大圖像的效果。

在一個(gè)實(shí)施例中，所述n為4時(shí)，所述根據(jù)所述n層中前n-1層卷積層中的卷積核，將所述y通道圖像縮小m倍包括：

根據(jù)所述第一層卷積層的卷積核和長(zhǎng)度為1的步長(zhǎng)，提取所述y通道圖像的特征；

根據(jù)所述第二層卷積層的卷積核和長(zhǎng)度為m的步長(zhǎng)，對(duì)所述y通道圖像的特征進(jìn)行降采樣和增強(qiáng)，得到所述y通道圖像的新特征；

根據(jù)所述第三層卷積層的卷積核和長(zhǎng)度為1的步長(zhǎng)，對(duì)所述y通道圖像的新特征進(jìn)行映射，得到所述縮小后的y通道圖像的新特征。

本公開的實(shí)施例提供的技術(shù)方案可以包括以下有益效果：實(shí)現(xiàn)如何縮小y通道圖像，從而增多圖像通道。

在一個(gè)實(shí)施例中，所述根據(jù)所述n層中第n層卷積層，將縮小后的y通道圖像放大mh倍，得到所述新y通道圖包括：

根據(jù)所述第四層反卷積的卷積核和長(zhǎng)度為所述mh的步長(zhǎng)，對(duì)所述縮小后的y通道圖像的新特征進(jìn)行升采樣，得到所述新y通道圖像的特征。

本公開的實(shí)施例提供的技術(shù)方案可以包括以下有益效果：實(shí)現(xiàn)如何進(jìn)行圖像放大。

在一個(gè)實(shí)施例中，所述方法還包括：

獲取預(yù)設(shè)y通道圖像和預(yù)設(shè)高分辨率圖像，所述預(yù)設(shè)高分辨率圖像的尺寸是所述預(yù)設(shè)y通道圖像的尺寸的h倍；所述預(yù)設(shè)高分辨率圖像的像素個(gè)數(shù)是所述預(yù)設(shè)y通道輸入圖像的像素個(gè)數(shù)的h²倍；

根據(jù)所述預(yù)設(shè)y通道圖像和所述預(yù)設(shè)高分辨率圖像，構(gòu)建所述預(yù)設(shè)全卷機(jī)網(wǎng)。

本公開的實(shí)施例提供的技術(shù)方案可以包括以下有益效果：根據(jù)預(yù)設(shè)圖像設(shè)置預(yù)設(shè)全卷積網(wǎng)，從而保證重建圖像的分辨率準(zhǔn)確提高。

在一個(gè)實(shí)施例中，所述根據(jù)所述預(yù)設(shè)y通道圖像和所述預(yù)設(shè)高分辨率圖像，構(gòu)建所述預(yù)設(shè)全卷機(jī)網(wǎng)包括：

獲取全卷機(jī)網(wǎng)；

通過所述全卷積網(wǎng)，對(duì)所述預(yù)設(shè)y通道圖像進(jìn)行高分辨率重建，得到放大h倍的高分辨率y通道圖像；

獲取所述高分辨率y通道圖像的特征和所述預(yù)設(shè)高分辨率圖像的特征；

根據(jù)所述高分辨率y通道圖像的特征和所述預(yù)設(shè)高分辨率圖像的特征，確定誤差率；

當(dāng)所述誤差率小于或等于所述預(yù)設(shè)值時(shí)，將所述全卷積網(wǎng)作為所述預(yù)設(shè)全卷機(jī)網(wǎng)；

當(dāng)所述誤差率大于所述預(yù)設(shè)值時(shí)，根據(jù)所述誤差率更新所述全卷機(jī)網(wǎng)。

本公開的實(shí)施例提供的技術(shù)方案可以包括以下有益效果：實(shí)現(xiàn)如何生成預(yù)設(shè)全卷積網(wǎng)，使得新圖像的分辨率更高。

在一個(gè)實(shí)施例中，當(dāng)所述特征為像素和語義特征時(shí)，所述根據(jù)所述多個(gè)y通道輸出圖像的特征和所述預(yù)設(shè)高分辨率圖像的特征，確定多個(gè)誤差率包括：

根據(jù)誤差公式，確定所述誤差率；所述誤差公式為：

其中，所述l是所述誤差率，所述l1是像素誤差，所述l2是特征重建誤差；所述是所述y通道輸出圖像的第i個(gè)像素；所述qj是所述預(yù)設(shè)高分辨率圖像的第i個(gè)特征，所述m是所述y通道輸出圖像的像素個(gè)數(shù)；所述是所述y通道輸出圖像的第i維語義特征；所述rk是所述預(yù)設(shè)高分辨率圖像的第i維語義特征，所述n是所述y通道輸出圖像的語義特征維數(shù)。

本公開的實(shí)施例提供的技術(shù)方案可以包括以下有益效果：通過語義特征和像素兩方面，確定最優(yōu)誤差率，從而選擇誤差最小的卷積網(wǎng)作為預(yù)設(shè)卷積網(wǎng)，進(jìn)一步的提高新圖像的分辨率。

根據(jù)本公開實(shí)施例的第二方面，提供一種圖像重建裝置，包括：

第一獲取模塊，用于獲取圖像中y通道圖像和uv通道圖像；

第一重建模塊，用于通過預(yù)設(shè)全卷積網(wǎng)，對(duì)所述y通道圖像進(jìn)行高分辨率重建，得到放大h倍的新y通道圖像；其中，所述新y通道圖像的像素個(gè)數(shù)是所述y通道圖像的像素個(gè)數(shù)的h²倍，所述h是大于1的數(shù)；

生成模塊，用于根據(jù)所述新y通道圖像和所述uv通道圖像，生成放大所述h倍的新圖像。

在一個(gè)實(shí)施例中，所述生成模塊包括：

放大子模塊，用于通過預(yù)設(shè)插值裝置，根據(jù)所述uv通道圖像，得到放大所述h倍的新uv通道圖像；

生成子模塊，用于根據(jù)所述新y通道圖像和所述新uv通道圖像，生成所述新圖像。

在一個(gè)實(shí)施例中，所述第一重建模塊包括：

縮小子模塊，用于根據(jù)所述n層中前n-1層卷積層，將所述y通道圖像縮小m倍；所述m為大于1的數(shù)；

放大子模塊，用于根據(jù)所述n層中第n層卷積層，將縮小后的y通道圖像放大mh倍，得到所述新y通道圖。

在一個(gè)實(shí)施例中，所述n為4時(shí)，所述縮小子模塊用于：

根據(jù)所述第一層卷積層的卷積核和長(zhǎng)度為1的步長(zhǎng)，提取所述y通道圖像的特征；

根據(jù)所述第二層卷積層的卷積核和長(zhǎng)度為m的步長(zhǎng)，對(duì)所述y通道圖像的特征進(jìn)行降采樣和增強(qiáng)，得到所述y通道圖像的新特征；

根據(jù)所述第三層卷積層的卷積核和長(zhǎng)度為1的步長(zhǎng)，對(duì)所述y通道圖像的新特征進(jìn)行映射，得到所述縮小后的y通道圖像的新特征。

在一個(gè)實(shí)施例中，所述放大子模塊用于：

根據(jù)所述第四層反卷積的卷積核和長(zhǎng)度為所述mh的步長(zhǎng)，對(duì)所述縮小后的y通道圖像的新特征進(jìn)行升采樣，得到所述新y通道圖像的特征。

在一個(gè)實(shí)施例中，所述裝置還包括：

第二獲取模塊，用于獲取預(yù)設(shè)y通道圖像和預(yù)設(shè)高分辨率圖像，所述預(yù)設(shè)高分辨率圖像的尺寸是所述預(yù)設(shè)y通道圖像的尺寸的h倍；所述預(yù)設(shè)高分辨率圖像的像素個(gè)數(shù)是所述預(yù)設(shè)y通道輸入圖像的像素個(gè)數(shù)的h²倍；

第二重建模塊，用于根據(jù)所述預(yù)設(shè)y通道圖像和所述預(yù)設(shè)高分辨率圖像，構(gòu)建所述預(yù)設(shè)全卷機(jī)網(wǎng)。

在一個(gè)實(shí)施例中，所述第二重建模塊包括：

第一獲取子模塊，用于獲取全卷機(jī)網(wǎng)；

重建子模塊，用于通過所述全卷積網(wǎng)，對(duì)所述預(yù)設(shè)y通道圖像進(jìn)行高分辨率重建，得到放大h倍的高分辨率y通道圖像；

第二獲取子模塊，用于獲取所述高分辨率y通道圖像的特征和所述預(yù)設(shè)高分辨率圖像的特征；

確定子模塊，用于根據(jù)所述高分辨率y通道圖像的特征和所述預(yù)設(shè)高分辨率圖像的特征，確定誤差率；

處理子模塊，用于當(dāng)所述誤差率小于或等于所述預(yù)設(shè)值時(shí)，將所述全卷積網(wǎng)作為所述預(yù)設(shè)全卷機(jī)網(wǎng)；

更新子模塊，用于當(dāng)所述誤差率大于所述預(yù)設(shè)值時(shí)，根據(jù)所述誤差率更新所述全卷機(jī)網(wǎng)。

在一個(gè)實(shí)施例中，當(dāng)所述特征為像素和語義特征時(shí)，所述確定模塊子模塊用于：

根據(jù)誤差公式，確定所述誤差率；所述誤差公式為：

其中，所述l是所述誤差率，所述l1是像素誤差，所述l2是特征重建誤差；所述是所述y通道輸出圖像的第i個(gè)像素；所述qj是所述預(yù)設(shè)高分辨率圖像的第i個(gè)特征，所述m是所述y通道輸出圖像的像素個(gè)數(shù)；所述是所述y通道輸出圖像的第i維語義特征；所述rk是所述預(yù)設(shè)高分辨率圖像的第i維語義特征，所述n是所述y通道輸出圖像的語義特征維數(shù)。

根據(jù)本公開實(shí)施例的第三方面，提供一種圖像重建裝置，包括：

處理器；

用于存儲(chǔ)處理器可執(zhí)行指令的存儲(chǔ)器；

其中，所述處理器被配置為：

獲取圖像中y通道圖像和uv通道圖像；

通過預(yù)設(shè)全卷積網(wǎng)，對(duì)所述y通道圖像進(jìn)行高分辨率重建，得到放大h倍的新y通道圖像；其中，所述新y通道圖像的像素個(gè)數(shù)是所述y通道圖像的像素個(gè)數(shù)的h²倍，所述h是大于1的數(shù)；

根據(jù)所述新y通道圖像和所述uv通道圖像，生成放大所述h倍的新圖像。

應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本公開。

附圖說明

此處的附圖被并入說明書中并構(gòu)成本說明書的一部分，示出了符合本公開的實(shí)施例，并與說明書一起用于解釋本公開的原理。

圖1是根據(jù)一示例性實(shí)施例示出的圖像重建方法的流程圖。

圖2是根據(jù)一示例性實(shí)施例示出的圖像重建方法的流程圖。

圖3是根據(jù)一示例性實(shí)施例示出的圖像。

圖4是根據(jù)一示例性實(shí)施例示出的通過本申請(qǐng)方法生成的新圖像。

圖5是根據(jù)一示例性實(shí)施例示出的通過目前方法生成的新圖像。

圖6是根據(jù)一示例性實(shí)施例示出的圖像重建方法的流程圖。

圖7是根據(jù)一示例性實(shí)施例示出的圖像重建裝置的示意圖。

圖8是根據(jù)一示例性實(shí)施例示出的圖像重建裝置的示意圖。

圖9是根據(jù)一示例性實(shí)施例示出的圖像重建裝置的示意圖。

圖10是根據(jù)一示例性實(shí)施例示出的圖像重建裝置的示意圖。

圖11是根據(jù)一示例性實(shí)施例示出的圖像重建裝置的示意圖。

圖12是根據(jù)一示例性實(shí)施例示出的圖像重建裝置的示意圖。

具體實(shí)施方式

這里將詳細(xì)地對(duì)示例性實(shí)施例進(jìn)行說明，其示例表示在附圖中。下面的描述涉及附圖時(shí)，除非另有表示，不同附圖中的相同數(shù)字表示相同或相似的要素。以下示例性實(shí)施例中所描述的實(shí)施方式并不代表與本公開相一致的所有實(shí)施方式。相反，它們僅是與如所附權(quán)利要求書中所詳述的、本公開的一些方面相一致的裝置和方法的例子。

相關(guān)技術(shù)中，超分辨率重建有兩種形式：一種是通過多張低分辨率的圖像來重建一張高分辨率的圖像。另一種是通過一張低分辨率的圖像來重建一張高分辨率的圖像，也稱為單張圖像超分辨率。

本申請(qǐng)是針對(duì)第二種形式進(jìn)行改進(jìn)，也就是單張圖像超分辨率的方法。目前方法一般是基于稀疏編碼的方法，該類方法先用低分辨率的字典對(duì)圖像塊進(jìn)行稀疏編碼，然后通過低分辨率字典和高分辨率字典的對(duì)應(yīng)關(guān)系來對(duì)圖像進(jìn)行重建。由于其整套流程分為了幾個(gè)步驟，且每個(gè)步驟都是單獨(dú)優(yōu)化，所以有累計(jì)誤差的存在，也受字典質(zhì)量的影響，從而得到圖像的分辨率效果較差。

本實(shí)施例需要解決的問題是：解決目前步驟之間的累積誤差，提高圖像的分辨率。

實(shí)施例一

圖1是根據(jù)一示例性實(shí)施例示出的一種圖像重建方法的流程圖，如圖1所示，圖像重建方法用于圖像重建裝置中，包括以下步驟101-103：

在步驟101中，獲取圖像中y通道圖像和uv通道圖像。

yuv主要用于優(yōu)化彩色視頻信號(hào)的傳輸，使其向后相容老式黑白電視。與rgb視頻信號(hào)傳輸相比，它最大的優(yōu)點(diǎn)在于只需占用極少的頻寬(rgb要求三個(gè)獨(dú)立的視頻信號(hào)同時(shí)傳輸)。其中“y”表示明亮度(luminance或luma)，也就是灰階值；而“u”和“v”表示的則是色度(chrominance或chroma)，作用是描述影像色彩及飽和度，用于指定像素的顏色。采用yuv色彩空間的重要性是它的亮度信號(hào)y和色度信號(hào)u、v是分離的。如果只有亮度信號(hào)y而沒有色度信號(hào)u、v，那么這樣表示的圖像就是黑白灰度圖像。彩色電視采用yuv空間正是為了用亮度信號(hào)y解決彩色電視機(jī)與黑白電視機(jī)的兼容問題，使黑白電視機(jī)也能接收彩色電視信號(hào)。

因此，本實(shí)施例中將色度信號(hào)y對(duì)應(yīng)的黑白灰度圖像稱為y通道圖像，將色度信號(hào)u、v對(duì)應(yīng)的彩色信息稱為uv通道圖像。

值得說明的是，如果本實(shí)施例獲取到圖像需要從rgb色彩空間轉(zhuǎn)到y(tǒng)uv色彩空間。

在步驟102中，通過預(yù)設(shè)全卷積網(wǎng)，對(duì)y通道圖像進(jìn)行高分辨率重建，得到放大h倍的新y通道圖像。

其中，新y通道圖像的像素個(gè)數(shù)是y通道圖像的像素個(gè)數(shù)的h²倍，h是大于1的數(shù)。這里的特征可以是像素。這里像素越多，圖像的分辨率越高。

本實(shí)施例中，預(yù)設(shè)全卷積網(wǎng)是由多層卷積層和一層反卷積層組成。卷積層可以縮小y通道圖像，反卷積層可以放大y通道圖像。本實(shí)施例中預(yù)設(shè)全卷積網(wǎng)最后一層是反卷積層，也就是說，只有在縮小y通道圖像之后才能放大y通道圖像。

在步驟103中，根據(jù)新y通道圖像和uv通道圖像，生成放大h倍的新圖像。

假設(shè)圖像的尺寸為a×b，高分辨率重建對(duì)圖像放大的倍數(shù)為s，則重建后的新圖像的尺寸為ha×hb。

本實(shí)施例中，通過預(yù)設(shè)全卷積網(wǎng)，將y通道圖像的像素增加h²倍，這樣，特征增多，y通道圖像的分辨率就會(huì)提高，因此，相較于圖像，提高了新圖像的分辨率。

在一個(gè)實(shí)施例中，步驟103包括：

通過預(yù)設(shè)插值方法，根據(jù)uv通道圖像，得到放大h倍的新uv通道圖像；根據(jù)新y通道圖像和新uv通道圖像，生成新圖像。

本實(shí)施例中，預(yù)設(shè)插值方法可以是雙三次插值方法。值得說明的是，uv通道圖像同樣可以使用本實(shí)施例提供的預(yù)設(shè)全卷積網(wǎng)的方法，但預(yù)設(shè)全卷積網(wǎng)中的參數(shù)會(huì)發(fā)生變化。

在一個(gè)實(shí)施例中，步驟102包括：

根據(jù)n層中前n-1層卷積層，將y通道圖像縮小m倍；所述m為大于1的數(shù)；根據(jù)n層中第n層卷積層，將縮小后的y通道圖像放大mh倍，得到新y通道圖。

本實(shí)施例中，將y通道圖像縮小，增加圖像通道數(shù)，此時(shí)，圖像通道數(shù)的個(gè)數(shù)可能從個(gè)位提升到百位，再放大縮小后的y通道圖像，進(jìn)一步對(duì)y通道圖像按照一定算法進(jìn)行修補(bǔ)，從而增多了圖像的特征，例如增多了圖像的像素等，從而使得圖像更加清晰。

在一個(gè)實(shí)施例中，所述n為4時(shí)，所述根據(jù)所述n層中前n-1層卷積層中的卷積核，將所述y通道圖像縮小m倍包括：

根據(jù)所述第一層卷積層的卷積核和長(zhǎng)度為1的步長(zhǎng)，提取所述y通道圖像的特征；根據(jù)第二層卷積層的卷積核和長(zhǎng)度為m的步長(zhǎng)，對(duì)y通道圖像的特征進(jìn)行降采樣和增強(qiáng)，得到y(tǒng)通道圖像的新特征；根據(jù)第三層卷積層的卷積核和長(zhǎng)度為1的步長(zhǎng)，對(duì)y通道圖像的新特征進(jìn)行映射，得到縮小后的y通道圖像的新特征。

這里，第一層卷積層、第二層卷積層和第四層反卷積層的卷積核采用3×3的矩陣，第三層卷積層的卷積層采用1×1的矩陣。

本實(shí)施例僅僅是示例性說明，我們可以知道步長(zhǎng)大于1，那么圖像就會(huì)縮小，提取的特征就會(huì)減少，因此，上述步驟僅僅進(jìn)行了一次縮小，若進(jìn)行多次縮小同樣在本實(shí)施例中的保護(hù)范圍內(nèi)。

在一個(gè)實(shí)施例中，所述根據(jù)所述n層中第n層卷積層，將縮小后的y通道圖像放大mh倍，得到新y通道圖包括：

根據(jù)第四層反卷積的卷積核和長(zhǎng)度為mh的步長(zhǎng)，對(duì)縮小后的y通道圖像的新特征進(jìn)行升采樣，得到新y通道圖像的特征。

本實(shí)施例中，y通道圖像縮小了多少倍，新y通道圖像就要在多少倍的基礎(chǔ)上再放大。這里，新y通道圖像的像素個(gè)數(shù)是y通道圖像的像素個(gè)數(shù)的h²倍。

在一個(gè)實(shí)施例中，所述方法還包括：

獲取預(yù)設(shè)y通道圖像和預(yù)設(shè)高分辨率圖像，預(yù)設(shè)高分辨率圖像的尺寸是預(yù)設(shè)y通道圖像的尺寸的h倍；預(yù)設(shè)高分辨率圖像的像素個(gè)數(shù)是預(yù)設(shè)y通道輸入圖像的像素個(gè)數(shù)的h²倍；根據(jù)所述預(yù)設(shè)y通道圖像和所述預(yù)設(shè)高分辨率圖像，構(gòu)建所述預(yù)設(shè)全卷機(jī)網(wǎng)。

在一個(gè)實(shí)施例中，所述根據(jù)預(yù)設(shè)y通道圖像和預(yù)設(shè)高分辨率圖像，構(gòu)建預(yù)設(shè)全卷機(jī)網(wǎng)包括：

獲取全卷機(jī)網(wǎng)；通過全卷積網(wǎng)，對(duì)預(yù)設(shè)y通道圖像進(jìn)行高分辨率重建，得到放大h倍的高分辨率y通道圖像；獲取高分辨率y通道圖像的特征和預(yù)設(shè)高分辨率圖像的特征；根據(jù)高分辨率y通道圖像的特征和預(yù)設(shè)高分辨率圖像的特征，確定誤差率；當(dāng)誤差率小于或等于所述預(yù)設(shè)值時(shí)，將全卷積網(wǎng)作為預(yù)設(shè)全卷機(jī)網(wǎng)；當(dāng)誤差率大于所述預(yù)設(shè)值時(shí)，根據(jù)誤差率更新全卷機(jī)網(wǎng)。

這里，初始化時(shí)，全卷機(jī)網(wǎng)是隨機(jī)生成的；全卷機(jī)網(wǎng)里的各個(gè)元素是按照隨機(jī)梯度下降方法來更新的。

在一個(gè)實(shí)施例中，當(dāng)特征為像素或語義特征時(shí)，所述根據(jù)多個(gè)y通道輸出圖像的特征和預(yù)設(shè)高分辨率圖像的特征，確定多個(gè)誤差率包括：

根據(jù)第一誤差公式，確定所述誤差率；所述第一誤差公式為：

其中，l1是誤差率，是y通道輸出圖像的第i個(gè)特征；pi是預(yù)設(shè)高分辨率圖像的第i個(gè)特征，w是y通道輸出圖像的特征個(gè)數(shù)。

在一個(gè)實(shí)施例中，當(dāng)特征為像素和語義特征時(shí)，所述根據(jù)多個(gè)y通道輸出圖像的特征和預(yù)設(shè)高分辨率圖像的特征，確定多個(gè)誤差率包括：

根據(jù)誤差公式，確定誤差率；所述誤差公式為：

其中，所述l是誤差率，所述l1是像素誤差，所述l2是特征重建誤差；所述是y通道輸出圖像的第i個(gè)像素；所述qj是預(yù)設(shè)高分辨率圖像的第i個(gè)特征，所述m是y通道輸出圖像的像素個(gè)數(shù)；所述是y通道輸出圖像的第i維語義特征；所述rk是預(yù)設(shè)高分辨率圖像的第i維語義特征，所述n是y通道輸出圖像的語義特征維數(shù)。

本實(shí)施例中增加特征重建誤差是為了保證輸出圖像的語義特征和目標(biāo)圖像的語義特征盡量的保持一致。這里對(duì)y通道輸出圖像和預(yù)設(shè)高分辨率圖像提取語義特征是采用了另外一個(gè)cnn網(wǎng)絡(luò)，該cnn網(wǎng)絡(luò)是一個(gè)預(yù)先用imagenet(圖像識(shí)別數(shù)據(jù)庫)數(shù)據(jù)集訓(xùn)練好的網(wǎng)絡(luò)，這里只用來提取語義特征，不對(duì)其進(jìn)行改變，相當(dāng)于一個(gè)特征提取器。

本實(shí)施例中，如果還有其他特征可以作為確定誤差的方法，同樣適用于第一誤差公式和誤差公式。

實(shí)施例二

圖2是根據(jù)一示例性實(shí)施例示出的一種圖像重建方法的流程圖，如圖2所示，圖像重建方法用于圖像重建裝置中，該裝置應(yīng)用于終端設(shè)備，該方法包括以下步驟201-206：

在步驟201中，將圖像從rgb色彩空間轉(zhuǎn)化到y(tǒng)uv色彩空間。

在步驟202中，獲取圖像在yuv色彩空間中y通道圖像和uv通道圖像。

在步驟203中，根據(jù)預(yù)設(shè)全卷積網(wǎng)中前n-1層卷積層，將y通道圖像縮小m倍。

這里，m為大于1的數(shù)，n是大于1的整數(shù)。

在步驟204中，根據(jù)第n層卷積層，將縮小后的y通道圖像放大mh倍，得到新y通道圖。

在步驟205中，通過預(yù)設(shè)插值方法，根據(jù)uv通道圖像，得到放大h倍的新uv通道圖像。

在步驟206中，根據(jù)新y通道圖像和新uv通道圖像，生成新圖像。

圖3為本實(shí)施例提供的圖像，將該圖像通過本實(shí)施例提供的方法，得到的新圖像為圖4所示。圖5為通過目前方法得到的新圖像。

實(shí)施例三

圖6是根據(jù)一示例性實(shí)施例示出的一種圖像重建方法的流程圖，如圖5所示，圖像重建方法用于圖像重建裝置中，該裝置應(yīng)用于終端設(shè)備，該方法包括以下步驟301-307：

在步驟301中，獲取預(yù)設(shè)y通道圖像和預(yù)設(shè)高分辨率圖像。

這里，預(yù)設(shè)高分辨率圖像的尺寸是y通道輸入圖像的h倍。

在步驟302中，獲取全卷機(jī)網(wǎng)。

初始情況下，全卷機(jī)網(wǎng)是隨機(jī)設(shè)置的。

在步驟303中，通過全卷積網(wǎng)，對(duì)預(yù)設(shè)y通道圖像進(jìn)行高分辨率重建，得到放大h倍的高分辨率y通道圖像。

在步驟304中，獲取高分辨率y通道圖像的特征和預(yù)設(shè)高分辨率圖像的特征。

在步驟305中，根據(jù)高分辨率y通道圖像的特征和預(yù)設(shè)高分辨率圖像的特征，確定誤差率。

在步驟306中，當(dāng)誤差率小于或等于預(yù)設(shè)值時(shí)，將全卷積網(wǎng)作為預(yù)設(shè)全卷機(jī)網(wǎng)。

在步驟307中，當(dāng)誤差率大于預(yù)設(shè)值時(shí)，根據(jù)誤差率更新全卷機(jī)網(wǎng)。執(zhí)行步驟302。

本實(shí)施例介紹了如何構(gòu)建預(yù)設(shè)全卷機(jī)網(wǎng)，從而保證在之后的圖像重建時(shí)，可以構(gòu)建出分辨率更好，更準(zhǔn)確的圖像。

下述為本公開裝置實(shí)施例，可以用于執(zhí)行本公開方法實(shí)施例。

圖7是根據(jù)一示例性實(shí)施例示出的一種圖像重建裝置的框圖，該裝置可以通過軟件、硬件或者兩者的結(jié)合實(shí)現(xiàn)成為電子設(shè)備的部分或者全部。如圖8所示，該圖像重建裝置包括：

第一獲取模塊401，用于獲取圖像中y通道圖像和uv通道圖像；

第一重建模塊402，用于通過預(yù)設(shè)全卷積網(wǎng)，對(duì)所述y通道圖像進(jìn)行高分辨率重建，得到放大h倍的新y通道圖像；其中，所述新y通道圖像的像素個(gè)數(shù)是所述y通道圖像的像素個(gè)數(shù)的h²倍，所述h是大于1的數(shù)；

生成模塊403，用于根據(jù)所述新y通道圖像和所述uv通道圖像，生成放大所述h倍的新圖像。

在一個(gè)實(shí)施例中，如圖8所示，所述生成模塊403包括：

放大子模塊4031，用于通過預(yù)設(shè)插值裝置，根據(jù)所述uv通道圖像，得到放大所述h倍的新uv通道圖像；

生成子模塊4032，用于根據(jù)所述新y通道圖像和所述新uv通道圖像，生成所述新圖像。

在一個(gè)實(shí)施例中，如圖9所示，所述第一重建模塊402包括：

縮小子模塊4021，用于根據(jù)所述n層中前n-1層卷積層，將所述y通道圖像縮小m倍；所述m為大于1的數(shù)；

放大子模塊4022，用于根據(jù)所述n層中第n層卷積層，將縮小后的y通道圖像放大mh倍，得到所述新y通道圖。

在一個(gè)實(shí)施例中，所述n為4時(shí)，所述縮小子模塊4021用于：

根據(jù)所述第一層卷積層的卷積核和長(zhǎng)度為1的步長(zhǎng)，提取所述y通道圖像的特征；

根據(jù)所述第二層卷積層的卷積核和長(zhǎng)度為m的步長(zhǎng)，對(duì)所述y通道圖像的特征進(jìn)行降采樣和增強(qiáng)，得到所述y通道圖像的新特征；

根據(jù)所述第三層卷積層的卷積核和長(zhǎng)度為1的步長(zhǎng)，對(duì)所述y通道圖像的新特征進(jìn)行映射，得到所述縮小后的y通道圖像的新特征。

在一個(gè)實(shí)施例中，所述放大子模塊4022用于：

根據(jù)所述第四層反卷積的卷積核和長(zhǎng)度為所述mh的步長(zhǎng)，對(duì)所述縮小后的y通道圖像的新特征進(jìn)行升采樣，得到所述新y通道圖像的特征。

在一個(gè)實(shí)施例中，如圖10所示，所述裝置還包括：

第二獲取模塊404，用于獲取預(yù)設(shè)y通道圖像和預(yù)設(shè)高分辨率圖像，所述預(yù)設(shè)高分辨率圖像的尺寸是所述預(yù)設(shè)y通道圖像的尺寸的h倍；所述預(yù)設(shè)高分辨率圖像的像素個(gè)數(shù)是所述預(yù)設(shè)y通道輸入圖像的像素個(gè)數(shù)的h²倍；

第二重建模塊405，用于根據(jù)所述預(yù)設(shè)y通道圖像和所述預(yù)設(shè)高分辨率圖像，構(gòu)建所述預(yù)設(shè)全卷機(jī)網(wǎng)。

在一個(gè)實(shí)施例中，如圖11所示，第二重建模塊405包括：

第一獲取子模塊4051，用于獲取全卷機(jī)網(wǎng)；

重建子模塊4052，用于通過所述全卷積網(wǎng)，對(duì)所述預(yù)設(shè)y通道圖像進(jìn)行高分辨率重建，得到放大h倍的高分辨率y通道圖像；

第二獲取子模塊4053，用于獲取所述高分辨率y通道圖像的特征和所述預(yù)設(shè)高分辨率圖像的特征；

確定子模塊4054，用于根據(jù)所述高分辨率y通道圖像的特征和所述預(yù)設(shè)高分辨率圖像的特征，確定誤差率；

處理子模塊4055，用于當(dāng)所述誤差率小于或等于所述預(yù)設(shè)值時(shí)，將所述全卷積網(wǎng)作為所述預(yù)設(shè)全卷機(jī)網(wǎng)；

更新子模塊4056，用于當(dāng)所述誤差率大于所述預(yù)設(shè)值時(shí)，根據(jù)所述誤差率更新所述全卷機(jī)網(wǎng)。

在一個(gè)實(shí)施例中，當(dāng)所述特征為像素和語義特征時(shí)，所述確定子模塊用于：

根據(jù)誤差公式，確定所述誤差率；所述誤差公式為：

其中，所述l是所述誤差率，所述l1是像素誤差，所述l2是特征重建誤差；所述是所述y通道輸出圖像的第i個(gè)像素；所述qj是所述預(yù)設(shè)高分辨率圖像的第i個(gè)特征，所述m是所述y通道輸出圖像的像素個(gè)數(shù)；所述是所述y通道輸出圖像的第i維語義特征；所述rk是所述預(yù)設(shè)高分辨率圖像的第i維語義特征，所述n是所述y通道輸出圖像的語義特征維數(shù)。

根據(jù)本公開實(shí)施例的第三方面，提供一種圖像重建裝置，包括：

處理器；

用于存儲(chǔ)處理器可執(zhí)行指令的存儲(chǔ)器；

其中，處理器被配置為：

獲取圖像中y通道圖像和uv通道圖像；

通過預(yù)設(shè)全卷積網(wǎng)，對(duì)所述y通道圖像進(jìn)行高分辨率重建，得到放大h倍的新y通道圖像；其中，所述新y通道圖像的像素個(gè)數(shù)是所述y通道圖像的像素個(gè)數(shù)的h²倍，所述h是大于1的數(shù)；

根據(jù)所述新y通道圖像和所述uv通道圖像，生成放大所述h倍的新圖像。

上述處理器還可被配置為：

所述根據(jù)所述新y通道圖像和所述uv通道圖像，生成放大所述h倍的新圖像包括：

通過預(yù)設(shè)插值方法，根據(jù)所述uv通道圖像，得到放大所述h倍的新uv通道圖像；

根據(jù)所述新y通道圖像和所述新uv通道圖像，生成所述新圖像。

所述通過預(yù)設(shè)全卷積網(wǎng)包括n層卷積層，所述n為大于1的正整數(shù)，所述通過預(yù)設(shè)全卷積網(wǎng)，對(duì)所述y通道圖像進(jìn)行高分辨率重建，得到所述h倍的新y通道圖像包括：

根據(jù)所述n層中前n-1層卷積層，將所述y通道圖像縮小m倍；所述m為大于1的數(shù)；

根據(jù)所述n層中第n層卷積層，將縮小后的y通道圖像放大mh倍，得到所述新y通道圖。

所述n為4時(shí)，所述根據(jù)所述n層中前n-1層卷積層中的卷積核，將所述y通道圖像縮小m倍包括：

根據(jù)所述第一層卷積層的卷積核和長(zhǎng)度為1的步長(zhǎng)，提取所述y通道圖像的特征；

根據(jù)所述第二層卷積層的卷積核和長(zhǎng)度為m的步長(zhǎng)，對(duì)所述y通道圖像的特征進(jìn)行降采樣和增強(qiáng)，得到所述y通道圖像的新特征；

根據(jù)所述第三層卷積層的卷積核和長(zhǎng)度為1的步長(zhǎng)，對(duì)所述y通道圖像的新特征進(jìn)行映射，得到所述縮小后的y通道圖像的新特征。

所述根據(jù)所述n層中第n層卷積層，將縮小后的y通道圖像放大mh倍，得到所述新y通道圖包括：

根據(jù)所述第四層反卷積的卷積核和長(zhǎng)度為所述mh的步長(zhǎng)，對(duì)所述縮小后的y通道圖像的新特征進(jìn)行升采樣，得到所述新y通道圖像的特征。

獲取預(yù)設(shè)y通道圖像和預(yù)設(shè)高分辨率圖像，所述預(yù)設(shè)高分辨率圖像的尺寸是所述預(yù)設(shè)y通道圖像的尺寸的h倍；所述預(yù)設(shè)高分辨率圖像的像素個(gè)數(shù)是所述預(yù)設(shè)y通道輸入圖像的像素個(gè)數(shù)的h²倍；

根據(jù)所述預(yù)設(shè)y通道圖像和所述預(yù)設(shè)高分辨率圖像，構(gòu)建所述預(yù)設(shè)全卷機(jī)網(wǎng)。

所述根據(jù)所述預(yù)設(shè)y通道圖像和所述預(yù)設(shè)高分辨率圖像，構(gòu)建所述預(yù)設(shè)全卷機(jī)網(wǎng)包括：

獲取全卷機(jī)網(wǎng)；

通過所述全卷積網(wǎng)，對(duì)所述預(yù)設(shè)y通道圖像進(jìn)行高分辨率重建，得到放大h倍的高分辨率y通道圖像；

獲取所述高分辨率y通道圖像的特征和所述預(yù)設(shè)高分辨率圖像的特征；

根據(jù)所述高分辨率y通道圖像的特征和所述預(yù)設(shè)高分辨率圖像的特征，確定誤差率；

當(dāng)所述誤差率小于或等于所述預(yù)設(shè)值時(shí)，將所述全卷積網(wǎng)作為所述預(yù)設(shè)全卷機(jī)網(wǎng)；

當(dāng)所述誤差率大于所述預(yù)設(shè)值時(shí)，根據(jù)所述誤差率更新所述全卷機(jī)網(wǎng)。

當(dāng)所述特征為像素和語義特征時(shí)，所述根據(jù)所述高分辨率y通道圖像的特征和所述預(yù)設(shè)高分辨率圖像的特征，確定誤差率包括：

根據(jù)誤差公式，確定所述誤差率；所述誤差公式為：

其中，所述l是所述誤差率，所述l1是像素誤差，所述l2是特征重建誤差；所述是所述y通道輸出圖像的第i個(gè)像素；所述qj是所述預(yù)設(shè)高分辨率圖像的第i個(gè)特征，所述m是所述y通道輸出圖像的像素個(gè)數(shù)；所述是所述y通道輸出圖像的第i維語義特征；所述rk是所述預(yù)設(shè)高分辨率圖像的第i維語義特征，所述n是所述y通道輸出圖像的語義特征維數(shù)。

關(guān)于上述實(shí)施例中的裝置，其中各個(gè)模塊執(zhí)行操作的具體方式已經(jīng)在有關(guān)該方法的實(shí)施例中進(jìn)行了詳細(xì)描述，此處將不做詳細(xì)闡述說明。

圖12根據(jù)一示例性實(shí)施例示出的一種用于圖像重建裝置的框圖。例如，裝置1900可以被提供為一服務(wù)器。裝置1900包括處理組件1922，其進(jìn)一步包括一個(gè)或多個(gè)處理器，以及由存儲(chǔ)器1932所代表的存儲(chǔ)器資源，用于存儲(chǔ)可由處理組件1922的執(zhí)行的指令，例如應(yīng)用程序。存儲(chǔ)器1932中存儲(chǔ)的應(yīng)用程序可以包括一個(gè)或一個(gè)以上的每一個(gè)對(duì)應(yīng)于一組指令的模塊。此外，處理組件1922被配置為執(zhí)行指令，以執(zhí)行上述方法。

裝置1900還可以包括一個(gè)電源組件1926被配置為執(zhí)行裝置1900的電源管理，一個(gè)有線或無線網(wǎng)絡(luò)接口1950被配置為將裝置1900連接到網(wǎng)絡(luò)，和一個(gè)輸入輸出(i/o)接口1958。裝置1900可以操作基于存儲(chǔ)在存儲(chǔ)器1932的操作系統(tǒng)，例如windowsservertm，macosxtm，unixtm,linuxtm，freebsdtm或類似。

一種非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，當(dāng)所述存儲(chǔ)介質(zhì)中的指令由裝置1900的處理器執(zhí)行時(shí)，使得裝置1900能夠執(zhí)行上述圖像重建方法，所述方法包括：

獲取圖像中y通道圖像和uv通道圖像；

通過預(yù)設(shè)全卷積網(wǎng)，對(duì)所述y通道圖像進(jìn)行高分辨率重建，得到放大h倍的新y通道圖像；其中，所述新y通道圖像的像素個(gè)數(shù)是所述y通道圖像的像素個(gè)數(shù)的h²倍，所述h是大于1的數(shù)；

根據(jù)所述新y通道圖像和所述uv通道圖像，生成放大所述h倍的新圖像。

所述根據(jù)所述新y通道圖像和所述uv通道圖像，生成放大所述h倍的新圖像包括：

通過預(yù)設(shè)插值方法，根據(jù)所述uv通道圖像，得到放大所述h倍的新uv通道圖像；

根據(jù)所述新y通道圖像和所述新uv通道圖像，生成所述新圖像。

所述通過預(yù)設(shè)全卷積網(wǎng)包括n層卷積層，所述n為大于1的正整數(shù)，所述通過預(yù)設(shè)全卷積網(wǎng)，對(duì)所述y通道圖像進(jìn)行高分辨率重建，得到所述h倍的新y通道圖像包括：

根據(jù)所述n層中前n-1層卷積層，將所述y通道圖像縮小m倍；所述m為大于1的數(shù)；

根據(jù)所述n層中第n層卷積層，將縮小后的y通道圖像放大mh倍，得到所述新y通道圖。

所述n為4時(shí)，所述根據(jù)所述n層中前n-1層卷積層中的卷積核，將所述y通道圖像縮小m倍包括：

根據(jù)所述第一層卷積層的卷積核和長(zhǎng)度為1的步長(zhǎng)，提取所述y通道圖像的特征；

根據(jù)所述第二層卷積層的卷積核和長(zhǎng)度為m的步長(zhǎng)，對(duì)所述y通道圖像的特征進(jìn)行降采樣和增強(qiáng)，得到所述y通道圖像的新特征；

根據(jù)所述第三層卷積層的卷積核和長(zhǎng)度為1的步長(zhǎng)，對(duì)所述y通道圖像的新特征進(jìn)行映射，得到所述縮小后的y通道圖像的新特征。

所述根據(jù)所述n層中第n層卷積層，將縮小后的y通道圖像放大mh倍，得到所述新y通道圖包括：

根據(jù)所述第四層反卷積的卷積核和長(zhǎng)度為所述mh的步長(zhǎng)，對(duì)所述縮小后的y通道圖像的新特征進(jìn)行升采樣，得到所述新y通道圖像的特征。

獲取預(yù)設(shè)y通道圖像和預(yù)設(shè)高分辨率圖像，所述預(yù)設(shè)高分辨率圖像的尺寸是所述預(yù)設(shè)y通道圖像的尺寸的h倍；所述預(yù)設(shè)高分辨率圖像的像素個(gè)數(shù)是所述預(yù)設(shè)y通道輸入圖像的像素個(gè)數(shù)的h²倍；

根據(jù)所述預(yù)設(shè)y通道圖像和所述預(yù)設(shè)高分辨率圖像，構(gòu)建所述預(yù)設(shè)全卷機(jī)網(wǎng)。

所述根據(jù)所述預(yù)設(shè)y通道圖像和所述預(yù)設(shè)高分辨率圖像，構(gòu)建所述預(yù)設(shè)全卷機(jī)網(wǎng)包括：

獲取全卷機(jī)網(wǎng)；

通過所述全卷積網(wǎng)，對(duì)所述預(yù)設(shè)y通道圖像進(jìn)行高分辨率重建，得到放大h倍的高分辨率y通道圖像；

獲取所述高分辨率y通道圖像的特征和所述預(yù)設(shè)高分辨率圖像的特征；

根據(jù)所述高分辨率y通道圖像的特征和所述預(yù)設(shè)高分辨率圖像的特征，確定誤差率；

當(dāng)所述誤差率小于或等于所述預(yù)設(shè)值時(shí)，將所述全卷積網(wǎng)作為所述預(yù)設(shè)全卷機(jī)網(wǎng)；

當(dāng)所述誤差率大于所述預(yù)設(shè)值時(shí)，根據(jù)所述誤差率更新所述全卷機(jī)網(wǎng)。

當(dāng)所述特征為像素和語義特征時(shí)，所述根據(jù)所述高分辨率y通道圖像的特征和所述預(yù)設(shè)高分辨率圖像的特征，確定誤差率包括：

根據(jù)誤差公式，確定所述誤差率；所述誤差公式為：

其中，所述l是所述誤差率，所述l1是像素誤差，所述l2是特征重建誤差；所述是所述y通道輸出圖像的第i個(gè)像素；所述qj是所述預(yù)設(shè)高分辨率圖像的第i個(gè)特征，所述m是所述y通道輸出圖像的像素個(gè)數(shù)；所述是所述y通道輸出圖像的第i維語義特征；所述rk是所述預(yù)設(shè)高分辨率圖像的第i維語義特征，所述n是所述y通道輸出圖像的語義特征維數(shù)。

本領(lǐng)域技術(shù)人員在考慮說明書及實(shí)踐這里公開的公開后，將容易想到本公開的其它實(shí)施方案。本申請(qǐng)旨在涵蓋本公開的任何變型、用途或者適應(yīng)性變化，這些變型、用途或者適應(yīng)性變化遵循本公開的一般性原理并包括本公開未公開的本技術(shù)領(lǐng)域中的公知常識(shí)或慣用技術(shù)手段。說明書和實(shí)施例僅被視為示例性的，本公開的真正范圍和精神由下面的權(quán)利要求指出。

應(yīng)當(dāng)理解的是，本公開并不局限于上面已經(jīng)描述并在附圖中示出的精確結(jié)構(gòu)，并且可以在不脫離其范圍進(jìn)行各種修改和改變。本公開的范圍僅由所附的權(quán)利要求來限制。