本發(fā)明屬于計算機技術領域，尤其涉及一種畸變圖像復原的補償方法及裝置。

背景技術：

廣角鏡頭拍攝的廣角圖像雖然存在較為明顯的畸變(例如桶形畸變和枕形畸變)，卻具有寬廣的視角，將畸變校正后的廣角圖像通過圖像拼接技術用于虛擬現(xiàn)實應用中，可以大大地降低圖像拼接的工作量。然而，畸變圖像通過畸變校正進行復原的過程中存在較大的圖像質(zhì)量損失，包括廣角鏡頭成像時畸變過程中的圖像質(zhì)量損失和畸變圖像進行畸變校正時的圖像質(zhì)量損失。

目前，有兩類方法可以提高畸變圖像復原后的圖像質(zhì)量，第一類采用較復雜的相機畸變模型和較為精準的相機校正方法來降低畸變圖像進行畸變校正時的圖像質(zhì)量損失，而忽略了廣角鏡頭成像時畸變過程中的圖像質(zhì)量損失，第二類為提高廣角鏡頭所拍攝圖像的分辨率的超分辨率方法，該方法直接提高圖像分辨率，并未考慮到畸變圖像復原過程的圖像質(zhì)量損失。

技術實現(xiàn)要素：

本發(fā)明的目的在于提供一種畸變圖像復原的補償方法及裝置，旨在解決現(xiàn)有技術中的畸變圖像復原后圖像質(zhì)量損失較大、圖像清晰度較低的問題。

一方面，本發(fā)明提供了一種畸變圖像復原的補償方法，所述方法包括下述步驟：

接收畸變圖像畸變校正后的校正圖像，將所述校正圖像分割為校正圖像塊；

根據(jù)訓練好的質(zhì)心對所有校正圖像塊進行內(nèi)容分類，并根據(jù)訓練好的內(nèi)容濾波器對內(nèi)容分類后的校正圖像塊進行補償，生成對應的第一圖像塊；

對所有第一圖像塊進行空間分類，并根據(jù)訓練好的空間濾波器對空間分類后的第一圖像塊進行補償，生成對應的第二圖像塊；

將所有第二圖像塊組合生成所述畸變圖像對應的校正復原圖像。

另一方面，本發(fā)明提供了一種畸變圖像復原的補償裝置，所述裝置包括：

圖像分割模塊，用于接收畸變圖像畸變校正后的校正圖像，將所述校正圖像分割為校正圖像塊；

初次補償模塊，用于根據(jù)訓練好的質(zhì)心對所有校正圖像塊進行內(nèi)容分類，并根據(jù)訓練好的內(nèi)容濾波器對內(nèi)容分類后的校正圖像塊進行補償，生成對應的第一圖像塊；

再次補償模塊，用于對所有第一圖像塊進行空間分類，并根據(jù)訓練好的空間濾波器對空間分類后的第一圖像塊進行補償，生成對應的第二圖像塊；以及

組合恢復模塊，用于將所有第二圖像塊組合生成所述畸變圖像對應的校正復原圖像。

本發(fā)明將畸變圖像畸變校正后的校正圖像分割為校正圖像塊，并將所有的校正圖像塊根據(jù)預先訓練好的質(zhì)心進行內(nèi)容分類，分類后的校正圖像塊通過訓練好的內(nèi)容濾波器進行補償，生成每個校正圖像塊對應的第一圖像塊，再對所有的第一圖像塊進行空間分類，分類后的第一圖像塊通過訓練好的空間濾波器進行補償，生成每個第一圖像塊對應的第二圖像塊，將所有的第二圖像塊組合在一起，生成畸變圖像對應的校正復原圖像，從而通過對圖像塊進行內(nèi)容分類和空間分類，并結(jié)合內(nèi)容濾波器對內(nèi)容分類后的圖像塊進行補償、空間濾波器對空間分類后的圖像塊進行補償，有效地對畸變圖像在校正復原過程中的圖像質(zhì)量損失進行補償，有效地提高了畸變圖像校正復原后所得圖像的圖像質(zhì)量和圖像清晰度。

附圖說明

圖1是本發(fā)明實施例一提供的畸變圖像復原的補償方法的實現(xiàn)流程圖；

圖2是本發(fā)明實施例二提供的畸變圖像復原的補償方法中質(zhì)心、內(nèi)容濾波器以及空間濾波器的訓練流程圖；

圖3是本發(fā)明實施例三提供的畸變圖像復原的補償裝置的結(jié)構(gòu)示意圖；以及

圖4是本發(fā)明實施例四提供的畸變圖像復原的補償裝置的結(jié)構(gòu)示意圖。

具體實施方式

為了使本發(fā)明的目的、技術方案及優(yōu)點更加清楚明白，以下結(jié)合附圖及實施例，對本發(fā)明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

以下結(jié)合具體實施例對本發(fā)明的具體實現(xiàn)進行詳細描述：

實施例一：

圖1示出了本發(fā)明實施例一提供的畸變圖像復原的補償方法的實現(xiàn)流程，為了便于說明，僅示出了與本發(fā)明實施例相關的部分，詳述如下：

在步驟s101中，接收畸變圖像畸變校正后的校正圖像，將校正圖像分割為校正圖像塊。

本發(fā)明適用于對廣角鏡頭拍攝的畸變圖像進行復原的系統(tǒng)或者平臺，對畸變圖像進行復原，即對畸變圖像進行畸變校正并對畸變校正后的圖像進行質(zhì)量補償?shù)倪^程。在本發(fā)明實施例中，將畸變圖像畸變校正后的校正圖像全部分割為大小相等的校正圖像塊，以提高對畸變圖像復原進行圖像質(zhì)量補償?shù)男剩@里的校正圖像塊不一定是具體的圖像塊，還可為圖像特征。作為示例地，可通過圖像網(wǎng)格化方法得到校正圖像塊，也可通過尺度不變特征轉(zhuǎn)換(sift)提取校正圖像的圖像特征。具體地，畸變圖像可包括桶形畸變圖像、枕形畸變圖像等。

在步驟s102中，根據(jù)訓練好的質(zhì)心對所有校正圖像塊進行內(nèi)容分類，并根據(jù)訓練好的內(nèi)容濾波器對內(nèi)容分類后的校正圖像塊進行補償，獲得對應的第一圖像塊。

在本發(fā)明實施例中，預先訓練好多個質(zhì)心和多個內(nèi)容濾波器，每個質(zhì)心對應著一個類別、每個類別對應一個內(nèi)容濾波器。根據(jù)訓練質(zhì)心時所用的聚類算法確定每個校正圖像塊所屬的類別。在確定每個校正圖像塊所屬的類別后，通過每個類別的內(nèi)容濾波器對相應類別中的校正圖像塊進行一一補償，得到每個校正圖像塊補償后對應的圖像塊，為了便于區(qū)分，將該圖像塊稱為第一圖像塊。

具體地，通過每個類別的內(nèi)容濾波器對相應類別中的校正圖像塊進行一一補償?shù)墓綖椋?/p>

yi″＝ciyi'，其中，yi″為第i個類別的第一圖像塊，ci為第i個類別的內(nèi)容濾波器，yi'為第i個類別的校正圖像塊。

在步驟s103中，對所有第一圖像塊進行空間分類，并根據(jù)訓練好的空間濾波器對空間分類后的第一圖像塊進行補償，生成對應的第二圖像塊。

在本發(fā)明實施例中，可根據(jù)每個第一圖像塊中心點與校正圖像中心點的距離，對每個第一圖像塊進行空間上的分類，分類后的每個類別對應一個預先訓練好的空間濾波器。在確定每個第一圖像塊所屬的類別后，通過每個類別的空間濾波器對相應類別中的第一圖像塊進行一一補償，得到每個第一圖像塊補償后對應的圖像塊，為了便于區(qū)分，將該圖像塊稱為第二圖像塊。

具體地，通過每個類別的空間濾波器對相應類別中的第一圖像塊進行一一補償?shù)墓綖椋?/p>

yj＝sjyj″，其中，yj為第j個類別中的第二圖像塊，sj為第j個類別的空間濾波器，yj″為第j個類別中的第一圖像塊。

在步驟s104中，將所有第二圖像塊組合生成畸變圖像對應的校正復原圖像。

在本發(fā)明實施例中，校正圖像塊經(jīng)過內(nèi)容濾波器和空間濾波器補償后生成第二圖像塊，由于內(nèi)容濾波器和空間濾波器根據(jù)畸變過程的圖像質(zhì)量損失和畸變校正過程的圖像質(zhì)量損失訓練得到，可認為畸變圖像畸變過程和校正過程的圖像質(zhì)量損失已在較大程度地得到了補償，因此由第二圖像塊組合構(gòu)成畸變圖像對應的校正復原圖像。

具體地，質(zhì)心、內(nèi)容濾波器以及空間濾波器的訓練流程詳見實施例二。

在本發(fā)明實施例中，將畸變圖像畸變校正后的校正圖像分割為校正圖像塊，并結(jié)合訓練好的內(nèi)容濾波器和空間濾波器對校正圖像塊進行兩次補償，有效地對畸變圖像復原過程中的圖像質(zhì)量損失進行補償，有效地提高了畸變圖像復原后的圖像質(zhì)量和圖像清晰度。

實施例二：

圖2示出了本發(fā)明實施例二提供的畸變圖像復原的補償方法中質(zhì)心、內(nèi)容濾波器以及空間濾波器的訓練流程，詳述如下：

在步驟s201中，接收訓練圖像并對訓練圖像進行畸變和畸變校正，生成校正訓練圖像，將訓練圖像和校正訓練圖像分別分割為訓練圖像塊和校正訓練圖像塊。

在本發(fā)明實施例中，可采用預設的相機畸變模型和相機校正方法對訓練圖像進行畸變和畸變校正(或反畸變)，生成校正訓練圖像。將訓練圖像和校正訓練圖像分別分割為訓練圖像塊和校正訓練圖像塊。作為示例地，采用ahmed和mallon等人提出的基于極坐標的多項式轉(zhuǎn)換的相機模型對訓練圖像進行畸變和畸變校正。

在步驟s202中，對所有校正訓練圖像塊進行聚類并獲取聚類后的所有質(zhì)心，根據(jù)所有訓練圖像塊和聚類后的校正訓練圖像塊，訓練得到每個類別的內(nèi)容濾波器。

在本發(fā)明實施例中，由于訓練圖像塊與校正訓練圖像塊之間的圖像質(zhì)量差別包括訓練圖像塊畸變時損失的圖像質(zhì)量和畸變后校正時損失的圖像質(zhì)量，所以根據(jù)校正訓練圖像塊和該校正訓練圖像塊對應的訓練圖像塊訓練得到的內(nèi)容濾波器有效地考慮到了這兩方面的圖像質(zhì)量損失。

在本發(fā)明實施例中，通過預設的聚類算法(例如k-means算法)對校正訓練圖像塊進行聚類并獲取聚類后每個簇的質(zhì)心，實現(xiàn)對校正圖像塊進行內(nèi)容上的分類。在對所有校正訓練圖像塊進行分類后，根據(jù)每個類別的校正訓練圖像塊和該校正訓練圖像塊對應的訓練圖像塊，計算得到每個類別的內(nèi)容濾波器。

具體地，根據(jù)內(nèi)容濾波器的計算公式為：

其中，ci為第i個類別的內(nèi)容濾波器，zi'為第i個類別中的校正訓練圖像塊，zi為第i個類別中的校正訓練圖像塊所對應的訓練圖像塊，α為預設的正則化參數(shù)。

在步驟s203中，通過每個類別的內(nèi)容濾波器對相應的校正訓練圖像塊進行補償，生成對應的第三圖像塊。

在本發(fā)明實施例中，在訓練得到每個類別的內(nèi)容濾波器后，通過每個類別的內(nèi)容濾波器對該類別中的所有校正訓練圖像塊一一地進行補償，得到每個校正訓練圖像塊補償后的圖像塊，為了便于區(qū)別，將該圖像塊稱為第三圖像塊。

在步驟s204中，對所有第三圖像塊進行空間分類，根據(jù)所有訓練圖像塊和分類后的第三圖像塊，訓練得到每個類別的空間濾波器。

在本發(fā)明實施例中，可根據(jù)每個第三圖像塊中心點與校正訓練圖像中心點的距離，對每個第三圖像塊進行空間上的分類，分類后根據(jù)每個類別的第三圖像塊與該第三圖像塊對應的訓練圖像塊，計算得到每個類別的空間濾波器。

具體地，空間濾波器的計算公式為：

其中，sj為第j個類別的空間濾波器，zj″為第j個類別中的第三圖像塊，zj為第j個類別中的第三圖像塊對應的訓練圖像塊。

在本發(fā)明實施例中，根據(jù)訓練圖像的訓練圖像塊和校正訓練圖像的校正訓練圖像塊，訓練得到內(nèi)容濾波器、空間濾波器以及質(zhì)心，在訓練過程中考慮到畸變過程的圖像質(zhì)量損失和校正過程的圖像質(zhì)量損失，從而訓練得到的內(nèi)容濾波器和空間濾波器能夠有效地補償畸變圖像復原時的圖像質(zhì)量。

本領域普通技術人員可以理解實現(xiàn)上述實施例方法中的全部或部分步驟是可以通過程序來指令相關的硬件來完成，所述的程序可以存儲于一計算機可讀取存儲介質(zhì)中，所述的存儲介質(zhì)，如rom/ram、磁盤、光盤等。

實施例三：

圖3示出了本發(fā)明實施例四提供的畸變圖像復原的補償裝置的結(jié)構(gòu)，為了便于說明，僅示出了與本發(fā)明實施例相關的部分，其中包括：

圖像分割模塊31，用于接收畸變圖像畸變校正后的校正圖像，將校正圖像分割為校正圖像塊。

在本發(fā)明實施例中，將畸變圖像畸變校正后的校正圖像全部分割為大小相等的校正圖像塊，從而有效提高對畸變圖像復原進行圖像質(zhì)量補償?shù)男省?/p>

初次補償模塊32，用于根據(jù)訓練好的質(zhì)心對所有校正圖像塊進行內(nèi)容分類，并根據(jù)訓練好的內(nèi)容濾波器對內(nèi)容分類后的校正圖像塊進行補償，獲得對應的第一圖像塊。

在本發(fā)明實施例中，根據(jù)訓練質(zhì)心時所用的聚類算法確定每個校正圖像塊所屬的類別。在確定每個校正圖像塊所屬的類別后，通過每個類別的內(nèi)容濾波器對相應類別中的校正圖像塊進行一一補償，得到每個校正圖像塊補償后對應的圖像塊，為了便于區(qū)分，將該圖像塊稱為第一圖像塊。

具體地，通過每個類別的內(nèi)容濾波器對相應類別中的校正圖像塊進行一一補償?shù)墓綖椋?/p>

yi″＝ciyi'，其中，yi″為第i個類別的第一圖像塊，ci為第i個類別的內(nèi)容濾波器，yi'為第i個類別的校正圖像塊。

再次補償模塊33，用于對所有第一圖像塊進行空間分類，并根據(jù)訓練好的空間濾波器對空間分類后的第一圖像塊進行補償，生成對應的第二圖像塊。

在本發(fā)明實施例中，可根據(jù)每個第一圖像塊中心點與校正圖像中心點的距離，對每個第一圖像塊進行空間上的分類，分類后的每個類別對應一個預先訓練好的空間濾波器。在確定每個第一圖像塊所屬的類別后，通過每個類別的空間濾波器對相應類別中的第一圖像塊進行一一補償，得到每個第一圖像塊補償后對應的圖像塊，為了便于區(qū)分，將該圖像塊稱為第二圖像塊。

具體地，通過每個類別的空間濾波器對相應類別中的第一圖像塊進行一一補償?shù)墓綖椋?/p>

yj＝sjyj″，其中，yj為第j個類別中的第二圖像塊，sj為第j個類別的空間濾波器，yj″為第j個類別中的第一圖像塊。

組合恢復模塊34，用于將所有第二圖像塊組合生成畸變圖像對應的校正復原圖像。

在本發(fā)明實施例中，校正圖像塊經(jīng)過內(nèi)容濾波器和空間濾波器補償后生成第二圖像塊，由于內(nèi)容濾波器和空間濾波器根據(jù)畸變過程的圖像質(zhì)量損失和畸變校正過程的圖像質(zhì)量損失訓練得到，可認為畸變圖像畸變過程和校正過程的圖像質(zhì)量損失已在較大程度地得到了補償，因此由第二圖像塊組合構(gòu)成畸變圖像對應的校正復原圖像。

在本發(fā)明實施例中，將畸變圖像畸變校正后的校正圖像分割為校正圖像塊，并結(jié)合訓練好的內(nèi)容濾波器和空間濾波器對校正圖像塊進行兩次補償，有效地對畸變圖像復原過程中的圖像質(zhì)量損失進行補償，有效地提高了畸變圖像復原后的圖像質(zhì)量和圖像清晰度。

實施例四：

圖4示出了本發(fā)明實施例四提供的畸變圖像復原的補償裝置的結(jié)構(gòu)，為了便于說明，僅示出了與本發(fā)明實施例相關的部分，其中包括：

訓練分割模塊41，用于接收訓練圖像并對訓練圖像進行畸變和畸變校正，生成校正訓練圖像，將訓練圖像和校正訓練圖像分別分割為訓練圖像塊和校正訓練圖像塊。

在本發(fā)明實施例中，可采用預設的相機畸變模型和相機校正方法對訓練圖像進行畸變和畸變校正(或反畸變)，生成校正訓練圖像。將訓練圖像和校正訓練圖像分別分割為訓練圖像塊和校正訓練圖像塊。

第一計算模塊42，用于對所有校正訓練圖像塊進行聚類并獲取聚類后的所有質(zhì)心，根據(jù)所有訓練圖像塊和聚類后的校正訓練圖像塊，訓練得到每個類別的內(nèi)容濾波器。

在本發(fā)明實施例中，通過預設的聚類算法(例如k-means算法)對校正訓練圖像塊進行聚類并獲取聚類后每個簇的質(zhì)心，實現(xiàn)對校正圖像塊進行內(nèi)容上的分類。根據(jù)每個類別的校正訓練圖像塊和該校正訓練圖像塊對應的訓練圖像塊，計算得到每個類別的內(nèi)容濾波器。

具體地，根據(jù)內(nèi)容濾波器的計算公式為：

其中，ci為第i個類別的內(nèi)容濾波器，zi'為第i個類別中的校正訓練圖像塊，zi為第i個類別中的校正訓練圖像塊所對應的訓練圖像塊，α為預設的正則化參數(shù)。

訓練補償模塊43，用于通過每個類別的內(nèi)容濾波器對相應的校正訓練圖像塊進行補償，生成對應的第三圖像塊。

在本發(fā)明實施例中，在訓練得到每個類別的內(nèi)容濾波器后，通過每個類別的內(nèi)容濾波器對該類別中的所有校正訓練圖像塊一一地進行補償，得到每個校正訓練圖像塊補償后的圖像塊，為了便于區(qū)別，將該圖像塊稱為第三圖像塊。

第二計算模塊44，用于對所有第三圖像塊進行空間分類，根據(jù)所有訓練圖像塊和分類后的第三圖像塊，訓練得到每個類別的空間濾波器。

在本發(fā)明實施例中，可根據(jù)每個第三圖像塊中心點與校正訓練圖像中心點的距離，對每個第三圖像塊進行空間上的分類，分類后根據(jù)每個類別的第三圖像塊與該第三圖像塊對應的訓練圖像塊，計算得到每個類別的空間濾波器。

具體地，空間濾波器的計算公式為：

其中，sj為第j個類別的空間濾波器，zj″為第j個類別中的第三圖像塊，zj為第j個類別中的第三圖像塊對應的訓練圖像塊。

圖像分割模塊45，用于接收畸變圖像畸變校正后的校正圖像，將校正圖像分割為校正圖像塊。

初次補償模塊46，用于根據(jù)訓練好的質(zhì)心對所有校正圖像塊進行內(nèi)容分類，并根據(jù)訓練好的內(nèi)容濾波器對內(nèi)容分類后的校正圖像塊進行補償，獲得對應的第一圖像塊。

再次補償模塊47，用于對所有第一圖像塊進行空間分類，并根據(jù)訓練好的空間濾波器對空間分類后的第一圖像塊進行補償，生成對應的第二圖像塊。

組合恢復模塊48，用于將所有第二圖像塊組合生成畸變圖像對應的校正復原圖像。

優(yōu)選地，第一計算模塊42包括：

第一計算子模塊421，用于根據(jù)聚類后每個類別中的校正訓練圖像塊和每個類別中的校正訓練圖像塊所對應的訓練圖像塊。

優(yōu)選地，第二計算模塊44包括：

第二計算子模塊441，用于根據(jù)分類后每個類別中的第三圖像塊和每個類別中的第三圖像塊所對應的訓練圖像塊，計算每個類別的空間濾波器。

優(yōu)選地，再次補償模塊47包括：

空間分類模塊471，用于根據(jù)所有第一圖像塊的中心點和校正圖像的中心點的距離，對所有第一圖像塊進行分類；

空間補償模塊472，用于通過訓練好的每個類別的空間濾波器對相應類別的第一圖像塊進行補償，生成每個第一圖像塊對應的第二圖像塊。

在本發(fā)明實施例中，根據(jù)訓練圖像和校正訓練圖像塊，訓練出能夠?qū)D像在畸變過程和校正過程損失的圖像質(zhì)量進行補償?shù)膬?nèi)容濾波器和空間濾波器，并由內(nèi)容濾波器和空間濾波器對校正后的畸變圖像進行兩次補償，從而有效地對畸變圖像復原過程中的圖像質(zhì)量損失進行補償，有效地提高了畸變圖像復原后的圖像質(zhì)量和圖像清晰度。

在本發(fā)明實施例中，畸變圖像復原的補償裝置的各模塊可由相應的硬件或軟件模塊實現(xiàn)，各模塊可以為獨立的軟、硬件模塊，也可以集成為一個軟、硬件模塊，在此不用以限制本發(fā)明。圖像分割模塊45至組合恢復模塊48的各模塊的具體實施方式可參考前述實施例一中各步驟的描述，在此不再贅述。

以上所述僅為本發(fā)明的較佳實施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進等，均應包含在本發(fā)明的保護范圍之內(nèi)。