本發明涉及視頻圖像處理技術領域，具體而言，涉及一種超分辨率重建方法、裝置及電子設備。

背景技術：

隨著我國城市建設的展開以及智慧城市建設的開始，城市中各個角落和各種車載的攝像頭捕捉的視頻圖像，為保證城市安全和提高城市管理水平，發揮了重要的作用。但是，由于目標物體本身的運動以及攝像頭分辨率低等原因，攝像頭捕獲的視頻圖像存在模糊和分辨率低的情況，當從視頻圖像中獲取目標的相關信息時，需要對這些視頻圖像進行超分辨率重建，以獲得分辨率和銳度均較好的視頻圖像。

目前對視頻圖像進行超分辨率重建的方法有兩種：其一，利用攝像頭捕獲的連續多幀視頻圖像選擇一個像元內連續多幀的亞像素圖像，并根據多幀亞像素圖像進行目標運動估計，實現視頻圖像重建，該方法處理的視頻圖像超分辨率重建的效果不佳；其二，視頻圖像可以利用srcnn(imagesuper-resolutionusingdeepconvolutionalnetworks，超分辨率深度卷積神經網絡)技術重建，該方法超分辨率重建效果較好，但是超分辨率深度卷積神經網絡需要進行大量的訓練和計算，處理速度低。

技術實現要素：

本發明的目的在于提供一種超分辨率重建方法、裝置及電子設備，用以改善上述問題。

為了實現上述目的，本發明實施例采用的技術方案如下：

第一方面，本發明提供了一種超分辨率重建方法，應用于設置有攝像裝置的電子設備，所述方法包括：獲取攝像裝置捕獲的原始視頻圖像；利用預設的raisr濾波器對原始視頻圖像中的每一幀圖像進行超分辨率重建，得到重建后的連續幀圖像，其中，所述raisr濾波器由成對的lr圖像和hr圖像訓練得到；將重建后的連續幀圖像還原成超分辨率視頻圖像。

第二方面，本發明提供了一種超分辨率重建裝置，應用于設置有攝像裝置的電子設備，所述超分辨率重建裝置包括視頻圖像獲取模塊、圖像重建模塊及視頻圖像還原模塊。其中，視頻圖像獲取模塊用于獲取攝像裝置捕獲的原始視頻圖像；圖像重建模塊用于利用預設的raisr濾波器對原始視頻圖像中的每一幀圖像進行超分辨率重建，得到重建后的連續幀圖像，其中，所述raisr濾波器由成對的lr圖像和hr圖像訓練得到；視頻圖像還原模塊用于將重建后的連續幀圖像還原成超分辨率視頻圖像。

第三方面，本發明提供了一種電子設備，其包括攝像裝置，所述電子設備還包括存儲器、處理器、以及超分辨率重建裝置，其中，所述處理器與所述攝像裝置電連接，所述超分辨率重建裝置存儲于所述存儲器中并包括一個或多個由所述處理器執行的軟件功能模組。所述超分辨率重建裝置包括視頻圖像獲取模塊、圖像重建模塊及視頻圖像還原模塊。其中，視頻圖像獲取模塊用于獲取攝像裝置捕獲的原始視頻圖像；圖像重建模塊用于利用預設的raisr濾波器對原始視頻圖像中的每一幀圖像進行超分辨率重建，得到重建后的連續幀圖像，其中，所述raisr濾波器由成對的lr圖像和hr圖像訓練得到；視頻圖像還原模塊用于將重建后的連續幀圖像還原成超分辨率視頻圖像。

相對現有技術，本發明具有以下有益效果：本發明提供的一種超分辨率重建方法、裝置及電子設備，通過利用預設的raisr濾波器對原始視頻圖像進行超分辨率重建，得到重建后的超分辨率視頻圖像，與現有技術中根據多幀亞像素圖像實現視頻圖像重建的方法相比，具有良好的超分辨率重建效果。另外，raisr濾波器由成對的lr圖像和hr圖像訓練生成，與現有技術中的srcnn技術相比，訓練的數據量小，處理速度快。

為使本發明的上述目的、特征和優點能更明顯易懂，下文特舉較佳實施例，并配合所附附圖，作詳細說明如下。

附圖說明

為了更清楚地說明本發明實施例的技術方案，下面將對實施例中所需要使用的附圖作簡單地介紹，應當理解，以下附圖僅示出了本發明的某些實施例，因此不應被看作是對范圍的限定，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他相關的附圖。

圖1示出了本發明實施例提供的電子設備的方框示意圖。

圖2示出了本發明實施例提供的超分辨率重建方法流程圖。

圖3為圖2示出的步驟s108的子步驟流程圖。

圖4示出了本發明實施例提供的超分辨率重建裝置的方框示意圖。

圖5為圖4示出的超分辨率重建裝置中圖像重建模塊的方框示意圖。

圖標：100-電子設備；101-存儲器；102-存儲控制器；103-處理器；104-外設接口；105-gpu；106-攝像裝置；107-顯示屏；200-超分辨率重建裝置；201-視頻圖像獲取模塊；202-圖像獲取模塊；203-高斯模糊模塊；204-圖像銳化模塊；205-圖像劃分模塊；206-矩形塊確定模塊；207-raisr濾波器獲得模塊；208-圖像重建模塊；2081-圖像預處理單元；2082-第一圖像獲取單元；2083-升采樣單元；2084-劃分單元；2085-像素重建單元；2086-濾波單元；2087-執行單元；209-視頻圖像還原模塊。

具體實施方式

下面將結合本發明實施例中附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。通常在此處附圖中描述和示出的本發明實施例的組件可以以各種不同的配置來布置和設計。因此，以下對在附圖中提供的本發明的實施例的詳細描述并非旨在限制要求保護的本發明的范圍，而是僅僅表示本發明的選定實施例。基于本發明的實施例，本領域技術人員在沒有做出創造性勞動的前提下所獲得的所有其他實施例，都屬于本發明保護的范圍。

應注意到：相似的標號和字母在下面的附圖中表示類似項，因此，一旦某一項在一個附圖中被定義，則在隨后的附圖中不需要對其進行進一步定義和解釋。同時，在本發明的描述中，術語“第一”、“第二”等僅用于區分描述，而不能理解為指示或暗示相對重要性。

請參照圖1，圖1示出了本發明實施例提供的電子設備100的方框示意圖。電子設備100可以是，但不限于智能手機、平板電腦、膝上型便攜計算機、車載電腦、個人數字助理(personaldigitalassistant，pda)、穿戴式移動終端等等。所述電子設備100包括超分辨率重建裝置200、存儲器101、存儲控制器102、處理器103、外設接口104、gpu(graphicsprocessingunit，圖形處理器)105、攝像裝置106和顯示屏107。

所述存儲器101、存儲控制器102、處理器103、外設接口104、gpu105、攝像裝置106和顯示屏107各元件相互之間直接或間接地電性連接，以實現數據的傳輸或交互。例如，這些元件相互之間可通過一條或多條通訊總線或信號線實現電性連接。所述超分辨率重建裝置200包括至少一個可以軟件或固件(firmware)的形式存儲于所述存儲器101中或固化在所述電子設備100的操作系統(operatingsystem，os)中的軟件功能模塊。所述處理器103用于執行存儲器101中存儲的可執行模塊，例如所述超分辨率重建裝置200包括的軟件功能模塊或計算機程序。

其中，存儲器101可以是，但不限于，隨機存取存儲器(randomaccessmemory，ram)，只讀存儲器(readonlymemory，rom)，可編程只讀存儲器(programmableread-onlymemory，prom)，可擦除只讀存儲器(erasableprogrammableread-onlymemory，eprom)，電可擦除只讀存儲器(electricerasableprogrammableread-onlymemory，eeprom)等。其中，存儲器101用于存儲程序，所述處理器103在接收到執行指令后，執行所述程序，本發明任一實施例揭示的流程定義的服務器所執行的方法可以應用于處理器103中，或者由處理器103實現。

處理器103可以是一種集成電路芯片，具有信號處理能力。上述的處理器103可以是通用處理器，包括中央處理器(centralprocessingunit，cpu)、網絡處理器(networkprocessor，np)、語音處理器以及視頻處理器等；還可以是數字信號處理器、專用集成電路、現場可編程門陣列或者其他可編程邏輯器件、分立門或者晶體管邏輯器件、分立硬件組件。可以實現或者執行本發明實施例中的公開的各方法、步驟及邏輯框圖。通用處理器可以是微處理器或者該處理器103也可以是任何常規的處理器等。

所述外設接口104用于將各種輸入/輸出裝置耦合至處理器103以及存儲器101。在一些實施例中，外設接口104、處理器103以及存儲控制器102可以在單個芯片中實現。在其他一些實例中，他們可以分別由獨立的芯片實現。

gpu105用于對攝像裝置106捕獲的原始視頻圖像，利用超分辨率重建方法重建為超分辨率視頻圖像。在本實施例中，gpu105可以是獨立顯卡(例如sli、crossfire等)、集成繪圖處理器(例如radeonhd4290等)。

攝像裝置106與處理器103電連接，用于捕獲原始視頻圖像。在本實施例中，攝像裝置106可以是，但不限于usb攝像頭、ipcamera(網絡攝像機)等，例如，運動攝像頭，包括隨著車輛移動/轉動的攝像頭等。

顯示屏107用于實現用戶與電子設備100之間的交互，具體可以是，但不限于顯示屏107將經過超分辨率重建后的超分辨率視頻圖像進行顯示。在本實施例中，顯示屏107可以是vga(videographicsarray，視頻傳輸標準)顯示器。

第一實施例

請參照圖2，圖2示出了本發明實施例提供的超分辨率重建方法流程圖。超分辨率重建方法包括以下步驟：

步驟s101，獲取攝像裝置捕獲的原始視頻圖像。

在本發明實施例中，攝像裝置106捕獲的原始視頻圖像可以是城市各個角落的攝像頭和各種車載攝像頭捕獲的各種視頻圖像，例如，城市道路上用于交通監督及違章拍攝的攝像頭，該攝像頭捕獲的原始視頻圖像可以包括車輛、車牌、駕駛員等信息。

步驟s102，獲取待訓練的hr圖像。

在本發明實施例中，hr(highresolution，高分辨率)圖像可以從網上下載獲得。

步驟s103，對hr圖像進行高斯模糊變換，得到對應的lr圖像，其中，lr圖像與hr圖像的大小相同。

在本發明實施例中，可以利用低通濾波器對hr圖像進行低通濾波操作得到對應的模糊圖像，也就是lr(lowresolution，低分辨率)圖像，低通濾波器可以是高斯濾波器。利用高斯濾波器對hr圖像進行濾波，得到對應的lr圖像的方法可以是，但不限于首先根據高斯分布的均方差創建高斯濾波器，然后用高斯濾波器掃描hr圖像中的每一個像素點，用高斯濾波器確定的鄰域內像素點的加權平均像素值替代hr圖像中該像素點的像素值，就能得到模糊處理之后的lr圖像。

作為一種實施方式，對hr圖像進行高斯模糊變換時，可以先將hr圖像由rgb格式轉換成ycrcb格式，然后將ycrcb格式的hr圖像的亮度通道進行高斯模糊，得到lr圖像。

步驟s104，對hr圖像進行銳化，增強hr圖像的對比度。

在本發明實施例中，對待訓練的離線圖像集中的hr圖像進行銳化，增強hr圖像的對比度之后，再對離線圖像集進行訓練，得到的raisr(rapidandaccurateimagesuperresolution，快速、精確的超分辨率)濾波器可以使得超分辨率重建的圖像清晰度、對比度更好，并且不會增加超分辨率重建的時間。對hr圖像進行銳化的方法可以是通過高通濾波來減少hr圖像的模糊，例如，可以通過組合微分濾波器和hr圖像來實現。

步驟s105，將lr圖像劃分成多個第一矩形塊，并將該lr圖像對應的hr圖像劃分成多個第二矩形塊。

在本發明實施例中，將lr圖像劃分成多個第一矩形塊的方法可以是：首先，求取lr圖像的x方向的梯度及y方向的梯度，得到梯度圖像gradx及grady；其次，將包含lr圖像、梯度圖像gradx、梯度圖像grady的圖像集合根據相同坐標區域劃分成多個第一矩形塊，第一矩形塊可以是包括lr圖像矩形塊、gradx矩形塊及grady矩形塊集合的矩形塊。采用相同的劃分方式，將hr圖像劃分成多個第二矩形塊。

步驟s106，確定每個第一矩形塊的中心像素點對應的第二矩形塊。

在本發明實施例中，根據每個第一矩形塊的中心像素點，確定與該中心像素點對應的第二矩形快，也就是說，找出一一對應的第一矩形塊和第二矩形塊。

步驟s107，根據多個成對的第一矩形塊及第二矩形塊，利用最小二乘法進行訓練，得到raisr濾波器，其中，raisr濾波器包括多個子濾波器，每個子濾波器是由一個成對的第一矩形塊及第二矩形塊訓練得到的。

在本發明實施例中，根據多個成對的第一矩形塊及第二矩形塊，得到raisr濾波器的方法可以是：首先，求取每個第一矩形塊及第二矩形塊各自的梯度；然后，根據梯度確定每個第一矩形塊及第二矩形塊的中心像素點對應的像素類型；最后，根據像素類型和梯度，利用最小二乘法，得到每個成對的第一矩形塊及第二矩形塊所屬的類對應的子濾波器，最終得到包括多個子濾波器的raisr濾波器。

作為一種實施方式，求取每個成對的第一矩形塊及第二矩形塊各自的梯度的方法是：以任意一個第一矩形塊為例，首先，將多個gradx矩形塊及grady矩形塊填充到梯度矩陣中，并求出矩陣的特征值和特征向量，其中，wk為對角線元素為一維高斯核、其他位置為0的矩陣。然后，根據求取的最大特征值對應的特征向量，計算該第一矩形塊的梯度(angle，strength，coherence)，其中，angle為梯度角，可以根據公式確定；strength為梯度強度，可以根據公式確定，其中，gx,k(x,y)、gy,k(x,y)分別表示第一矩形塊第k個像素點的水平方向的梯度和垂直方向的梯度；coherence表示梯度向量，可以根據公式確定。

作為一種實施方式，求取每個類對應的子濾波器的方法可以是：首先，設置梯度角的范圍為[0，180]，將該范圍分為24段，設置梯度強度和梯度向量的范圍均為[0，1.0]，各分為3份，這樣每個第一矩形塊和第二矩形塊都可以根據各自的梯度，分類到24*3*3＝216種類別中；根據每個第一矩形塊和第二矩形塊的中心像素點的像素類型，可以將每個第一矩形塊和第二矩形塊分為4類，因此每個第一矩形塊和第二矩形塊將被分類為4*216＝864個類中。

作為一種實施方式，根據像素類型和梯度，得到每個成對的第一矩形塊及第二矩形塊對應的子濾波器的方法可以是：每個類中，第一矩形塊的數據保存到q中，該第一矩形塊對應的第二矩形塊的數據保存到v中，代入公式中，根據最小二乘法求解，得到每個類對應的子濾波器。

步驟s108，利用預設的raisr濾波器對原始視頻圖像中的每一幀圖像進行超分辨率重建，得到重建后的連續幀圖像，其中，raisr濾波器由成對的lr圖像和hr圖像訓練得到。

在本發明實施例中，利用預設的raisr濾波器對原始視頻圖像中的每一幀圖像進行超分辨率重建的方法包括：首先，獲取原始視頻圖像中的任意一幀圖像，記為第一圖像，并對該第一圖像進行插值升采樣，得到第二圖像；第二，獲取第二圖像的梯度圖像gradx及grady，將包含第二圖像、gradx及grady的圖像集合劃分成多個跟第一矩形塊和第二矩形塊大小相同的第三矩形塊；第三，確定每個第三矩形塊的中心像素點對應的像素類型及梯度；第四，根據每個第三矩形塊的對應的像素類型和梯度，在864個類中，找到該第三矩形塊所屬的類，也就獲取到了該第三矩形塊進行超分辨率重建對應的子濾波器；第五，將每個第三矩形塊和其對應的子濾波器進行卷積操作，得到該第三矩形塊對應的超分辨率圖像的像素值；第五，遍歷第二圖像全圖，生成第一圖像對應的超分辨率圖像。

請參照圖3，步驟s108可以包括以下子步驟：

子步驟s1081，對原始視頻圖像進行預處理，以減小原始視頻圖像的失真。

在本發明實施例中，獲取到攝像裝置106捕獲的原始視頻圖像之后，對該原始視頻圖像進行預處理，并保存成連續幀的方式。預處理可以是對對原始視頻圖像進行灰度校正、噪聲過濾等處理，以減小原始視頻圖像的失真。

子步驟s1082，獲取第一圖像，其中，第一圖像為原始視頻圖像中的任意一幀圖像。

在本發明實施例中，在子步驟s1081中，將原始視頻圖像保存成連續幀方式的圖像，第一圖像就是從該連續幀方式的圖像中獲取的任意一幀圖像。

子步驟s1083，對第一圖像進行插值升采樣，得到第二圖像。

在本發明實施例中，對第一圖像進行插值升采樣可以利用雙線性插值算法實現，利用雙線性插值算法對第一圖像進行插值升采樣的方法可以是在第一圖像的x方向和y方向上分別進行一次線性插值，完成第一圖像的插值升采樣，得到得到第二圖像。

子步驟s1084，將第二圖像劃分成多個第三矩形塊。

在本發明實施例中，根據步驟s107中介紹的方法，獲取第二圖像的梯度圖像gradx及grady，將包含第二圖像、gradx及grady的圖像集合劃分成多個第三矩形塊，第三矩形塊的大小跟跟第一矩形塊和第二矩形塊的大小相同。

子步驟s1085，對每個第三矩形塊利用其對應的子濾波器進行像素重建，生成第一圖像對應的超分辨率圖像。

在本發明實施例中，生成第一圖像對應的超分辨率圖像的方法可以是：首先，根據每個第三矩形塊的中心像素點確定該中心像素點對應的像素類型，并計算每個第三矩形塊的梯度；其次，根據每個第三矩形塊對應的像素類型和梯度，在864個類中，找到該第三矩形塊所屬的類，也就獲取到了該第三矩形塊進行超分辨率重建對應的子濾波器；最后，將每個第三矩形塊和其對應的子濾波器進行卷積操作，得到該第三矩形塊對應的超分辨率圖像的像素值，遍歷第二圖像全圖，生成第一圖像對應的超分辨率圖像。

子步驟s1086，根據結構相似度，對第一圖像對應的超分辨率圖像進行濾波，去除超分辨率圖像中的異常像素點。

在本發明實施例中，結構相似度是衡量預先獲取的無失真圖像和第一圖像相似度的指標，可以根據公式計算，其中，μx是無失真圖像的平均值，μy是第一圖像的平均值，是無失真圖像的方差，是第一圖像的方差，σxy是無失真圖像和第一圖像的協方差，c1＝(k1l)²，c2＝(k2l)²是用來維持穩定的常數，l是像素值的動態范圍，k1＝0.01，k2＝0.03。異常像素點可以是由于某個子濾波器沒有訓練好、或者某個第三矩形塊錯選導致的影響超分辨率重建效果的像素點。

子步驟s1087，遍歷原始視頻圖像的每一幀，得到重建后的連續幀圖像。

在本發明實施例中，對原始視頻圖像的每一幀都利用上述的子步驟s1082～子步驟s1086介紹的方法進行超分辨率重建，得到重建后的連續幀圖像。

步驟s109，將重建后的連續幀圖像還原成超分辨率視頻圖像。

在本發明實施例中，得到重建后的連續幀圖像，將重建后的連續幀圖像還原成視頻方式，就得到超分辨率視頻圖像。

在本發明實施例中，首先，通過利用預設的raisr濾波器對原始視頻圖像進行超分辨率重建，得到重建后的超分辨率視頻圖像，具有良好的超分辨率重建效果。其次，raisr濾波器由成對的lr圖像和hr圖像訓練生成，訓練的數據量小，處理速度快；最后，對待訓練的hr圖像進行銳化，增強hr圖像的對比度之后，再對離線圖像集進行訓練，得到的raisr濾波器可以使得超分辨率重建的圖像清晰度、對比度更好，并且不會增加超分辨率重建的時間。

第二實施例

請參照圖4，圖4示出了本發明實施例提供的超分辨率重建裝置200的方框示意圖。超分辨率重建裝置200包括視頻圖像獲取模塊201、圖像獲取模塊202、高斯模糊模塊203、圖像銳化模塊204、圖像劃分模塊205、矩形塊確定模塊206、raisr濾波器獲得模塊207、圖像重建模塊208及視頻圖像還原模塊209。

視頻圖像獲取模塊201，用于獲取攝像裝置捕獲的原始視頻圖像。

在本發明實施例中，視頻圖像獲取模塊201可以用于執行步驟s101。

圖像獲取模塊202，用于獲取待訓練的hr圖像。

在本發明實施例中，圖像獲取模塊202可以用于執行步驟s102。

高斯模糊模塊203，用于對所述hr圖像進行高斯模糊變換，得到對應的lr圖像，其中，所述lr圖像與所述hr圖像的大小相同。

在本發明實施例中，高斯模糊模塊203可以用于執行步驟s103。

圖像銳化模塊204，用于對hr圖像進行銳化，增強hr圖像的對比度。

在本發明實施例中，圖像銳化模塊204可以用于執行步驟s104。

圖像劃分模塊205，用于將lr圖像劃分成多個第一矩形塊，并將該lr圖像對應的hr圖像劃分成多個第二矩形塊。

在本發明實施例中，圖像劃分模塊205可以用于執行步驟s105。

矩形塊確定模塊206，用于確定每個第一矩形塊的中心像素點對應的第二矩形塊。

在本發明實施例中，矩形塊確定模塊206可以用于執行步驟s106。

raisr濾波器獲得模塊207，用于根據多個成對的第一矩形塊及第二矩形塊，利用最小二乘法進行訓練，得到raisr濾波器，其中，raisr濾波器包括多個子濾波器，每個子濾波器是由一個成對的第一矩形塊及第二矩形塊訓練得到的。

在本發明實施例中，raisr濾波器獲得模塊207可以用于執行步驟s107。

圖像重建模塊208，用于利用預設的raisr濾波器對原始視頻圖像中的每一幀圖像進行超分辨率重建，得到重建后的連續幀圖像，其中，raisr濾波器由成對的lr圖像和hr圖像訓練得到。

在本發明實施例中，圖像重建模塊208可以用于執行步驟s108。

請參照圖5，圖5為圖4示出的超分辨率重建裝置200中圖像重建模塊208的方框示意圖。圖像重建模塊208包括圖像預處理單元2081、第一圖像獲取單元2082、升采樣單元2083、劃分單元2084、像素重建單元2085、濾波單元2086及執行單元2087。

圖像預處理單元2081，用于對原始視頻圖像進行預處理，以減小原始視頻圖像的失真。

在本發明實施例中，圖像預處理單元2081可以用于執行子步驟s1081。

第一圖像獲取單元2082，用于獲取第一圖像，其中，第一圖像為原始視頻圖像中的任意一幀。

在本發明實施例中，第一圖像獲取單元2082可以用于執行子步驟s1082。

升采樣單元2083，用于對第一圖像進行插值升采樣，得到第二圖像。

在本發明實施例中，升采樣單元2083可以用于執行子步驟s1083。

劃分單元2084，用于將第二圖像劃分成多個第三矩形塊。

在本發明實施例中，劃分單元2084可以用于執行子步驟s1084。

像素重建單元2085，用于對每個第三矩形塊利用其對應的子濾波器進行像素重建，生成第一圖像對應的超分辨率圖像。

在本發明實施例中，像素重建單元2085可以用于執行子步驟s1085。

濾波單元2086，用于根據結構相似度，對第一圖像對應的超分辨率圖像進行濾波，去除超分辨率圖像中的異常像素點。

在本發明實施例中，濾波單元2086可以用于執行子步驟s1086。

執行單元2087，用于遍歷原始視頻圖像的每一幀，得到重建后的連續幀圖像。

在本發明實施例中，執行單元2087可以用于執行子步驟s1087。

視頻圖像還原模塊209，用于將重建后的連續幀圖像還原成超分辨率視頻圖像。

在本發明實施例中，視頻圖像還原模塊209可以用于執行步驟s109。

綜上所述，本發明提供的一種超分辨率重建方法、裝置及電子設備，所述方法包括：獲取攝像裝置捕獲的原始視頻圖像；利用預設的raisr濾波器對原始視頻圖像中的每一幀圖像進行超分辨率重建，得到重建后的連續幀圖像，其中，raisr濾波器由成對的lr圖像和hr圖像訓練得到；將重建后的連續幀圖像還原成超分辨率視頻圖像。本發明通過利用預設的raisr濾波器對原始視頻圖像進行超分辨率重建，得到重建后的超分辨率視頻圖像，具有良好的超分辨率重建效果。另外，raisr濾波器由成對的lr圖像和hr圖像訓練生成，訓練的數據量小，處理速度快。

在本申請所提供的幾個實施例中，應該理解到，所揭露的裝置和方法，也可以通過其它的方式實現。以上所描述的裝置實施例僅僅是示意性的，例如，附圖中的流程圖和框圖顯示了根據本發明的多個實施例的裝置、方法和計算機程序產品的可能實現的體系架構、功能和操作。在這點上，流程圖或框圖中的每個方框可以代表一個模塊、程序段或代碼的一部分，所述模塊、程序段或代碼的一部分包含一個或多個用于實現規定的邏輯功能的可執行指令。也應當注意，在有些作為替換的實現方式中，方框中所標注的功能也可以以不同于附圖中所標注的順序發生。例如，兩個連續的方框實際上可以基本并行地執行，它們有時也可以按相反的順序執行，這依所涉及的功能而定。也要注意的是，框圖和/或流程圖中的每個方框、以及框圖和/或流程圖中的方框的組合，可以用執行規定的功能或動作的專用的基于硬件的系統來實現，或者可以用專用硬件與計算機指令的組合來實現。

另外，在本發明各個實施例中的各功能模塊可以集成在一起形成一個獨立的部分，也可以是各個模塊單獨存在，也可以兩個或兩個以上模塊集成形成一個獨立的部分。

所述功能如果以軟件功能模塊的形式實現并作為獨立的產品銷售或使用時，可以存儲在一個計算機可讀取存儲介質中。基于這樣的理解，本發明的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的部分可以以軟件產品的形式體現出來，該計算機軟件產品存儲在一個存儲介質中，包括若干指令用以使得一臺計算機設備(可以是個人計算機，服務器，或者網絡設備等)執行本發明各個實施例所述方法的全部或部分步驟。而前述的存儲介質包括：u盤、移動硬盤、只讀存儲器(rom，read-onlymemory)、隨機存取存儲器(ram，randomaccessmemory)、磁碟或者光盤等各種可以存儲程序代碼的介質。需要說明的是，在本文中，諸如第一和第二等之類的關系術語僅僅用來將一個實體或者操作與另一個實體或操作區分開來，而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關系或者順序。而且，術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設備所固有的要素。在沒有更多限制的情況下，由語句“包括一個……”限定的要素，并不排除在包括所述要素的過程、方法、物品或者設備中還存在另外的相同要素。

以上所述僅為本發明的優選實施例而已，并不用于限制本發明，對于本領域的技術人員來說，本發明可以有各種更改和變化。凡在本發明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發明的保護范圍之內。應注意到：相似的標號和字母在下面的附圖中表示類似項，因此，一旦某一項在一個附圖中被定義，則在隨后的附圖中不需要對其進行進一步定義和解釋。