本發明涉及計算機,尤其涉及一種視頻重建方法、裝置、設備及介質。
背景技術:
1、隨著科技的進步,高質量的視頻能給人提供更加良好的視覺體驗。然而,在視頻傳輸過程中,為了降低傳輸帶寬,會先采用抽幀處理等導致視頻質量降低,再通過視頻重建提高視頻質量。
2、目前,傳統的視頻重建方式通常是通過插值的方式對視頻數據中的未知像素進行估計,實現視頻重建。然而,傳統的視頻重建方式對視頻的重建精度和細節恢復能力較低,無法保證重建后的視頻質量,泛化能力較差。
技術實現思路
1、本發明提供了一種視頻重建方法、裝置、設備及介質,以實現對視頻的精確重建,可以提高對視頻的重建精度和細節恢復能力,保證重建后的視頻質量,提高泛化能力。
2、第一方面,本發明實施例提供了一種視頻重建方法,包括:
3、獲取待重建的第一視頻;
4、將所述第一視頻輸入至預先訓練得到的目標重建模型中進行視頻重建,所述目標重建模型是對輸入的所述第一視頻進行多層級的局部信息和全局信息提取,并基于提取到的局部信息和全局信息進行幀率和分辨率的重建處理;
5、基于所述目標重建模型的輸出,獲得重建后的第二視頻,所述第二視頻的幀率大于所述第一視頻的幀率,所述第二視頻的分辨率大于所述第一視頻的分辨率。
6、第二方面,本發明實施例還提供了一種視頻重建裝置,包括:
7、第一視頻獲取模塊,用于獲取待重建的第一視頻;
8、視頻重建模塊,將所述第一視頻輸入至預先訓練得到的目標重建模型,所述目標重建模型是對輸入的所述第一視頻進行多層級的局部信息和全局信息提取,并基于提取到的局部信息和全局信息進行幀率和分辨率的重建處理;
9、第二視頻獲取模塊,用于基于所述目標重建模型的輸出,獲得重建后的第二視頻,所述第二視頻的幀率大于所述第一視頻的幀率,所述第二視頻的分辨率大于所述第一視頻的分辨率。
10、第三方面,本發明實施例還提供了一種電子設備,其特征在于,所述電子設備包括:至少一個處理器;以及
11、與所述至少一個處理器通信連接的存儲器;其中,
12、所述存儲器存儲有可被所述至少一個處理器執行的計算機程序,所述計算機程序被所述至少一個處理器執行,以使所述至少一個處理器能夠執行本發明任意實施例所提供的視頻重建方法。
13、第四方面,本發明實施例還提供了一種計算機可讀存儲介質,其特征在于,所述計算機可讀存儲介質存儲有計算機指令,所述計算機指令用于使處理器執行時能夠執行本發明任意實施例所提供的視頻重建方法。
14、本發明實施例的技術方案,通過獲取待重建的第一視頻,并將所述第一視頻輸入至預先訓練得到的目標重建模型中進行視頻重建,所述目標重建模型是對輸入的所述第一視頻進行多層級的局部信息和全局信息提取,并基于提取到的局部信息和全局信息進行幀率和分辨率的重建處理,可以顯著提升視頻的質量和觀看體驗,使重建后的視頻更加流暢和清晰。基于所述目標重建模型的輸出,獲得重建后的第二視頻,所述第二視頻的幀率大于所述第一視頻的幀率,所述第二視頻的分辨率大于所述第一視頻的分辨率。通過目標重建模型實現自動化的視頻重建處理,能夠實現對視頻的精確重建,可以提高對視頻的重建精度和細節恢復能力,保證重建后的視頻質量,提高泛化能力。
15、應當理解,本部分所描述的內容并非旨在標識本發明的實施例的關鍵或重要特征,也不用于限制本發明的范圍。本發明的其它特征將通過以下的說明書而變得容易理解。
1.一種視頻重建方法,其特征在于,包括:
2.根據權利要求1所述的方法,其特征在于,所述目標重建模型包括:特征提取子模型、編碼子模型、解碼子模型、幀率重建子模型和分辨率重建子模型;
3.根據權利要求2所述的方法,其特征在于,所述編碼子模型包括串行連接的多個編碼器,每個編碼器均包括信息提取層和下采樣層;
4.根據權利要求3所述的方法,其特征在于,所述信息提取層包括串行連接的至少兩個信息提取模塊;
5.根據權利要求4所述的方法,其特征在于,每個信息提取模塊包括:歸一化單元、注意力單元、多尺度門控大核卷積單元和卷積門控聚合單元;
6.根據權利要求1所述的方法,其特征在于,所述目標重建模型是基于第一樣本視頻和第二樣本視頻進行訓練獲得的;
7.根據權利要求6所述的方法,其特征在于,所述目標重建模型的訓練過程包括:
8.一種視頻重建裝置,其特征在于,包括:
9.一種電子設備,其特征在于,所述電子設備包括:
10.一種計算機可讀存儲介質,其特征在于,所述計算機可讀存儲介質存儲有計算機指令,所述計算機指令用于使處理器執行時實現權利要求1-7中任一項所述的視頻重建方法。