本公開涉及人工智能，尤其涉及一種人臉圖像修復(fù)處理及模型訓(xùn)練方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)：

1、基于圖像或視頻的數(shù)字人模型的驅(qū)動技術(shù)，已經(jīng)成為當下人工智能領(lǐng)域最為流行的方向之一。用戶只需要上傳一段視頻或一張圖像，就可以通過音頻作為驅(qū)動源，生成與音頻內(nèi)容相匹配的面部表情與唇部動作對應(yīng)的圖像，數(shù)字人驅(qū)動技術(shù)被廣泛應(yīng)用于直播帶貨、遠程教學(xué)、線上會議等領(lǐng)域。

2、相關(guān)技術(shù)中，將人臉圖像和對應(yīng)的音頻信息輸入面部驅(qū)動模型，面部驅(qū)動模型輸出多幀人臉圖像，其中，多幀人臉區(qū)域的口型與音頻信息對應(yīng)。其中，隨著終端智能芯片設(shè)的性能提升及模型壓縮技術(shù)的不斷更新，將面部驅(qū)動模型部署在高性能芯片上已經(jīng)成為一個新的趨勢。

3、然而，高性能芯片的算力有限，從而導(dǎo)致生成的人臉圖像的質(zhì)量不高，可能會出現(xiàn)模糊、鋸齒等低質(zhì)量的情況。

技術(shù)實現(xiàn)思路

1、為了解決上述技術(shù)問題或者至少部分地解決上述技術(shù)問題，本公開提供了一種人臉圖像修復(fù)處理及模型訓(xùn)練方法、裝置、設(shè)備及介質(zhì)。

2、本公開實施例提供了一種人臉圖像修復(fù)模型的訓(xùn)練方法，包括以下步驟：

3、構(gòu)建初始人臉圖像修復(fù)模型，其中，所述初始人臉圖像修復(fù)模型中包括預(yù)設(shè)數(shù)量個串聯(lián)的密集連接殘差塊和修復(fù)圖像輸出模塊，其中，所述修復(fù)圖像輸出模塊與所述預(yù)設(shè)數(shù)量個串聯(lián)的密集連接殘差塊連接；獲取訓(xùn)練樣本對，其中，每個所述訓(xùn)練樣本對包括第一樣本人臉圖像和第二樣本人臉圖像，其中，所述第二樣本人臉圖像高于所述第一樣本人臉圖像的圖像質(zhì)量；通過所述預(yù)設(shè)數(shù)量個串聯(lián)的密集連接殘差塊提取所述第一樣本人臉圖像的第一人臉圖像特征圖，其中，所述預(yù)設(shè)數(shù)量個串聯(lián)的密集連接殘差塊中首個密集連接殘差塊的輸入為對所述第一樣本人臉圖像卷積計算后得到的特征，所述預(yù)設(shè)數(shù)量個串聯(lián)的密集連接殘差塊中非首個密集連接殘差塊的輸入為上一個密集連接殘差塊輸出的特征；通過所述修復(fù)圖像輸出模塊對所述第一人臉圖像特征圖進行特征提取處理，并對提取出的特征解碼以獲取并輸出實際修復(fù)圖像；計算所述實際修復(fù)圖像和所述第二樣本人臉圖像的目標損失值，并判斷所述目標損失值是否大于預(yù)設(shè)損失閾值；在所述損失值大于預(yù)設(shè)損失閾值時，修改所述初始人臉圖像修復(fù)模型的模型參數(shù)直至對應(yīng)的損失值小于所述預(yù)設(shè)損失閾值時，獲取到訓(xùn)練后的人臉圖像修復(fù)模型。

4、為了實現(xiàn)上述實施例，本公開還提出了一種人臉圖像的修復(fù)方法，包括：獲取當前人臉圖像和當前音頻信息，并將所述當前人臉圖像和當前音頻信息輸入預(yù)設(shè)面部驅(qū)動模型；獲取所述預(yù)設(shè)面部驅(qū)動模型輸出的當前參考人臉圖像序列，其中，所述當前參考人臉圖像序列中包括多幀第三參考人臉圖像，所述多幀第三參考人臉圖像中的口型與所述當前音頻信息對應(yīng)；將每一幀所述第三參考人臉圖像輸入預(yù)先訓(xùn)練的人臉圖像修復(fù)模型，獲取所述人臉圖像修復(fù)模型輸出的修復(fù)后的第四參考人臉圖像，其中，所述人臉圖像修復(fù)模型根據(jù)如上述的人臉圖像修復(fù)模型的訓(xùn)練方法得到。

5、為了實現(xiàn)上述實施例，本公開還提出了一種人臉圖像修復(fù)模型的訓(xùn)練裝置，包括：構(gòu)建模塊，用于構(gòu)建初始人臉圖像修復(fù)模型，其中，所述初始人臉圖像修復(fù)模型中包括預(yù)設(shè)數(shù)量個串聯(lián)的密集連接殘差塊和修復(fù)圖像輸出模塊，其中，所述修復(fù)圖像輸出模塊與所述預(yù)設(shè)數(shù)量個串聯(lián)的密集連接殘差塊連接；第一獲取模塊，用于獲取訓(xùn)練樣本對，其中，每個所述訓(xùn)練樣本對包括第一樣本人臉圖像和第二樣本人臉圖像，其中，所述第二樣本人臉圖像高于所述第一樣本人臉圖像的圖像質(zhì)量；第二獲取模塊，用于通過所述預(yù)設(shè)數(shù)量個串聯(lián)的密集連接殘差塊提取所述第一樣本人臉圖像的第一人臉圖像特征圖，其中，所述預(yù)設(shè)數(shù)量個串聯(lián)的密集連接殘差塊中首個密集連接殘差塊的輸入為對所述第一樣本人臉圖像卷積計算后得到的特征，所述預(yù)設(shè)數(shù)量個串聯(lián)的密集連接殘差塊中非首個密集連接殘差塊的輸入為上一個密集連接殘差塊輸出的特征；修復(fù)圖像獲取模塊，用于通過所述修復(fù)圖像輸出模塊對所述第一人臉圖像特征圖進行特征提取處理，并對提取出的特征解碼以獲取并輸出實際修復(fù)圖像；損失計算模塊，用于計算所述實際修復(fù)圖像和所述第二樣本人臉圖像的目標損失值；判斷模塊，用于判斷所述目標損失值是否大于預(yù)設(shè)損失閾值；訓(xùn)練模塊，用于在所述損失值大于預(yù)設(shè)損失閾值時，修改所述初始人臉圖像修復(fù)模型的模型參數(shù)直至對應(yīng)的損失值小于所述預(yù)設(shè)損失閾值時，獲取到訓(xùn)練后的人臉圖像修復(fù)模型。

6、本公開實施例還提供了一種人臉圖像的修復(fù)裝置，所述裝置包括：第三獲取模塊，用于獲取當前人臉圖像和當前音頻信息，并將所述當前人臉圖像和當前音頻信息輸入預(yù)設(shè)面部驅(qū)動模型；第四獲取模塊，用于獲取所述預(yù)設(shè)面部驅(qū)動模型輸出的當前參考人臉圖像序列，其中，所述當前參考人臉圖像序列中包括多幀第三參考人臉圖像，所述多幀第三參考人臉圖像中的口型與所述當前音頻信息對應(yīng)；修復(fù)處理模塊，用于將每一幀所述第三參考人臉圖像輸入預(yù)先訓(xùn)練的人臉圖像修復(fù)模型，獲取所述人臉圖像修復(fù)模型輸出的修復(fù)后的第四參考人臉圖像，其中，所述人臉圖像修復(fù)模型根據(jù)如上人臉圖像修復(fù)模型的訓(xùn)練方法得到。

7、本公開實施例還提供了一種電子設(shè)備，所述電子設(shè)備包括：處理器；用于存儲所述處理器可執(zhí)行指令的存儲器；所述處理器，用于從所述存儲器中讀取所述可執(zhí)行指令，并執(zhí)行所述指令以實現(xiàn)如本公開實施例提供的人臉圖像修復(fù)模型的訓(xùn)練方法或人臉圖像的修復(fù)方法。

8、本公開實施例還提供了一種計算機可讀存儲介質(zhì)，所述存儲介質(zhì)存儲有計算機程序，所述計算機程序用于執(zhí)行如本公開實施例提供的人臉圖像修復(fù)模型的訓(xùn)練方法或人臉圖像的修復(fù)方法。

9、本公開實施例提供的技術(shù)方案與現(xiàn)有技術(shù)相比具有如下優(yōu)點：

10、本公開實施例提供的技術(shù)方案，構(gòu)建初始人臉圖像修復(fù)模型，其中，初始人臉圖像修復(fù)模型中包括預(yù)設(shè)數(shù)量個串聯(lián)的密集連接殘差塊和修復(fù)圖像輸出模塊，其中，修復(fù)圖像輸出模塊與預(yù)設(shè)數(shù)量個串聯(lián)的密集連接殘差塊連接，獲取訓(xùn)練樣本對，其中，每個訓(xùn)練樣本對包括第一樣本人臉圖像和第二樣本人臉圖像，其中，第二樣本人臉圖像高于第一樣本人臉圖像的圖像質(zhì)量，進而，通過預(yù)設(shè)數(shù)量個串聯(lián)的密集連接殘差塊提取第一樣本人臉圖像的第一人臉圖像特征圖，其中，預(yù)設(shè)數(shù)量個串聯(lián)的密集連接殘差塊中首個密集連接殘差塊的輸入為對第一樣本人臉圖像卷積計算后得到的特征，預(yù)設(shè)數(shù)量個串聯(lián)的密集連接殘差塊中非首個密集連接殘差塊的輸入為上一個密集連接殘差塊輸出的特征，通過修復(fù)圖像輸出模塊對第一人臉圖像特征圖進行特征提取處理，并對提取出的特征解碼以獲取并輸出實際修復(fù)圖像，計算實際修復(fù)圖像和第二樣本人臉圖像的目標損失值，并判斷目標損失值是否大于預(yù)設(shè)損失閾值，在損失值大于預(yù)設(shè)損失閾值時，修改初始人臉圖像修復(fù)模型的模型參數(shù)直至對應(yīng)的損失值小于預(yù)設(shè)損失閾值時，獲取到訓(xùn)練后的人臉圖像修復(fù)模型。在本技術(shù)方案中，在訓(xùn)練人臉圖像修復(fù)模型時，利用密集殘差塊提取訓(xùn)練樣本對中相關(guān)樣本人臉圖像的人臉圖像特征，并基于人臉圖像特征獲取樣本圖像的實際修復(fù)圖像，基于實際修復(fù)圖像與相關(guān)樣本人臉圖像對應(yīng)的標準樣本圖像的圖像損失值閉環(huán)訓(xùn)練人臉圖像修復(fù)模型，保證了訓(xùn)練后的人臉圖像修復(fù)模型可提取人臉圖像的超分人臉圖像特征，提升了人臉圖像修復(fù)模型輸出的人臉圖像的質(zhì)量，并且，密集殘差塊的數(shù)量為預(yù)設(shè)數(shù)量，滿足對人臉圖像修復(fù)模型算力消耗的限制。