本技術(shù)涉及圖像處理與視頻，尤其涉及圖片處理方法、光線感知模型訓(xùn)練方法、情緒光照映射模型訓(xùn)練方法、視頻顯示方法及電子設(shè)備。

背景技術(shù)：

1、在直播、培訓(xùn)、監(jiān)控、游戲等視頻場(chǎng)景中，在合成視頻時(shí)，將目標(biāo)對(duì)象圖片與背景圖片進(jìn)行合成，并結(jié)合動(dòng)畫、目標(biāo)對(duì)象的語(yǔ)音等同步生成視頻幀，根據(jù)視頻幀生成視頻流。

2、發(fā)明人在實(shí)現(xiàn)本技術(shù)實(shí)施例的過(guò)程中，發(fā)現(xiàn)現(xiàn)有技術(shù)存在如下問(wèn)題：

3、在合成的視頻中，由于使用目標(biāo)對(duì)象的初始圖片渲染處的不同視頻幀的光線往往是一致的，導(dǎo)致目標(biāo)對(duì)象的真實(shí)性較差。示例性地，以目標(biāo)對(duì)象為數(shù)字人為例，數(shù)字人是運(yùn)用數(shù)字技術(shù)構(gòu)建出的與人類形象接近的數(shù)字化任務(wù)形象，被應(yīng)用于直播、培訓(xùn)等場(chǎng)景。相關(guān)技術(shù)中，在合成的直播或培訓(xùn)視頻中，由于使用數(shù)字人的初始圖片渲染出的不同視頻幀的光線是一致的，導(dǎo)致數(shù)字人的真實(shí)性較差，容易引起用戶的恐怖谷效應(yīng)。

4、因此，如何對(duì)圖片進(jìn)行處理以提高圖片中目標(biāo)對(duì)象的真實(shí)性，是現(xiàn)有技術(shù)亟待解決的技術(shù)問(wèn)題之一。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例提供了圖片處理方法、光線感知模型訓(xùn)練方法、情緒光照映射模型訓(xùn)練方法、視頻顯示方法及電子設(shè)備，使得目標(biāo)對(duì)象圖片的光線更加真實(shí)、自然，提高了圖片中目標(biāo)對(duì)象的真實(shí)性。

2、第一方面，本技術(shù)實(shí)施例提供了一種圖片處理方法，該方法可以應(yīng)用于服務(wù)器中，該方法可以包括以下步驟：

3、服務(wù)器獲取目標(biāo)對(duì)象圖片；所述目標(biāo)對(duì)象圖片中包含目標(biāo)對(duì)象；根據(jù)所述目標(biāo)對(duì)象的背景圖片、情緒特征信息中的至少一項(xiàng)，確定目標(biāo)光線hdr紋理圖片；所述情緒特征信息用于反應(yīng)所述目標(biāo)對(duì)象的情緒；所述背景圖片用于反應(yīng)所述目標(biāo)對(duì)象所處的環(huán)境；將所述目標(biāo)對(duì)象圖片與所述目標(biāo)光線hdr紋理圖片進(jìn)行融合處理，得到目標(biāo)圖片。

4、本技術(shù)實(shí)施例提供的圖片處理方法，服務(wù)器獲取目標(biāo)對(duì)象圖片后，可以根據(jù)目標(biāo)對(duì)象的背景圖片、目標(biāo)對(duì)象的情緒特征信息中的至少一項(xiàng)，確定目標(biāo)光線hdr紋理圖片，將目標(biāo)光線hdr紋理圖片與目標(biāo)對(duì)象圖片融合，由于可根據(jù)不斷變化的背景圖片，和/或目標(biāo)對(duì)象的情緒特征實(shí)時(shí)識(shí)別光線變化，生成對(duì)應(yīng)的目標(biāo)光線hdr紋理圖片，疊加渲染在目標(biāo)對(duì)象圖片上，使得目標(biāo)對(duì)象圖片的光線更加真實(shí)、自然，提高了目標(biāo)對(duì)象的真實(shí)性。

5、在一種可能的實(shí)現(xiàn)方式中，服務(wù)器可以通過(guò)以下步驟確定目標(biāo)光線hdr紋理圖片：服務(wù)器將所述背景圖片輸入光線感知模型，得到第一光線hdr紋理圖片，將所述第一光線hdr紋理圖片作為所述目標(biāo)光線hdr紋理圖片；所述光線感知模型用于識(shí)別所述背景圖片的光線特征向量，并基于所述光線特征向量生成所述第一光線hdr紋理圖片。

6、在該實(shí)現(xiàn)方式中，服務(wù)器可以通過(guò)將目標(biāo)對(duì)象的背景圖片輸入光線感知模型中，識(shí)別背景圖片的光線特征向量，基于光線特征向量生成第一光線hdr紋理圖片，將第一光線hdr紋理圖片作為目標(biāo)光線hdr紋理圖片以與目標(biāo)對(duì)象圖片進(jìn)行融合，從而，可使得融合后的目標(biāo)圖片中的光線與背景圖片中的光線保持一致，使得融合后的目標(biāo)圖片的光線更加真實(shí)、自然。

7、在一種可能的實(shí)現(xiàn)方式中，服務(wù)器可以通過(guò)以下步驟確定目標(biāo)光線hdr紋理圖片：服務(wù)器獲取所述情緒特征信息對(duì)應(yīng)的情緒特征向量；將所述情緒特征向量輸入情緒光照映射模型，得到第二光線hdr紋理圖片，將所述第二光線hdr紋理圖片作為所述目標(biāo)光線hdr紋理圖片；所述情緒光照映射模型用于識(shí)別所述情緒特征向量對(duì)應(yīng)的光線特征向量，并基于所述光線特征向量生成所述第二光線hdr紋理圖片。

8、在該實(shí)現(xiàn)方式中，服務(wù)器可以通過(guò)將獲取的目標(biāo)對(duì)象的情緒特征信息對(duì)應(yīng)的情緒特征向量輸入情緒光照映射模型中，識(shí)別情緒特征向量對(duì)應(yīng)的光線特征向量，基于光線特征向量生成第二光線hdr紋理圖片，將第二光線hdr紋理圖片作為目標(biāo)光線hdr紋理圖片以與目標(biāo)對(duì)象圖片進(jìn)行融合，從而，可將目標(biāo)對(duì)象的情緒和光照進(jìn)行關(guān)聯(lián)，進(jìn)而可使得融合后的目標(biāo)圖片中的光線更加貼合目標(biāo)對(duì)象的情緒、更加真實(shí)、自然。

9、在一種可能的實(shí)現(xiàn)方式中，服務(wù)器可以通過(guò)以下步驟確定目標(biāo)光線hdr紋理圖片：服務(wù)器將所述背景圖片輸入光線感知模型，得到第一光線hdr紋理圖片；所述光線感知模型用于識(shí)別所述背景圖片中的光線特征向量，并基于所述背景圖片中的光線特征向量生成所述第一光線hdr紋理圖片；獲取所述情緒特征信息對(duì)應(yīng)的情緒特征向量；將所述情緒特征向量輸入情緒光照映射模型，得到第二光線hdr紋理圖片；所述情緒光照映射模型用于識(shí)別所述情緒特征向量對(duì)應(yīng)的光線特征向量，并基于所述情緒特征向量對(duì)應(yīng)的光線特征向量生成所述第二光線hdr紋理圖片；基于所述第一光線hdr紋理圖片與所述第二光線hdr紋理圖片，確定所述目標(biāo)光線hdr紋理圖片。

10、在該實(shí)現(xiàn)方式中，服務(wù)器可以根據(jù)目標(biāo)對(duì)象的背景圖片與目標(biāo)對(duì)象的情緒特征信息，共同確定目標(biāo)光線hdr紋理圖片。服務(wù)器可以通過(guò)將目標(biāo)對(duì)象的背景圖片輸入光線感知模型中，識(shí)別背景圖片的光線特征向量，基于背景圖片的光線特征向量生成第一光線hdr紋理圖片，通過(guò)將獲取的目標(biāo)對(duì)象的情緒特征信息對(duì)應(yīng)的情緒特征向量輸入情緒光照映射模型中，識(shí)別情緒特征向量對(duì)應(yīng)的光線特征向量，基于情緒特征信息對(duì)應(yīng)光線特征向量生成第二光線hdr紋理圖片，從而，可將目標(biāo)對(duì)象的情緒和光照進(jìn)行關(guān)聯(lián)，從而，將基于第一光線hdr紋理圖片和第二光線hdr紋理圖片得到的目標(biāo)光線hdr紋理圖片與目標(biāo)對(duì)象圖片融合后，得到的目標(biāo)圖片中的光線可與背景圖片中的光線保持一致，使得融合后的目標(biāo)圖片的光線更加真實(shí)、自然，又貼合目標(biāo)對(duì)象的情緒。

11、在一種可能的實(shí)現(xiàn)方式中，服務(wù)器可以獲取所述目標(biāo)對(duì)象的文本或語(yǔ)音信息；基于大語(yǔ)言模型將所述目標(biāo)對(duì)象的文本或語(yǔ)音信息轉(zhuǎn)換為所述情緒特征信息。

12、在該實(shí)現(xiàn)方式中，服務(wù)器可以基于大語(yǔ)言模型將目標(biāo)對(duì)象的文本或語(yǔ)音信息轉(zhuǎn)換為反應(yīng)目標(biāo)對(duì)象的情緒的情緒特征信息，大語(yǔ)言模型通過(guò)學(xué)習(xí)文本數(shù)據(jù)或語(yǔ)音數(shù)據(jù)對(duì)應(yīng)的文本數(shù)據(jù)的語(yǔ)言模式和語(yǔ)義，從而能夠理解并生成情緒特征信息。

13、在一種可能的實(shí)現(xiàn)方式中，所述目標(biāo)對(duì)象圖片包括法線貼圖和底圖，服務(wù)器可以通過(guò)以下步驟將所述目標(biāo)對(duì)象圖片與所述目標(biāo)光線hdr紋理圖片進(jìn)行融合處理，得到目標(biāo)圖片：服務(wù)器獲取所述目標(biāo)對(duì)象圖片中的所述法線貼圖和所述底圖；識(shí)別所述法線貼圖中鏡面反射光線分布圖和漫反射光線分布圖；根據(jù)所述鏡面反射光線分布圖和所述漫反射光線分布圖，去除所述法線貼圖中的鏡面反射光線和漫反射光線，得到第一法線貼圖；將所述第一法線貼圖與所述目標(biāo)光線hdr紋理圖片進(jìn)行疊加，得到目標(biāo)法線貼圖；將所述目標(biāo)法線貼圖與所述底圖進(jìn)行疊加，得到所述目標(biāo)圖片。

14、在該實(shí)現(xiàn)方式中，服務(wù)器可以去除目標(biāo)對(duì)象圖片中的鏡面反射光線與漫反射光線，使用目標(biāo)光線hdr紋理圖片替代目標(biāo)對(duì)象圖片中的鏡面反射光線與漫反射光線，從而使得融合后的目標(biāo)圖片的光線更加真實(shí)、自然。

15、在一種實(shí)施方式中，所述方法，還包括：服務(wù)器若確定所述目標(biāo)對(duì)象的背景圖片更新時(shí)，和/或，所述情緒特征信息更新時(shí)，根據(jù)更新后的目標(biāo)對(duì)象的背景圖片、更新后的情緒特征信息中的至少一項(xiàng)，確定更新后的目標(biāo)光線hdr紋理圖片；將所述目標(biāo)對(duì)象圖片與所述更新后的目標(biāo)光線hdr紋理圖片進(jìn)行融合處理，得到更新后的目標(biāo)圖片。

16、在該實(shí)現(xiàn)方式中，服務(wù)器可以在目標(biāo)對(duì)象的背景圖片發(fā)生更新時(shí)，根據(jù)更新后的背景圖片重新確定目標(biāo)光線hdr紋理圖片，并對(duì)目標(biāo)對(duì)象圖片與更新后的目標(biāo)光線hdr紋理圖片重新進(jìn)行融合處理，得到更新后的目標(biāo)圖片。服務(wù)器還可以實(shí)時(shí)監(jiān)測(cè)目標(biāo)對(duì)象的情緒特征信息，當(dāng)情緒特征信息發(fā)生變化時(shí)，根據(jù)更新后的情緒特征信息重新確定目標(biāo)光線hdr紋理圖片，并對(duì)目標(biāo)對(duì)象圖片與更新后的目標(biāo)光線hdr紋理圖片重新進(jìn)行融合處理，得到更新后的目標(biāo)圖片。從而，可以保證目標(biāo)對(duì)象圖片隨時(shí)根據(jù)背景圖片的變化以及目標(biāo)對(duì)象的情緒特征信息的變化進(jìn)行更新，提高目標(biāo)對(duì)象圖片的真實(shí)性。

17、第二方面，本技術(shù)實(shí)施例提供了一種圖片處理裝置，該裝置可以應(yīng)用于服務(wù)器中，該裝置可以包括：

18、獲取模塊，用于獲取目標(biāo)對(duì)象圖片；所述目標(biāo)對(duì)象圖片中包含目標(biāo)對(duì)象；

19、光線識(shí)別模塊，用于根據(jù)所述目標(biāo)對(duì)象的背景圖片、情緒特征信息中的至少一項(xiàng)，確定目標(biāo)光線hdr紋理圖片；所述情緒特征信息用于反應(yīng)所述目標(biāo)對(duì)象的情緒；所述背景圖片用于反應(yīng)所述目標(biāo)對(duì)象所處的環(huán)境；

20、光線融合模塊，用于將所述目標(biāo)對(duì)象圖片與所述目標(biāo)光線hdr紋理圖片進(jìn)行融合處理，得到目標(biāo)圖片。

21、在一種可能的實(shí)現(xiàn)方式中，所述光線識(shí)別模塊，具體用于將所述背景圖片輸入光線感知模型，得到第一光線hdr紋理圖片，將所述第一光線hdr紋理圖片作為所述目標(biāo)光線hdr紋理圖片；所述光線感知模型用于識(shí)別所述背景圖片的光線特征向量，并基于所述光線特征向量生成所述第一光線hdr紋理圖片。

22、在一種可能的實(shí)現(xiàn)方式中，所述光線識(shí)別模塊，具體用于獲取所述情緒特征信息對(duì)應(yīng)的情緒特征向量；將所述情緒特征向量輸入情緒光照映射模型，得到第二光線hdr紋理圖片，將所述第二光線hdr紋理圖片作為所述目標(biāo)光線hdr紋理圖片；所述情緒光照映射模型用于識(shí)別所述情緒特征向量對(duì)應(yīng)的光線特征向量，并基于所述光線特征向量生成所述第二光線hdr紋理圖片。

23、在一種可能的實(shí)現(xiàn)方式中，所述光線識(shí)別模塊，具體用于將所述背景圖片輸入光線感知模型，得到第一光線hdr紋理圖片；所述光線感知模型用于識(shí)別所述背景圖片中的光線特征向量，并基于所述背景圖片中的光線特征向量生成所述第一光線hdr紋理圖片；獲取所述情緒特征信息對(duì)應(yīng)的情緒特征向量；將所述情緒特征向量輸入情緒光照映射模型，得到第二光線hdr紋理圖片；所述情緒光照映射模型用于識(shí)別所述情緒特征向量對(duì)應(yīng)的光線特征向量，并基于所述情緒特征向量對(duì)應(yīng)的光線特征向量生成所述第二光線hdr紋理圖片；基于所述第一光線hdr紋理圖片與所述第二光線hdr紋理圖片，確定所述目標(biāo)光線hdr紋理圖片。

24、在一種可能的實(shí)現(xiàn)方式中，所述獲取模塊，還用于獲取所述目標(biāo)對(duì)象的文本或語(yǔ)音信息；基于大語(yǔ)言模型將所述目標(biāo)對(duì)象的文本或語(yǔ)音信息轉(zhuǎn)換為所述情緒特征信息。

25、在一種可能的實(shí)現(xiàn)方式中，所述目標(biāo)對(duì)象圖片包括法線貼圖和底圖，所述光線融合模塊，具體用于獲取所述目標(biāo)對(duì)象圖片中的所述法線貼圖和所述底圖；識(shí)別所述法線貼圖中鏡面反射光線分布圖和漫反射光線分布圖；根據(jù)所述鏡面反射光線分布圖和所述漫反射光線分布圖，去除所述法線貼圖中的鏡面反射光線和漫反射光線，得到第一法線貼圖；將所述第一法線貼圖與所述目標(biāo)光線hdr紋理圖片進(jìn)行疊加，得到目標(biāo)法線貼圖；將所述目標(biāo)法線貼圖與所述底圖進(jìn)行疊加，得到所述目標(biāo)圖片。

26、在一種實(shí)施方式中，所述光線識(shí)別模塊，還用于若確定所述目標(biāo)對(duì)象的背景圖片更新時(shí)，和/或，所述情緒特征信息更新時(shí)，根據(jù)更新后的目標(biāo)對(duì)象的背景圖片、更新后的情緒特征信息中的至少一項(xiàng)，確定更新后的目標(biāo)光線hdr紋理圖片；

27、所述光線融合模塊，還用于將所述目標(biāo)對(duì)象圖片與所述更新后的目標(biāo)光線hdr紋理圖片進(jìn)行融合處理，得到更新后的目標(biāo)圖片。

28、第三方面，本技術(shù)實(shí)施例提供了一種光線感知模型訓(xùn)練方法，可應(yīng)用于服務(wù)器中，該方法可以包括以下步驟：

29、獲取訓(xùn)練樣本圖片集合和每個(gè)訓(xùn)練樣本圖片對(duì)應(yīng)的光線hdr紋理圖片；

30、對(duì)所述每個(gè)訓(xùn)練樣本圖片對(duì)應(yīng)的光線hdr紋理圖片進(jìn)行標(biāo)簽標(biāo)注；

31、基于所述每個(gè)訓(xùn)練樣本圖片和對(duì)應(yīng)的進(jìn)行標(biāo)簽標(biāo)注的光線hdr紋理圖片，對(duì)擴(kuò)散模型進(jìn)行訓(xùn)練，得到光線感知模型，其中，所述光線感知模型用于識(shí)別目標(biāo)對(duì)象的背景圖片的光線特征向量，并基于所述光線特征向量生成光線hdr紋理圖片，所述背景圖片用于反應(yīng)所述目標(biāo)對(duì)象所處的環(huán)境。

32、第四方面，本技術(shù)實(shí)施例提供了一種光線感知模型訓(xùn)練裝置，可應(yīng)用于服務(wù)器中，該裝置可以包括：

33、獲取模塊，用于獲取訓(xùn)練樣本圖片集合和每個(gè)訓(xùn)練樣本圖片對(duì)應(yīng)的光線hdr紋理圖片；

34、標(biāo)注模塊，用于對(duì)所述每個(gè)訓(xùn)練樣本圖片對(duì)應(yīng)的光線hdr紋理圖片進(jìn)行標(biāo)簽標(biāo)注；

35、訓(xùn)練模塊，用于基于所述每個(gè)訓(xùn)練樣本圖片和對(duì)應(yīng)的進(jìn)行標(biāo)簽標(biāo)注的光線hdr紋理圖片，對(duì)擴(kuò)散模型進(jìn)行訓(xùn)練，得到光線感知模型，其中，所述光線感知模型用于識(shí)別目標(biāo)對(duì)象的背景圖片的光線特征向量，并基于所述光線特征向量生成光線hdr紋理圖片，所述背景圖片用于反應(yīng)所述目標(biāo)對(duì)象所處的環(huán)境。

36、第五方面，本技術(shù)實(shí)施例提供了一種情緒光照映射模型訓(xùn)練方法，可應(yīng)用于服務(wù)器中，該方法可以包括以下步驟：

37、獲取訓(xùn)練樣本情緒特征向量集合和每個(gè)訓(xùn)練樣本情緒特征向量對(duì)應(yīng)的光線hdr紋理圖片；

38、對(duì)所述每個(gè)訓(xùn)練樣本情緒特征向量對(duì)應(yīng)的光線hdr紋理圖片進(jìn)行標(biāo)簽標(biāo)注；

39、基于所述每個(gè)訓(xùn)練樣本情緒特征向量和對(duì)應(yīng)的進(jìn)行標(biāo)簽標(biāo)注的光線hdr紋理圖片，對(duì)擴(kuò)散模型進(jìn)行訓(xùn)練，得到情緒光照映射模型，其中，所述情緒光照映射模型用于識(shí)別目標(biāo)對(duì)象的情緒特征信息對(duì)應(yīng)的情緒特征向量對(duì)應(yīng)的光線特征向量，并基于所述光線特征向量生成光線hdr紋理圖片，所述情緒特征信息用于反應(yīng)所述目標(biāo)對(duì)象的情緒。

40、第六方面，本技術(shù)實(shí)施例提供了一種情緒光照映射模型訓(xùn)練裝置，可應(yīng)用于服務(wù)器中，該裝置可以包括：

41、獲取模塊，用于獲取訓(xùn)練樣本情緒特征向量集合和每個(gè)訓(xùn)練樣本情緒特征向量對(duì)應(yīng)的光線hdr紋理圖片；

42、標(biāo)注模塊，用于對(duì)所述每個(gè)訓(xùn)練樣本情緒特征向量對(duì)應(yīng)的光線hdr紋理圖片進(jìn)行標(biāo)簽標(biāo)注；

43、訓(xùn)練模塊，用于基于所述每個(gè)訓(xùn)練樣本情緒特征向量和對(duì)應(yīng)的進(jìn)行標(biāo)簽標(biāo)注的光線hdr紋理圖片，對(duì)擴(kuò)散模型進(jìn)行訓(xùn)練，得到情緒光照映射模型，其中，所述情緒光照映射模型用于識(shí)別目標(biāo)對(duì)象的情緒特征信息對(duì)應(yīng)的情緒特征向量對(duì)應(yīng)的光線特征向量，并基于所述光線特征向量生成光線hdr紋理圖片，所述情緒特征信息用于反應(yīng)所述目標(biāo)對(duì)象的情緒。

44、第七方面，本技術(shù)實(shí)施例提供了一種視頻顯示方法，該方法可應(yīng)用于終端中，該方法可以包括：

45、接收服務(wù)器發(fā)送的包含目標(biāo)對(duì)象的視頻，其中，所述視頻是所述服務(wù)器根據(jù)采用本技術(shù)實(shí)施例提供的圖片處理方法得到的每一目標(biāo)圖片生成的；

46、對(duì)所述視頻的每一視頻幀進(jìn)行顯示。

47、第八方面，本技術(shù)實(shí)施例提供了一種視頻顯示裝置，該裝置可應(yīng)用于終端中，該裝置可以包括：

48、接收模塊，用于接收服務(wù)器發(fā)送的包含目標(biāo)對(duì)象的視頻，其中，所述視頻是所述服務(wù)器根據(jù)采用本技術(shù)實(shí)施例提供的圖片處理方法得到的每一目標(biāo)圖片生成的；

49、顯示模塊，用于對(duì)所述視頻的每一視頻幀進(jìn)行顯示。

50、第九方面，本技術(shù)實(shí)施例提供了一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)本技術(shù)所述的圖片處理方法、光線感知模型訓(xùn)練方法或者情緒光照映射模型訓(xùn)練方法。

51、第十方面，本技術(shù)實(shí)施例提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)本技術(shù)所述的圖片處理方法、光線感知模型訓(xùn)練方法、情緒光照映射模型訓(xùn)練方法或者視頻顯示方法中的步驟。

52、上述第二方面至第十方面中任一方面可以達(dá)到的技術(shù)效果可以參照上述第一方面中任一種可能設(shè)計(jì)可以達(dá)到的技術(shù)效果說(shuō)明，重復(fù)之處不予論述。

53、本技術(shù)的其它特征和優(yōu)點(diǎn)將在隨后的說(shuō)明書中闡述，并且，部分地從說(shuō)明書中變得顯而易見(jiàn)，或者通過(guò)實(shí)施本技術(shù)而了解。本技術(shù)的目的和其他優(yōu)點(diǎn)可通過(guò)在所寫的說(shuō)明書、權(quán)利要求書、以及附圖中所特別指出的結(jié)構(gòu)來(lái)實(shí)現(xiàn)和獲得。