本發明涉及數字人重建，尤其涉及一種聚焦關節點感知的數字人重建方法。

背景技術：

1、近年來，三維人體重建技術在計算機視覺和圖形學領域取得了迅速發展，并在虛擬現實、增強現實、影視制作和游戲開發等領域展現出廣泛的應用潛力。數字人重建的目的是通過計算機精確估計人體的幾何形狀和外觀，以支持虛擬場景中的高保真呈現，廣泛應用于影視制作和虛擬現實等領域。其中，可動的數字人臉部的高質量渲染是實現情感交互以及提供真實、沉浸式用戶體驗的關鍵。

2、為了實現更自然的人體動畫渲染效果，需重建高精度的人體模型，使數字人在虛擬環境中的渲染效果更加逼真和細膩。然而，在數字人動畫中，未曾見過的姿勢可能導致生成的動畫模型出現模糊或失真的問題，尤其是在復雜姿態下更為突出，例如基于nerf的數字人重建的方法，實現了數字人重建的快速的訓練和渲染，但是他們在全身的數字人重建的質量較低。

3、因此，申請人研發出一種聚焦關節點感知的數字人重建方法來解決上述問題。

技術實現思路

1、本發明提出一種聚焦關節點感知的數字人重建方法，以解決現有數字人重建方法針對未曾見過的姿勢可能導致生成的動畫模型出現模糊或失真的問題。

2、本發明通過以下技術方案來實現上述目的：

3、本發明一種聚焦關節點感知的數字人重建方法，包括：

4、獲取第一信息，所述第一信息包括動態人體的rgb圖像幀序列；

5、根據所述第一信息獲取第二信息，所述第二信息包括預測的各rgb圖像幀對應的smpl人體模型的形狀參數、姿態參數和人體相機位姿；

6、根據所述第二信息基于預設的smpl人體模型構建各所述rgb圖像幀對應的人體網格模型，將所述rgb圖像幀序列中第一幀的人體網格模型作為標準人體網格模型；

7、基于預設的三角面采樣規則所述標準人體網格模型的人體關節點區域進行采樣，得到相應的采樣結果；

8、據所述采樣結果對所述標準人體網格模型進行高斯場初始化，得到所述標準人體網格模型對應高斯基元的初始化參數；

9、根據所述第二信息構建當前rgb圖像幀的當前人體網格模型；

10、根據所述標準人體網格模型對應所述高斯基元的初始化參數、所述當前人體網格模型與所述標準人體網格模型對應所述三角面的旋轉變化和縮放變化計算得到當前所述rgb圖像幀對應所述高斯基元的新參數；

11、根據當前所述rgb圖像幀對應所述高斯基元的新參數和所述人體相機位姿渲染得到人體渲染圖片，計算所述人體渲染圖片與當前所述rgb圖像幀之間的損失，根據最小化所述損失的訓練策略迭代優化所有所述rgb圖像幀的所述高斯基元的參數，組合優化后的所有高斯基元，輸出重建的數字人。

12、具體地，獲取第一信息，根據所述第一信息獲取第二信息，包括：

13、獲取單目相機拍攝的動態人體的rgb圖像幀序列；

14、將所述單目相機拍攝的動態人體的rgb圖像幀序列輸入到預訓練過的人體參數預測模型中，輸出各rgb圖像幀對應的smpl人體模型的形狀參數、姿態參數和人體相機位姿。

15、進一步地，基于預設的三角面采樣規則所述標準人體網格模型的人體關節點區域進行采樣，得到相應的采樣結果，包括：

16、根據所述rgb圖像幀對應的人體網格模型構建人體關節點的點云檢測模型；

17、在所述點云檢測模型中的人體關節點區域進行密集采樣，得到密集采樣結果；

18、在所述點云檢測模型中除人體關節點區域外的其他區域進行隨機采樣，得到隨機采樣結果；

19、整合所述密集采樣結果和所述隨機采樣結果，得到所述采樣結果。

20、具體地，據所述采樣結果對所述標準人體網格模型進行高斯場初始化，得到所述標準人體網格模型對應高斯基元的初始化參數，包括：

21、對所述采樣結果中每個所述三角面的三個頂點進行隨機初始化權重，得到采樣點的隨機初始化權重；

22、根據所述隨機初始化權重對三個所述頂點進行插值處理，得到所述采樣點的坐標；

23、根據所述隨機初始化權重對三個所述頂點的法線進行插值，得到所述采樣點的法向量；

24、將所述采樣點沿所述法向量的方向對所述采樣點進行隨機偏移，得到對應高斯基元的位置；

25、根據所述高斯基元的位置計算所述高斯基元與其距離的最近高斯基元之間的距離并將該距離作為初始縮放值；

26、隨機初始化所述高斯基元的初始旋轉值、球諧函數和不透明度。

27、具體地，根據所述采樣結果對所述標準人體網格模型進行高斯場初始化，包括：

28、在每個所述三角面上使用對三個頂點的坐標隨機初始化權重為，使用所述初始化權重對頂點進行插值得到采樣點的坐標，使用所述初始化權重對所述頂點的法線進行插值得到法向量，其中：

29、其中，n1、n2、n3三個所述頂點的法線；

30、所述初始縮放值的計算公式如下：

31、

32、

33、其中為所述高斯基元的位置，為與所述高斯基元距離最近的高斯基元的位置，d為所述隨機偏移的距離；

34、將所述高斯基元的初始旋轉值初始化為四元數、球諧函數h初始化為維度的張量、不透明度α初始化為0.1；

35、其中，n為高斯基元個數，球諧函數階數d=3，所述張量在(n,3,0)位置的值為0.5，其余為0。

36、具體地，根據所述標準人體網格模型對應所述高斯基元的初始化參數、所述當前人體網格模型與所述標準人體網格模型對應所述三角面的旋轉變化和縮放變化計算得到當前所述rgb圖像幀對應所述高斯基元的新參數，包括：

37、根據所述標準人體網格模型的所述初始化權重、所述隨機偏移的距離、所述采樣三角面的三個頂點的坐標、所述法向量計算當前所述rgb圖像幀對應所述高斯基元的最終位置；

38、計算所述標準人體網格模型與所述當前人體網絡模型中對應三角面的旋轉變化；

39、根據所述旋轉變化和所述初始旋轉值計算當前所述rgb圖像幀對應高斯基元的最終旋轉值；

40、計算所述標準人體網格模型與所述當前人體網絡模型中對應三角面的面積變化；

41、根據所述面積變化和所述初始縮放值計算當前所述rgb圖像幀對應高斯基元的最終縮放值。

42、具體地，當前所述rgb圖像幀對應高斯基元的初始化參數的計算公式包括：

43、

44、

45、

46、其中為所述最終位置，為所述最終縮放值，為所述最終旋轉值，分別表示當前所述rgb圖像幀的所述采樣三角面的三個頂點的坐標，表示所述旋轉變化，表示所述面積變化。

47、進一步地，對所述人體關節點區域中的所述高斯基元加入幾何約束，包括：

48、構建幾何邊界約束，所述幾何邊界約束包括若所述高斯基元在變化過程中超出邊界閾值，則強制縮放所述高斯基元至邊界內容；

49、構建高斯基元縮放約束，所述高斯基元縮放約束包括給定縮放系數，在所述smpl模型中的面元信息中找到點對于的面元索引，根據所述面元索引鎖定到此面元上的高斯基元。

50、進一步地，所述訓練策略采用的訓練損失函數為：

51、

52、其中，將目標渲染出的圖片與所述標準幀的rgb圖做損失、為均方誤差損失、為感知相似性損失、為高斯基元縮放損失，為法線一致損失，其中均為常數，其中：

53、損失為：

54、

55、式中，h、w、c分別為圖片的高度、寬度和通道數，為渲染圖片的像素值，為相機拍攝圖片的像素值；

56、均方誤差損失為：

57、

58、式中，是所有像素點的平方誤差的均值，為渲染圖片的像素值，為相機拍攝圖片的像素值；

59、感知相似性損失損失為：

60、

61、式中，表示圖像i在vgg深度網絡中第i層特征映射，n為計算損失的特征層數，為渲染圖片，為相機拍攝圖片；

62、高斯基元縮放損失：

63、

64、式中，為所述高斯基元縮放的最大值，為所述高斯基元縮放的最小值，為規定最大縮放值，為規定最大縮放值和最小縮放值的比例的最大值；

65、其中，而為關節點區域高斯基元縮放損失，其中，，為非關節點區域高斯基元縮放損失，，：

66、法線一致性損失：

67、

68、其中n是從渲染深度圖導出的法線圖，為相機視錐內的高斯基元的法線，為第i個高斯基元的α的權重，這個損失能夠使高斯實現更平滑的表面。

69、進一步地，在所述迭代優化過程中：

70、判斷所述采樣點的所述初始化權重中是否存在負數；

71、若是，則判斷該所述初始化權重對應的所述三角面的頂點位于該所述初始化權重對應的所述三角面外部的另一三角面中；

72、通過所述另一三角面的三個頂點計算新的所述初始化權重，并將所述采樣點更新為所述另一三角面上的采樣點。

73、本發明的有益效果在于：

74、本發明提出的一種聚焦關節點感知的數字人重建方法，構建了高精度的數字人重建模型，使數字人在后續虛擬環境中的渲染效果更加逼真和細膩，避免了針對未曾見過的姿勢出現模糊或失真的問題，解決了現有數字人重建方法針對未曾見過的姿勢可能導致生成的動畫模型出現模糊或失真的問題。