本發明屬于人體動作捕捉，尤其針對姿態估計，具體涉及一種基于稀疏慣性傳感器的全身姿態估計方法。

背景技術：

1、虛擬現實和動作捕捉的融合創新能夠為用戶提供實時的反饋和高度的交互性，確保真實運動與虛擬場景的精確映射和匹配，使用戶能夠更加直接地參與到虛擬環境中，從而實現真實與虛擬的無縫融合。

2、基于視覺的動作捕捉應用方案成熟且占據了大部分市場份額，由多個rgb相機從不同角度監視和跟蹤目標特征點的實時圖像流來實現動作捕捉。該方案通常具有較高的實時性和響應性，但是易受光照條件和遮擋物等外部環境的影響。基于標識點的光學系統的捕捉精度被廣泛認可，其原理是通過動作捕捉相機實時探測粘貼在人體關節處的標識點，但是需要大型安裝和復雜的標定程序。隨著微機電系統技術的飛速進步，可穿戴傳感器為動作捕捉提供了新穎的解決方案。基于可穿戴傳感器的動作捕捉系統不受空間和環境的限制，避免了監測區域和環境遮擋的問題，傳感器的微型化也增加了用戶日常穿戴的舒適性，更適用于移動場景下的應用。但是類似于xsens等商用慣性動作捕捉系統，從17個或者更多數量的慣性傳感器獲取關節的加速度、角速度和磁場強度。特別是在長時間使用時，過多的傳感器數量會限制運動的多樣性和用戶的舒適度，并且多設備的管理成本以及計算的復雜度都會增加。

技術實現思路

1、為了克服現有技術中僅使用來自頭關節和左、右手腕關節的稀疏慣性輸入并不能適用于所有的全身姿態估計，本發明提供一種基于稀疏慣性傳感器的全身姿態估計方法。

2、為實現上述目的，本發明提供如下技術方案：一種基于稀疏慣性傳感器的全身姿態估計方法，具體識別步驟如下：

3、步驟s1：通過有限差分法和正向運動學算法，合成用于神經網絡訓練所需要的加速度數據、方向數據和角速度數據；

4、步驟s2：通過旋轉變換矩陣，對穿戴在用戶頭關節、左手腕關節、右手腕關節上的3個慣性傳感器所采集的原始加速度數據和原始方向數據進行對齊處理，以變換到可用的統一坐標系中；

5、步驟s3：通過結合transformer?encoder和雙向長短時記憶網絡的編碼器提取慣性運動數據樣本的深度特征，設計基于多層感知機的解碼器計算關節的位置和相對旋轉，結合人體運動學模型并分多個階段依次估計不同部位關節的相對旋轉，以實現全身姿態估計。

6、進一步的，步驟s1具體步驟包括：

7、s1.1：在smpl模型表面的頭關節和左、右手腕關節對應的網格頂點放置虛擬慣性傳感器，利用有限差分對虛擬慣性傳感器的相鄰時間幀的同一個網格位置計算合成加速度數據：

8、

9、其中，xi(t)和ai(t)分別表示第i個虛擬慣性傳感器在第t幀的網格位置和加速度數據，i＝1,2,3，δt是兩個連續幀之間的時間間隔，n為平滑因子；

10、s1.2：利用正向運動學算法，按照smpl模型從真實關節姿態來計算3個虛擬慣性傳感器的合成方向數據；

11、ri(t)＝fk(p(t))

12、其中，fk(·)為正向運動學算法，ri(t)是第i個虛擬慣性傳感器的方向數據，p(t)是全身關節的真實姿態數據；

13、s1.3：通過所述合成方向數據計算合成角速度數據：

14、wi(t)＝ri(t-1)-1ri(t)

15、其中，wi(t)和ri(t)分別表示第i個虛擬慣性傳感器在第t幀的合成方向數據和合成角速度數據。

16、進一步的，步驟s2具體步驟包括：

17、s2.1：需要找到一個變換矩陣來建立全局慣性坐標系fi和smpl坐標系fm之間的聯系，表示為rmi:fi→fm；選擇任意一個慣性傳感器穿戴在頭關節，并確保傳感器軸與smpl身體框架保持一致，這樣傳感器坐標系fs和smpl坐標系fm就是恒等的；由于慣性傳感器的方向數據表示為ris:fs→fi，頭部位置的慣性傳感器的方向讀數rhead的逆矩陣被視為從fi到fm的轉換矩陣rmi；

18、s2.2：按照任意方向穿戴剩余的兩個慣性傳感器，身體保持統一的t形姿勢，以便獲取相對于傳感器坐標系fs的初始加速度和相對于全局慣性坐標系fi的初始方向

19、將剩余的兩個慣性傳感器以任意的方向穿戴在左手腕關節、右手腕關節，身體保持統一的t形姿勢，以便獲取相對于傳感器坐標系fs的初始加速度和相對于全局慣性坐標系fi的初始方向設傳感器和骨骼之間的角度偏差rbs是恒定的，則得到骨骼相對于全局慣性坐標系fi的初始方向

20、s2.3：由于初始姿勢是統一的，所以全身骨骼方向能夠通過smpl模型計算得到，故骨骼在smpl坐標系下的方向是已知的，對于任意的姿勢，在不同坐標系下的骨骼的絕對方向是等價的，得到由于fm＝firmi，因此能夠得到虛擬骨骼方向，也就是慣性傳感器在骨骼坐標系下的方向數據。

21、s2.4：對于原始加速度數據，首先根據慣性傳感器的原始方向數據轉換到全局慣性坐標系fi，即然后加速度數據在減去重力后轉換到smpl坐標系fm，慣性傳感器的加速度數據在smpl坐標系fm和骨骼坐標系fb中相等，所以同時轉換到骨骼坐標系fb。

22、進一步的，所述步驟s3具體步驟包括：

23、s3.1：通過設計結合transformer?encoder和雙向長短時記憶網絡的編碼器提取慣性數據(包括加速度數據、方向數據、角速度數據)的深度特征，設計基于多層感知機的解碼器計算關節的相對于腰關節的位置和相對于父關節的旋轉，結合人體運動學模型并分多個階段依次估計不同身體部位關節相對于父關節的旋轉；所述的慣性數據包括加速度數據、方向數據、角速度數據；

24、s3.2：結合人體運動學模型并分多個階段依次估計局部關鍵關節、上半身關節和全身關節相對于父關節的旋轉以及腰關節的全局旋轉，其中：第一階段實現從慣性測量值x到局部關鍵關節姿態p1和全局方向p(1)的映射，其中局部關鍵關節的位置b作為中間過程；第二階段實現從慣性測量值x和第一階段輸出的局部關鍵關節姿態p1來估計上半身關節姿態p2和全局方向p(2)；第三階段實現從慣性測量值x和第二階段輸出的上半身關節姿態p2來估計全身關節姿態p3和全局方向p(3)。

25、本發明的技術效果和優點：

26、本發明利用來自用戶頭關節和左、右頭腕關節的三個慣性傳感器所提供的加速度和方向測量值作為輸入，設計了一種基于稀疏慣性傳感器的全身姿態估計方法。首先利用局部慣性數據的優勢來估計局部關鍵關節的姿態，然后再逐步向骨盆和軀干等上半身核心部位延伸，最后實現全身運動的準確重建。在姿態估計層面，專門設計了結合transformerencoder和雙向長短時記憶網絡的解碼器以提高對慣性運動信息的理解，并使用基于多層感知機的解碼器共享來自編碼器的豐富和全面的高維姿態特征，把稀疏跟蹤的加速度和方向測量值充分映射到smpl模型的全身關節。使用有助于實時架構部署的基于滑動窗口的測試策略并使用過去和未來的運動信息來預測當前的姿態，實時生成具有可接受延遲的動畫演示效果。本發明提出的方法能夠有效地克服現有姿態估計方法中使用稀疏慣性輸入進行全身運動重建的缺陷，有效提高了系統的魯棒性和預測精度。