專利名稱：一種基于kinect的動作訓練方法
技術領域：
本發明涉及一種動作訓練方法，特別涉及一種基于kinect的動作訓練方法，屬于虛擬現實領域。
背景技術：
自動訓練系統能夠使用戶能夠在沒有教練的情況下對動作進行學習和訓練。但自動訓練往往需要昂貴的設備支持，這也妨礙了自動訓練系統步入普通的家庭。但是一些新型設備的出現使得原本很難實現的應用變成可能，例如微軟的kinect，它能夠實時的捕捉人體的姿態，并且它的價格便宜，能被大眾所接受。因此可以把一些訓練項目做成一個游戲應用，比如簡單的舞蹈、健美操等，用戶在娛樂的同時還能學習相應的技能。Akio Nakamura等人設計了一套基礎舞蹈訓練系統，該系統由動作捕捉設備、移動的顯示器以及附加在學員身上的震動器件組成。該訓練系統通過動作捕捉設備獲取教練舞蹈的動作數據，用動作數據生成動畫圖像顯示在能夠自動移動的顯示器上，在訓練時使用動作捕捉設備實時采集學員動作并與教練動作進行比較，用震動器提示學員動作與教練動作的差別。Doo Young Kwon等人使用體傳感器以及攝像機作為視覺傳感器設計了一套動作訓練系統，該系統使用體傳感器精確測量身體各部分的朝向、運動以及加速度，同時視覺傳感器實時采集用戶的圖像，通過多種傳感器結合，實現動作訓練的功能。例如，用戶手腕上的加速計測量不能通過肉眼觀察到的精確朝向變化以及速度變化，用戶通過比較自己動作與教練員動作的傳感數據，分析動作的不足。本發明實現了一個基于kinect的動作訓練方法，它分為在線訓練和離線訓練兩種方式。其不同點在于，在線訓練時，能夠自動把訓練動作劃分為若干個階段，分階段提示用戶，并使用動作動能與勢能的判斷用戶是否完成每一個階段的動作，在每一個階段，提示用戶該動作階段重要的關節點，用戶通過跟隨每一個階段的動作提示，對動作進行學習。離線訓練時，用戶首先自主完成動作，訓練系統自動將捕捉到的用戶動作與標準動作進行匹配，將匹配的動作進行對比分析，根據用戶動作與標準動作的骨骼方向的差距大小，在不同的骨骼上以不同的顏色進行標識，使用戶能夠更直觀地發現差距所在。本發明具有真實，便禾IJ，方便等優點，使用的設備簡單，使用戶能夠以一種虛實結合的方式學習相應的動作。

發明內容
本發明解決的技術問題提出一種基于kinect的動作訓練方法，它包括在線訓練和離線訓練兩種方式。在線動作訓練中，自動把訓練動作劃分為若干個階段，通過動能與勢能判斷用戶是否完成每一個階段的動作，并自動提示每個階段關鍵關節點；離線動作訓練中，自動實現用戶動作與標準動作的匹配，使用加權差距計算用戶動作差距，并把動作的差距通過直觀的方式呈現給用戶。本發明技術方案一種基于kinect的動作訓練方法，其特征在于如下步驟(1)用戶選擇所使用訓練模式，訓練方法分為在線動作訓練和離線動作訓練兩種模式；所述在線動作訓練用戶將跟隨虛擬教練員的提示完成動作訓練，動作將被分解成若干個階段，用戶跟隨每一個階段的提示完成動作訓練；所述離線動作訓練是由用戶自主完成動作，用戶動作通過kinect捕捉后自動與標準動作進行對比分析，并向提示用戶動作的
差距；(2)通過訓練視圖提示用戶完成訓練；所述訓練視圖分為動畫視圖及真實視圖， 動畫視圖中有兩個角色模型，分別代表教練員及用戶；教練員模型使用標準動作數據驅動， 完成動作演示的功能，稱之為虛擬教練員；用戶模型使用采集的用戶動作數據驅動，完成顯示用戶動作的功能；真實視圖顯示kinect采集的真實圖片，在動作訓練過程中用戶能夠通過真實視圖觀察自己的動作，真實視圖還能在訓練結束后回放用戶動作。進一步的，所述在線動作訓練的步驟如下(1. al)在線動作訓練將一套將要進行訓練的動作劃分為若干個階段，動作劃分使用關鍵動作提取方法完成，并通過能量方法判斷用戶是否完成每一個階段的動作；用戶跟隨動畫視圖中的虛擬教練員進行動作訓練，當判斷用戶已經完成每個階段的動作后，虛擬教練員自動提示下一個階段的動作，用戶通過跟隨虛擬教練員依次完成每一個階段的動作；(l.a2)對于每一個階段的動作，向用戶提示該階段動作需要注意的關鍵點，通過標記出較為重要的關節點提醒用戶注意；關鍵點通過計算每個階段各個關節點位移的均方差得到，取均方差最大的若干個關節點作為關鍵點，并提醒用戶注意每個階段的關鍵點。進一步的，所述的關鍵動作提取方法的步驟為1. 1. 1使用重要度計算方法評價每幀動作的重要程度，首先通過幀FtGO的前一幀動作Ft(Ic-I)與后一幀動作Ft(k+1)插值得到FtGO的插值幀IFtGO,然后計算幀FtGO與 IFtGO 的差距 interplaterError，公式如下
權利要求
1.一種基于kinect的動作訓練方法，其特征在于如下步驟(1)用戶選擇所使用訓練模式，訓練方法分為在線動作訓練和離線動作訓練兩種模式； 所述在線動作訓練用戶將跟隨虛擬教練員的提示完成動作訓練，動作將被分解成若干個階段，用戶跟隨每一個階段的提示完成動作訓練；所述離線動作訓練是由用戶自主完成動作， 用戶動作通過kinect捕捉后自動與標準動作進行對比分析，并向提示用戶動作的差距；(2)通過訓練視圖提示用戶完成訓練；所述訓練視圖分為動畫視圖及真實視圖，動畫視圖中有兩個角色模型，分別代表教練員及用戶；教練員模型使用標準動作數據驅動，完成動作演示的功能，稱之為虛擬教練員；用戶模型使用采集的用戶動作數據驅動，完成顯示用戶動作的功能；真實視圖顯示kinect采集的真實圖片，在動作訓練過程中用戶能夠通過真實視圖觀察自己的動作，真實視圖還能在訓練結束后回放用戶動作。
2.根據權利要求1所述基于kinect的動作訓練方法，其特征在于所述在線動作訓練的步驟如下(1. al)在線動作訓練將一套將要進行訓練的動作劃分為若干個階段，動作劃分使用關鍵動作提取方法完成，并通過能量方法判斷用戶是否完成每一個階段的動作；用戶跟隨動畫視圖中的虛擬教練員進行動作訓練，當判斷用戶已經完成每個階段的動作后，虛擬教練員自動提示下一個階段的動作，用戶通過跟隨虛擬教練員依次完成每一個階段的動作；(1. a2)對于每一個階段的動作，向用戶提示該階段動作需要注意的關鍵點，通過標記出較為重要的關節點提醒用戶注意；關鍵點通過計算每個階段各個關節點位移的均方差得至IJ，取均方差最大的若干個關節點作為關鍵點，并提醒用戶注意每個階段的關鍵點。
3.根據權利要求2所述基于kinect的動作訓練方法，其特征在于所述的關鍵動作提取方法的步驟為1. al. 1使用重要度計算方法評價每幀動作的重要程度，首先通過幀FtGO的前一幀動作Ft(H)與后一幀動作Ft(k+1)插值得到FtGO的插值幀IFtGO,然后計算幀FtGO與 IFtGO 的差距 interplaterError，公式如下jo in tN u m ber^interplaterError = ^ ^p0j - p]^其中<表示原始動作FtGO的第j個關節點X表示插值得到的動作IFtGO的第j個關節點，其中jointNumber為動作關節點的個數，關節點之間的距離采用歐氏距離計算；最后動作FtGO的重要度DtGO的計算公式為Dt (k) = (Ft (k+1) -Ft (k-1)) X interplaterError (Ft (k_l)，Ft (k)，Ft (k+1)) /2 ；1. al. 2關鍵動作提取算法通過不斷刪除重要度較低的動作最后得到關鍵動作，在刪除動作的過程中，會對動作的重要度進行更新，并且每次都會選擇重要度最低的動作刪除；1. al. 3使用基于靜態雙向鏈表和最小堆的復合堆數據結構進行優化，降低算法的時間復雜度。
4.根據權利要求2所述基于kinect的動作訓練方法，其特征在于所使用能量方法的步驟為通過動作的勢能判斷用戶動作與教練員動作的差距，當用戶已經完成某個階段動作后，與教練員的動作差距應較小；使用動作動能判斷用戶動作的穩定程度，當用戶完成某個階段的動作后，應等待虛擬教練員提示下一個階段的動作，此時用戶動作應較為穩定；當用戶的動作滿足動能和勢能分別小于預定閾值時，虛擬教練員將提示下一個階段的動作。
5.如權利要求1所述的基于kinect的動作訓練方法，其特征在于所述離線動作訓練的步驟為(l.bl))進行訓練時，虛擬教練員首先完成動作演示，然后用戶自主完成動作，在動作過程中kinect自動采集用戶動作數據，在用戶完成動作后將用戶動作與標準動作數據進行對比，并在動畫視圖中顯示對比結果；對比結果分上下兩排顯示，上排為采樣后的標準動作數據，下排為采樣的用戶動作，動作差距在用戶模型骨骼上以不同的顏色標識；(l.b2)使用動態規劃算法對用戶動作與標準動作進行匹配；用戶動作與標準動作要進行匹配后才能進行比較，離線動作訓練以用戶動作與標準動作的差距作為匹配代價，使用動態規劃算法，對采集動作數據與標準動作數據進行匹配，使得兩個動作序列進行匹配后的總代價最小；(1. b3)在計算用戶動作與標準動作的差距時，將計算用戶動作與標準動作所有對應骨骼的方向差距，方向差距使用骨骼長度進行加權，稱之為加權差距；根據加權差距的大小， 把用戶動作與標準動作的差距分為無偏差、中等偏差、嚴重偏差，并分別使用綠色、藍色、紅色在對應的骨骼上進行標識。
全文摘要
本發明是一種基于kinect的動作訓練方法，通過kinect采集人體動作數據，實現無標記點的人體動作提取，使動作訓練更加簡單實用。基于kinect的動作訓練方法分為在線動作訓練和離線動作訓練兩種方式。在線動作訓練能夠自動把訓練的動作劃分為若干個階段，用戶通過跟隨每一個階段的提示，對動作進行學習，通過用戶動作的動能和勢能判斷用戶是否完成每一個階段的動作，并自動計算并提示用戶該動作階段重要的關節點。離線動作訓練方法中，用戶首先自主地完成整個動作，用戶動作通過kinect捕捉后自動與標準動作進行匹配，通過對匹配的動作進行對比分析并根據用戶動作與標準動作骨骼方向上的差距大小以不同的顏色進行標識，使用戶能夠更直觀地發現差距所在。
文檔編號A63B24/00GK102500094SQ201110334909
公開日2012年6月20日 申請日期2011年10月28日 優先權日2011年10月28日
發明者吳威, 周忠, 梁進明 申請人:北京航空航天大學