專利名稱：一種人體運動學參數的提取方法
技術領域：
本發明屬于信息技術中的多攝像頭視覺測量領域，尤其涉及一種人體運動學參數的提取方法。
背景技術：
目前，為捕捉人體運動并獲取三維步態信息，已有基于標記點或無標記點運動捕捉技術的三維步態分析方法。而非接觸式無標記人體運動捕捉技術被認為是最有前途且最有效的三維步態定量分析方法，但目前仍然面臨著許多挑戰，離實際應用還有一段距離，具體分析如下:(I)基于標記點運動捕捉技術的三維步態分析方法，需要在人體上標注標記點，然后得到標記點的三維位置，最終獲得人體的運動姿態信息。一般來說，基于標記點運動捕捉的三維步態分析系統較昂貴；對操作人員要求較多；步態分析數據易受遮擋影響。而且研究結果也表明，在實驗室等特定環境下基于標記點運動捕捉或壓力板的三維步態分析方法，較難獲取到人體的真實步態信息，其原因為:數據采集時，標記點位置本身可能存在誤差；人體受實驗室環境影響，可能存在恐懼心理，以致無法呈現其真實的步態模式；要求人體按照恒定行走速度行走或踩踏壓力板，均影響到病人的正常行走。(2)基于無標記點運動捕捉技術的三維步態分析方法，直接從圖像序列中提取人體運動信息，大致可分為基于模型的方法和無模型方法兩大類，這種非接觸式觀測方法有助于人體真實步態信息的呈現。雖然這種方法已進行了較深入研究，但目前仍面臨著巨大的挑戰，如高維人體運動狀態參數帶來的計算復雜性，人體遮擋與自遮擋，初始幀人體的參數確定等問題。因此，這種方法在短時間內還無法有效應用到醫學三維步態分析中。目前國內醫學機構使用的步態分析系統大多是基于標記點運動捕捉技術的三維步態分析系統，價格昂貴，操作復雜，無法普及應用；同時，還有些醫療機構仍在使用二維步態分析系統，這些均大大阻礙了人體運動學測量領域的發展。

發明內容
為解決上述問題，本發明提供了一種人體運動學參數提取方法，其包括:步驟1:標定多視角相機的內部參數和鏡頭畸變系數，標定多視角相機之間的空間位置關系，以建立多視角系統中三維世界坐標系與二維圖像坐標系之間的映射關系；步驟2:根據人體運動初始圖像定位人體頭頂點的初始位置；步驟3:通過跟蹤人體頭頂點在人體運動圖像中的運動軌跡，根據多視角系統中三維世界坐標系與二維圖像坐標系之間的映射關系，獲得人體頭頂點在三維空間下的三維運動軌跡；步驟4:對所述人體頭頂點的三維運動軌跡進行規范化預處理，獲得人體運動時的身高波動信息和搖擺 運動信息；步驟5:從所述身高波動信息和搖擺運動信息提取人體運動學參數。
本發明采用多攝像頭視覺測量技術:(I)根據應用場景和視野范圍選定合適的攝像頭和鏡頭，搭建多攝像頭視覺系統，并對各相機分別進行標定，獲得各相機的內部參數，根據地面上的世界坐標系，獲得各相機的外部參數，再進行立體標定，進一步獲得各相機之間的空間位置關系；(2)在人體初始運動各圖像幀，基于多攝像頭多視角信息融合技術，精確定位人體在各圖像中的頭頂點位置，并作為頭頂點的初始位置；(3)人體后續運動各圖像幀，分別跟蹤頭頂點初始位置，并利用多攝像頭測量技術，獲取到頭頂點的三維坐標，從而獲得頭頂點的三維運動軌跡；(4)人在行走過程中，人體側視平面上的運動變化最大，呈現的信息最多，其次是俯視平面，為提取人體側視平面上的身高波動信息和人體俯視平面上的搖擺運動信息，對頭頂點三維運動軌跡進行規范化預處理，得到身高波動曲線和搖擺運動曲線，用于表征人體運動信息；(5)最終，從身高波動曲線和搖擺運動曲線中提取出人體運動學參數。本發明提出的人體運動學參數提取方法，有助于臨床康復醫學中病理步態的障礙診斷、康復治療方案的制定和療效評定等，方法簡單、易行、有效，據此搭建的病理步態視覺分析系統成本低廉、便于操作。


圖1是本發明中人體運動學參數提取方法的總框圖；圖2是本發明中相機成像模型及物理成像和歸一化成像坐標系；

圖3是本發明中多相機立體標定示意圖；圖4是本發明中頭頂點初始定位方法流程圖；圖5是本發明中頭頂點三維運動軌跡生成流程圖及軌跡圖；圖6是本發明中解剖學人體運動機理示意圖；圖7是本發明中人體運動坐標系及局部運動方向示意圖；圖8是本發明中規范化頭頂點三維運動軌跡圖；圖9是本發明中人體運動學參數與步態信息的對應關系圖。
具體實施例方式為使本發明的目的、技術方案和優點更加清楚明白，以下結合具體實施例，并參照附圖，對本發明進一步詳細說明。圖1給出了本發明中人體運動學參數提取方法的總框圖，由圖中可見，該方法包括相機標定、頭頂點初始定位、頭頂點三維運動軌跡的生成、軌跡規范化處理、運動學參數提取等五個步驟。此外，輸入數據為多攝像頭同步采集的人體直線運動圖像序列；各相機采集的人體直線運動圖像在進一步處理前先進行了畸變校正操作，以消除鏡頭帶來的圖像畸變。以下結合相關附圖對本發明各步驟做進一步的詳細描述:步驟1:相機標定，即標定各相機的內部參數和鏡頭畸變系數以及各相機之間的空間位置關系，以建立多攝像頭視覺系統中地面三維世界坐標系與二維圖像坐標系之間的映射關系。設定整個工作范圍為6米X4米，針對這一視場，選用視場適中的鏡頭。綜合考慮這些因素，選取焦距為6_的鏡頭。場景中選用四個攝像頭，其位置布局如附圖1左邊所示，該四個攝像頭分別布置在視角1-4處，其中將視角I的相機作為基準相機。
參見附圖2所示，由圖中可見，相機標定主要涉及四個坐標系，即三維世界坐標系xwywzw(原點在地面，且Zw軸垂直于地面)、三維相機坐標系ΧΛΛ(原點位于鏡頭光心，且ζ。軸與光軸重合)、二維圖像物理坐標系x0iy (原點位于圖像中心，坐標為物理坐標)、二維圖像像素坐標系u0v(原點位于圖像左上角，坐標為像素坐標)。如附圖2所示，采用線性攝像機針孔模型，定義空間點P在三維世界坐標系下的坐標為[Xm Yw ZJt，其相應的齊次坐標為P= [Xw Yw Zw I]τ ;定義點P在三維相機坐標系下的坐標為[Xc Y。ZJt，其齊次坐標為P。= [Xc Y。Zc 1]τ ;定義點P在二維圖像平面上的投影點為P'，其二維圖像物理坐標系下的坐標為[X y]T(單位:毫米)，其二維圖像像素坐標系下的坐標為[U ν]τ,其齊次坐標為P' = [uvl]T。相機的光軸與圖像平面的交點O1的像素坐標為[U。V0Jt ;圖像單位像素在X軸與y軸方向上的物理尺寸分別為dx、dy。則點P在三維坐標系下的坐標與其在二維圖像平面上的投影點V的二維圖像坐標下的坐標之間的映射關系為:
權利要求
1.一種人體運動學參數的提取方法，其包括: 步驟1:標定多視角相機的內部參數和鏡頭畸變系數，標定多視角相機之間的空間位置關系，以建立多視角系統中三維世界坐標系與二維圖像坐標系之間的映射關系； 步驟2:根據人體運動初始圖像定位人體頭頂點的初始位置； 步驟3:通過跟蹤人體頭頂點在人體運動圖像中的運動軌跡，根據多視角系統中三維世界坐標系與二維圖像坐標系之間的映射關系，獲得人體頭頂點在三維空間下的三維運動軌跡； 步驟4:對所述人體頭頂點的三維運動軌跡進行規范化預處理，獲得人體運動時的身高波動信息和搖擺運動信息； 步驟5:從所述身高波動信息和搖擺運動信息提取人體運動學參數。
2.如權利要求1所述的方法，其特征在于，對于每一個視角相機，步驟I中在不考慮畸變的情況下，通過標定板獲得相機的初始內部參數，以及相機相對于標定板的單應性矩陣。
3.如權利要求2所述的方法，其特征在于，步驟I中在計算得到了相機的初始內部參數以及相機相對于標定板的單應性矩陣以后，在考慮畸變情況下計算鏡頭畸變系數，并進一步優化相機的初始內部參數，具體過程包括: 步驟11:根據相機相對于標定板的單應性矩陣將標定板上各角點的三維世界坐標變換到三維相機坐標； 步驟12:根據所述三維相機坐標和相機的初始內部參數得到所述標定板上各角點在二維圖像平面上無畸變的圖像像素坐標； 步驟13:基于鏡頭畸變 系數和相機的初始內部參數建立畸變校正后標定板上各角點的圖像像素坐標與具有鏡頭畸變的所述各角點在二維圖像平面上的圖像像素坐標之間的線性關系； 步驟14:基于上述所建立的線性關系，通過最小化標定板上各角點在二維圖像平面上無畸變的圖像像素坐標和具有鏡頭畸變的圖像像素坐標之間的誤差，得到鏡頭畸變系數和優化后的相機內部參數。
4.如權利要求1所述的方法，其特征在于，步驟I中，標定多視角相機之間的空間位置關系具體包括: 步驟15:標定板放置在水平地面，建立三維世界坐標系，進一步獲得標定板上各角點的三維世界坐標； 步驟16:采集標定板圖像，利用相機內部參數和鏡頭畸變系數，獲得校正后的標定板圖像； 步驟17:檢測校正后的標定板圖像上各角點的圖像像素坐標，并根據相機內部參數得到各角點在三維相機坐標系中的坐標； 步驟18:根據各角點的所述三維世界坐標和三維相機坐標計算得到各相機相對于水平地面的單應性矩陣，進而獲得相機相對于水平地面的空間位置關系； 步驟19:根據各視角相機相對于水平地面的空間位置關系建立多視角相機之間的空間位置關系。
5.如權利要求4所述的方法，其特征在于，步驟19中建立多視角相機之間的空間位置關系具體包括:以其中一個視角相機為基準相機，根據基準相機和其它視角相機與水平地面的單應性矩陣獲得其它視角相機與基準相機之間的單應性矩陣。
6.如權利要求4所述的方法，其特征在于，步驟I中還包括針對不同高度平面分別建立多視角相機之間的空間位置關系。
7.如權利要求1所述的方法，其特征在于，步驟2中根據人體運動初始圖像定位人體頭頂點的位置具體包括: 步驟21:各視角相機同步采集人體運動初始圖像，對所采集到的人體運動初始圖像進行畸變校正，得到校正后的各視角圖像； 步驟22:提取出各視角圖像中的前景人體運動區域； 步驟23:針對不同階高度平面，利用各相機之間的空間位置關系，將各視角圖像進行融合，最終生成各階高度平面的公共視角圖像； 步驟24:分別獲取每階高度平面的公共視角圖像灰度的各個極值點，將各個極值點中的最大值作為公共視角圖像中人體頭頂點的初始位置； 步驟25:基于各相機與基準相機之間的空間位置關系，再將公共視角圖像中確定的頭頂點初始位置變換到各視角圖像中人體頭頂點的初始位置。
8.如權利要求1所述的方法，其特征在于，步驟3中獲取人體頭頂點在三維世界坐標系下的三維運動軌跡具體包括: 步驟31:各視角相機同步采集人體后續的運動圖像，并對所采集到的運動圖像進行畸變校正，得到校正后的各視角人體運動圖像； 步驟32:在校正后的各視角人體運動圖像中，跟蹤人體頭頂點的初始位置，進而得到人體頭頂點在校正后的各視角人體運動圖像中的不同圖像位置； 步驟33:根據所獲的人體頭頂點在校正后的各視角人體運動圖像中的不同圖像位置以及各視角相機的內部參數和外部參數，計算頭頂點在三維世界坐標系下的空間坐標，進而獲得人體頭頂點在三維空間下的三維運動軌跡。
9.如權利要求1所述的方法，其特征在于，步驟4具體包括: 步驟41:根據人體頭頂點的三維運動軌跡定義人體運動坐標系和局部運動方向； 步驟42:根據人體頭頂點的三維運動軌跡上的各波谷點及局部運動方向，建立各段區間上的人體運動坐標系； 步驟43:將人體頭頂點的三維運動軌跡上的各點變換到各段區間上的人體運動坐標系上，進而得到人體運動坐標系下人體頭頂點的三維運動軌跡； 步驟44:根據人體運動坐標系下人體頭頂點的三維運動軌跡獲得人體運動時的身高波動信息和搖擺運動信息。
10.如權利要求1所述的方法，其特征在于，所述相機內部參數包括相機的焦比、中心點位置；外部參數包括三維相機坐標系和三維世界坐標系之間的轉換參數；各相機之間的空間位置關系指三維世界坐標系下，各視角相機之間的旋轉矩陣和平移向量。
全文摘要
本發明公開了一種基于頭頂點三維運動軌跡的運動學參數提取方法，包括標定多視角相機的內部參數和鏡頭畸變系數，標定多視角相機之間的空間位置關系；根據人體運動初始圖像定位人體頭頂點的初始位置；通過跟蹤頭頂點在人體運動圖像中的運動軌跡，根據多視角系統中三維世界坐標系與二維圖像坐標系之間的映射關系，獲得人體頭頂點在三維空間下的三維運動軌跡；對所述人體頭頂點的三維運動軌跡進行規范化預處理，獲得人體運動時的身高波動信息和搖擺運動信息；從所述身高波動信息和搖擺運動信息提取人體運動學參數。本發明提出的人體運動學參數提取方法，有助于臨床康復醫學中病理步態的障礙診斷、康復治療方案的制定和療效評定。
文檔編號A61B5/11GK103099623SQ201310030489
公開日2013年5月15日 申請日期2013年1月25日 優先權日2013年1月25日
發明者賈立好, 喬紅, 鄭碎武 申請人:中國科學院自動化研究所