專利名稱：一種基于單目視頻的人體關節自動標注方法
技術領域：
本發明屬于計算機視覺領域，涉及運動捕捉中的一種自動初始化方法，可用于人體的姿態估計和動作識別。
背景技術：
基于視覺的無標記運動捕捉技術的研究始于20世紀80年代。無標記的運動捕捉技術融合了計算機視覺、計算機圖形學、圖像處理、人體運動學和人工智能等學科的研究內容，是多學科交叉的一個熱門領域，極具挑戰性。人體運動捕捉技術具有很強的實用價值， 可以廣泛應用于各個領域，主要有智能監控系統、新型人機交互、醫學診斷分析、電影和動畫制作、游戲制作、虛擬現實、基于內容的視頻序列索引和檢索、運動員輔助訓練等。例如， 在當前的人機交互系統中，交互方式是非自然的，人需要適應不同機器的不同操作方式。當前使用較多的交互方式主要為鍵盤、鼠標、觸屏等。而隨著技術的進步，人們提出了更高的需求，那就是通過人的自然表達，包括語音、動作、表情等，就能與機器進行交流。如果人的這些表達方式能夠被機器所理解，那人機交互將會變得更加自然、更加符合人與人之間的交流模式。由于運動捕捉的重要應用價值吸引著越來越多研究人員的目光。一些商家已經開始推出商用的運動捕捉系統。目前市場上比較成熟的運動捕捉系統主要有機械電動式、 電磁式、聲學式和光學式四類接觸式運動捕捉系統。但這幾種運動捕捉系統要使用價格昂貴、專門的信號發生設備，并且被捕捉對象身上佩戴的特殊的標記會干擾到被捕捉對象的行動，從而影響運動分析的價值，同時對應用場合也有很多的限制。如果能夠找到一種解決方案可以克服上述缺點，則會使這項技術產生廣闊的應用前景，如自動智能監控、新型人機交互等。基于以上原因，人們將目光逐漸投向低成本、非接觸式的無標記運動捕捉技術。從國內外的研究情況來看，運動捕捉技術具有強大的生命力和廣闊的應用前景。 目前商用的接觸式運動捕獲系統已被開發出來，在動畫電影制作方面取得了一定成果。與商業化的接觸式運動捕捉系統相比，基于無標記的運動捕捉領域的研究仍然處于發展初級階段，在實時性、準確性和魯棒性方面還不盡如人意。目前，基于視覺的運動捕捉系統中很多方法還處于實驗階段。雖然目前對于運動捕捉的研究存在諸多的難題，但廣闊的應用場景與深遠的研究意義正不斷激勵著研究人員進行更為深入的研究。相信這項技術的突破性進展會對人的生活方式產生革命性的影響。Aggarwal和Cai將運動捕捉分為身體結構分析、跟蹤和識別三個階段。其中身體結構分析分為基于模型和無模型的方法，跟蹤階段按照使用攝像機的數量劃分為單攝像機和多攝像機的方法(單目和多目)，識別階段則分為基于狀態空間和基于模板匹配的方法。 基于模型的方法使用先驗人體模型作為輸入，將姿態估計的階段分為建模和估算階段。建模階段相當于一個創建似然函數的初始化過程，包括人體模型重建、攝像機參數求解、圖像特征提取和基于人體生理結構進行的關節運動限制。估算階段是搜索人體運動姿態的解空間，以尋找使似然函數和目標圖像匹配誤差最小的解。
由于目前大多數方法的初始化過程采用人工手動標注關節點，嚴重影響了系統的實用性要求，故而需要一種自動標注方法來提高系統實用性。這種方法還要具有較高的準確性以及對不同捕捉對象的適應性。

發明內容
本發明解決的關鍵問題是人體各部分分割和人體骨架重建。由于不同人的形體大小、衣著以及動作的具體幅度與方式都存在很大差異，能夠進行有效的人體各肢體部分分割和人體骨架模型重建就具有很大的難度，同時也具有很大的價值。如果能夠進行準確有效的人體各部分分割，就能夠比較容易的獲得各個肢體部分的姿態信息，將對下一步人體特征向量的獲取與處理工作提供有利條件。而人體骨架重建則面臨狀態空間過大，數據處理困難的問題。本發明建立了比較簡單的人體骨架模型，在不丟失有效信息的情況下，可以盡量減少運算的復雜度。為達到上述目的，本發明按以下步驟實現I.前景檢測使用攝像機獲取人體運動視頻，進行防抖去噪處理。通過背景建模， 獲取前景區域。為減少后續步驟的運算量，將原彩色圖像幀中的前景區域作為感興趣區域進行保存，在后續的處理步驟中就可以只對此感興趣區域進行處理，從而提高系統的運算速度；2.人體區域確定與分割(I)人體剪影獲取對步驟I中的前景圖像進行二值化處理，并使用形態學方法來獲取更為完整的剪影圖像。計算剪影的面積，去除小的噪點及干擾目標；(2)獲得剪影的外輪廓使用邊緣檢測的方法對剪影圖像進行處理，獲得剪影的外輪廓。以采樣點在圖像中的像素位置對輪廓信息進行保存，同時計算輪廓重心所在位置， 測量并保存輪廓的寬、高信息。使用輪廓的高度信息對輪廓進行大小歸一化，使以后的數據處理及保存更為統一；3.人體骨架獲取與處理(I)對步驟2中的人體剪影進行細化處理，得到細化骨架；(2)骨架特征點提取首先檢測細化骨架中的交點、分叉點作為候選關鍵點，然后對細化骨架圖像進行霍夫直線檢測，通過設定霍夫變換的閾值，能夠獲得最為有效線段信4.根據臉和手的相對位置進行人體姿態的粗略估計(I)在原圖像中分割出人體運動區域進行保存，并將之轉換到HSV空間，利用已經訓練好的膚色模型進行膚色檢測；(2)對膚色提取區域進行二值化處理，并進行形態學操作，獲取較為完整的膚色區域；(3)利用膚色區域中心位置，進行人體姿態的粗略預估計。具體方法為計算臉與兩手所形成的三角形的頂角角度，由于人體臉部位置相對固定，可以根據此數據判斷人體雙手的位置與運動信息，此步驟對于人體的關節點位置判定重要意義。5.人體關節點自動標注(I)將人體輪廓重心位置作為腹部節點，通過重心點作水平線，記錄水平線與人體輪廓的交點，將兩交點之間的距離作為人體軀干寬度；(2)計算重心點與輪廓采樣點的歐氏距離，通過計算相鄰點歐氏距離的差值，尋找差值極值點作為人體頭部、手腳關節點的候選位置。根據候選點與中心點的相對位置將候選點分為頭部節點、手部節點和腳部節點三部分。并在此時利用步驟4中的手部及臉部的檢測結果將此三類候選點分開；(3)將步驟3中的超過三條線段的交點作為人體胸部節點。利用人體高度信息及人體測量學先驗知識，將人體分為上半身與下半身兩部分。在上半身分割中，利用人體比例信息，找到頸部關節中心。將頸部關節與胸部關節連線中點作為鎖骨近端節點(4)將鎖骨近端節點作為中心點，向左右分別延伸1/2的軀干寬度，作為人體肩部關節點；(5)肘關節確定首先，根據肩關節到手關節的距離信息來判斷人的胳膊是否處于伸直狀態。若判定為伸直狀態，則將肩關節與手關節的連線中點作為肘部關節點；若判定為彎曲狀態，則對步驟3中的霍夫線段檢測得到的關于手部的線段進行分析，將線段非手部關節點的另一個端點作為肘部關節點；(6)髖關節及膝關節的確定首先在輪廓圖像中找到雙腿分叉點，然后通過此點作水平線，各取距離分叉點為肢體寬度的1/4的點作為髖骨的左右端點。膝關節點確定，將髖骨左右端點分別與左右腳部節點連線。根據人體解剖信息，大小腿長度近似相等，故將連線中點分別作為左右膝關節點(7)相應關節點連線，形成二維骨架圖像。


為了更清楚地說明本發明實施例，下面將對本發明實施例描述中所需要使用的附圖作簡單的介紹，顯然地，下面描述中的附圖僅是本發明的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動前提下，可以根據這些附圖獲得的更多的附圖。圖I所示為本發明的整體實現流程圖；圖2所示為人體關節點標注順序圖。
具體實施例方式下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚完整的描述。顯然，所描述的實例僅僅是本發明一部分實施例，而不是全部的實施例。基于本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬于本發明保護范圍。圖I為本發明一個實施例提供的人體關節自動標注方法的流程圖，該方法的步驟包括S101、前景檢測；使用攝像機獲取人體運動的視頻，進行防抖去噪處理。背景建模，獲取前景區域。 為減少后續步驟的運算量，將原彩色圖像幀中的前景區域作為感興趣區域進行保存，在后續的處理步驟中就可以只對此感興趣區域進行處理，從而提高系統的運算速度。本發明中所述的感興趣區域是指原圖像幀中的前景掩模圖像。在本實施例中，將前景圖的最大外接矩形作為感興趣區域進行保存并進行后續處理。S102、人體區域確定與分割；對SlOl中的前景圖像進行二值化處理，通過腐蝕和膨脹的方法分別去除小噪點和空洞以獲取更為完整的剪影圖像。計算剪影的面積，設定面積閾值以去除小的噪點及干擾目標，進而獲取人體區域。S103、人體骨架獲取與處理；(I)對S102中的人體剪影進行距離變換處理，得到人體骨架本實施例使用距離變換的方法提取二值剪影圖像的骨架信息。骨架化就是將圖像區域結構形狀簡化為圖形，既保持了原區域的拓撲結構，又減少了運算量，使提取的特征更為簡化。而距離變換把任意圖形轉換成線劃圖，具體就是求二值圖像中各個I像素到O像素的最短距離。對二值圖像，圖像中兩個像素m和η間的距離可以用適當的距離函數來測量。 設M為像素值為I的區域，N為像素值為O區域，求從M中任意像素到N的最小距離叫做二值圖像的距離變換。在經過距離變換得到的圖像中，距離最大值點的集合就形成骨架。(2)細化骨架特征點提取；首先檢測細化骨架中的交點、分叉點作為候選關鍵點；然后對細化骨架圖像進行霍夫直線檢測，通過設定霍夫變換的閾值，獲得最為有效的線段信息。為了將骨架圖像進行正確的分割以查找不同的骨骼部分，需要對骨架圖像進行 Hough變換。Hough變換是尋找一種從區域邊界到參數空間的變換，用大多數邊界點滿足的對應的參數來描述這個區域的邊界。在預先知道區域形狀的條件下，利用Hough變換可以方便地得到邊界曲線并將不連續的邊緣像素點連接起來。Hough變換的基本思想是點線的對偶性。使用Hough變換查找圖中直線的方法如下在直角坐標系中的一條直線，原點到該直線的垂直距離為P，垂線與X軸的夾角為Θ，則這條直線方程為P = xcos Θ +ysin Θ這條直線用極坐標表示則為點(P，Θ )。直角坐標系中的一條直線對應極坐標系中的一點，這種線到點的變換就是Hough變換。在直角坐標系中過任一點的直線系滿足P = X0Cos Θ +y0sin θ = (x02+y02)3/2sin( θ +Φ)其中φ= tanlyo/xo)這些直線在極坐標系中所對應的點(P，Θ)構成一條正弦曲線。反之，在極坐標系中位于這條正弦曲線上的點，對應直角坐標系中過點( ,%)的一條直線。設平面上若干點，過每點的直線系分別對應于極坐標上的一條正弦曲線。若這些正弦曲線有共同的交點 (P '、Θ ')，則這些點共線，且對應的直線方程為P ' = xcos Θ ' +ysin Θ '圖像空間中共線的點對應于參數空間中相交的線。反過來，在參數空間中相交于同一點的所有直線在圖像空間中都有共線的點與之對應。當給定圖像空間中的一些邊緣點時，就可以通過Hough變換確定連接這些點的直線方程。把在圖像空間中的直線檢測問題轉換到參數空間中對點的檢測問題。這樣，就可以找到骨架圖像中的各個骨骼部分了。S104、獲得剪影的外輪廓并計算重心、輪廓寬高及面積信息；A.使用邊緣檢測的方法對剪影圖像進行處理，獲得剪影的外輪廓。本實施例使用freeman鏈碼對邊緣信息進行保存。該方法采用曲線起始點的坐標和斜率來表示曲線。對于離散數字圖像而言，區域的輪廓可理解為相鄰邊界像素間的單元連線逐段相連而成。對于圖像某像素的8-鄰域，把該像素和其8-鄰域的各像素連線方向進行編碼，用0，1，2，3， 4，5，6，7，表示8個方向，這種代碼稱為方向碼。其中偶數碼為水平或垂直方向的鏈碼，碼長為I ;奇數碼為對角線方向的鏈碼，碼長為。這種鏈碼組合表示既能進行有關形狀特征的計算，又節省了存儲空間。B.計算輪廓重心所在位置，測量并保存輪廓的寬、高信息。使用輪廓的高度信息對輪廓進行大小歸一化，使以后的數據處理及保存更為統一。區域邊界的周長的計算假設區域的邊界鏈碼為&1，&2. . . an，每個碼段％所表示的線段長度為Alt,則區域邊界的周長為
權利要求
1.一種基于單目視頻的人體關節自動標注方法，其特征在于包括以下步驟步驟I.前景檢測使用攝像機獲取人體運動的視頻并進行預處理背景建模，獲取前景區域；為減少后續步驟的運算量，將原彩色圖像幀中的前景區域作為感興趣區域進行保存，在后續的處理步驟中就可以只對感興趣區域進行處理，從而提高系統的運算速度；步驟2.人體區域確定與分割(1)人體剪影獲取；對步驟I中的前景圖像進行二值化處理，并使用形態學方法來獲取更為完整的剪影圖像；計算剪影的面積，去除小的噪點及干擾目標；(2)剪影外輪廓獲取及歸一化使用邊緣檢測的方法對剪影圖像進行處理，獲得剪影的外輪廓；同時計算輪廓重心所在位置；使用輪廓的高度信息對輪廓進行大小歸一化，使以后的數據處理及保存更為統一；步驟3.人體骨架獲取與處理(1)對步驟2中的人體剪影進行距離變換處理，得到細化骨架；(2)骨架特征點提取首先檢測細化骨架中的交點、分叉點作為候選關鍵點，然后對細化骨架圖像進行霍夫直線檢測；步驟4.根據臉部和手的相對位置進行人體姿態的粗略估計(1)在原圖像中分割出人體運動區域進行保存，利用膚色模型進行膚色區域檢測；(2)對膚色提取區域進行二值化處理，并進行形態學操作，獲取較為完整的膚色區域；(3)利用膚色區域中心位置，進行人體姿態的粗略預估計；步驟5.人體關節點自動標注(1)將人體輪廓重心位置作為腹部節點，通過重心點作水平線，記錄水平線與人體輪廓的交點，將兩交點之間的距離作為人體軀干寬度；(2)計算重心點與輪廓采樣點的歐氏距離，通過計算相鄰點歐氏距離的差值，尋找差值極值點作為人體頭部、手腳關節點的候選位置；根據候選點與中心點的相對位置將候選點分為頭部節點、手部節點和腳步節點三部分，并在此時利用步驟4中的手部及臉部的檢測結果將此三類候選點分開；(3)將步驟3中的超過三條線段的交點作為人體胸部節點，利用人體高度信息及人體測量學先驗知識，將人體分為上半身與下半身兩部分；在上半身分割中，利用人體比例信息，找到頸部關節中心；將頸部關節與胸部關節連線中點作為鎖骨近端節點；(4)將鎖骨近端節點作為中心點，向左右分別延伸1/2的軀干寬度，作為人體肩部關節占.(5)肘關節確定首先，根據肩關節到手關節的距離信息來判斷人的胳膊是否處于伸直狀態；若判定為伸直狀態，則將肩關節與手關節的連線中點作為肘部關節點；若判定為彎曲狀態，則對步驟3中的霍夫線段檢測得到的關于手部的線段進行分析，將線段非手部關節點的另一個端點作為肘部關節點；(6)髖關節及膝關節的確定首先在輪廓圖像中找到雙腿分叉點，然后通過此點作水平線，各取距離分叉點為肢體寬度的1/4的點作為髖骨的左右端點；膝關節點確定，將髖骨左右端點分別與左右腳部節點連線，根據人體解剖信息，大小腿長度近似相等，故將連線中點分別作為左右膝關節點；(7)相應關節點連線，形成二維骨架圖像。
2.根據權利要求I所述的方法，其特征在于對骨架圖像進行霍夫直線檢測對細化骨架進行再分割，以查找人體各個骨骼部分，目的在于提高人體分割的準確性。
3.根據權利要求I所述的方法，其特征在于利用膚色區域的相對位置進行人體姿態的粗略判斷，即根據尋找到的臉部和手部的相對位置來判斷人體雙臂是處于伸展還是彎曲狀態。
4.根據權利要求I所述的方法，其特征在于人體軀干寬度的快速計算通過人體重心點與輪廓邊緣的水平交點確定的線段長度作為人體寬度的快速計算值。
5.根據權利要求I所述的方法，其特征在于頭部和四肢關節點的快速判別利用重心點與輪廓采樣點的歐氏距離，通過計算相鄰點歐氏距離的差值，尋找差值極值點作為人體頭部、手腳關節點的候選位置。
6.根據權利要求I所述的方法，其特征在于利用霍夫變換檢測出的線段輔助檢測肘關節點。
7.根據權利要求I所述的方法，其特征在于髖關節的確定首先在輪廓圖像中找到雙腿分叉點，然后通過此點作水平線，各取距離分叉點為肢體寬度的1/4的點作為髖骨的左右端點。
8.根據權利要求I所述的方法，其特征在于利用前景檢測獲取人體運動區域，并保存為感興趣區域，在后續步驟中只對感興趣區域進行操作，這樣就使要計算的像素數量明顯變少，大幅減小了計算量。
全文摘要
本發明提出了一種單目視頻中的人體關節自動標注方法。實現步驟為前景檢測并將前景作為感興趣區域進行保存，人體區域確定、部分分割以及剪影外輪廓獲取，人體骨架獲取及骨架關鍵點獲取，利用臉部與手部的相對位置進行人體姿態粗略估計，人體關節點自動標注。在自動標注過程中，綜合利用人體剪影輪廓信息、膚色信息以及由剪影獲得的骨架信息，能夠保證關節點提取的準確性。本發明能夠進行準確有效的人體部分分割，并能得到各個肢體部分的姿態信息，對下一步人體特征向量的獲取與處理工作提供有利條件。
文檔編號G06K9/54GK102609683SQ201210009859
公開日2012年7月25日 申請日期2012年1月13日 優先權日2012年1月13日
發明者張俊杰, 紀越峰, 顧仁濤 申請人:北京郵電大學