專利名稱：3d人體姿態捕捉模仿系統的制作方法
技術領域：
本發明涉及一種3D人體姿態捕捉模仿系統。
背景技術：
在很多應用場合，例如體育示教、行為監控、動作分析等，人體姿態希望能夠被準確地呈現出來，這在2D空間是很難辦到的，只有在3D空間才能實現無損地顯示。人的動作豐富多彩，不同的動作往往代表不同的含義，如果能夠實時地對人的動作進行識別，進而根據識別結果在3D空間中進行模仿顯示，將能夠更準確生動地展示、還原人體姿態，極大地方便對人體動作含義的認知與學習。從一幅場景中實時地提取出人體的動作一直是國內外學術界研究的熱點，大多數研究是通過構建人體骨架幾何模型，對人體關節點位置進行估計，然后利用誤差最小原理進行匹配獲得的。這樣獲取的人體姿態能在很大程度上反映人的活動，但是很少有人在三維空間顯示獲取的人體姿態，導致獲取的人體姿態缺乏立體感，不能生動、形象地模仿人的動作。針對上述問題，本發明設計了一種集人體姿態捕捉與3D人體姿態模仿顯示于一體的系統，更真實地反映了人的活動，展示效果生動、形象。這種3D人體姿態捕捉模仿系統可應用于很多領域，例如可以安裝在車輛上獲取駕駛員的駕駛動作，輔助車輛駕駛行為細節數據的獲取，更好地服務于智能交通系統；可以安裝在肢體病患者恢復中心，病患者可以做一些基本的恢復動作，然后觀察三維立體顯示器里顯示的人體姿態，起到反饋的作用，從而對不規范的動作進行糾正，既能恢復身體健康又能娛樂身心；還可以在三維立體顯示器中放映體操、武術、舞蹈等連貫動作，讓人們從三維立體顯示器中看到準確的姿態指導，達到規范學習的目的。

發明內容
本發明的目的是針對現有技術的需求，提供一種3D人體姿態捕捉模仿系統，能夠進行實時人體動作捕捉，并在三維立體顯示器中顯示出來以模仿人體姿態；同時還能夠按要求顯示各種人體姿態，用于人體姿態展示。本發明的3D人體姿態捕捉模仿系統，包括人體動作捕捉模塊、人體關節點識別和人體姿態處理模塊、人體姿態顯示模塊；其中人體動作捕捉模塊包括RGB攝像頭、紅外發射器、紅外接收器；所述RGB攝像頭負責采集攝像頭環境信息，生成數據幀通過通訊模塊傳送給人體關節點識別和人體姿態處理模塊進行處理，產生可見光圖像；所述紅外發射器負責發出固定模式的激光散斑；所述紅外接收器負責接收紅外光，生成紅外光圖像數據幀通過通訊模塊傳給人體關節點識別和人體姿態處理模塊進行處理，產生紅外光圖像；將紅外光圖像每一個像素的散斑圖案與標定用的紅外光圖像對應像素的散斑圖案進行互相關運算，取標定用相關性最高的像素的深度值作為此像素的深度值，即得到場景深度圖；在可見光圖像中，利用人臉識別技術識別出人臉位置，然后利用人體骨架幾何模型，估計人體位置，獲取人體姿態輪廓圖；所述人體姿態顯示模塊通過通訊模塊與人體關節點識別和人體姿態處理模塊連接，獲取人體關節點識別和人體姿態處理模塊的數據命令，按照人體關節點識別和人體姿態處理模塊的指令實時顯示人體姿態和動作其中人體關節點識別和人體姿態處理模塊包括數據存儲單元、工作模式選擇單元、數據處理單元；工作模式選擇單元中包括捕捉模仿人體姿態工作模式和模仿顯示人體姿態工作模式，每種工作模式下人體姿態處理方式不同捕捉模仿人體姿態工作模式為人體關節點識別模塊獲得人體關節點空間分布信息，關節點的坐標是實際物理空間坐標，首先將實際物理坐標系中的人體關節點坐標轉化為三維立體顯示器中坐標系的空間坐標，將轉換后的關節點連接起來以組成完整的人體骨架；獲得人體骨架后，對人體骨架進行修飾、校正，使人體姿態更加生動形象；最后控制器對數據進行融合，按三維立體顯示器顯示所需的格式通過通訊模塊發送人體姿態數據指令。模仿顯示人體姿態工作模式為將要顯示的人體姿態或者動作按照三維立體顯示器能夠顯示的要求存儲在存儲空間或者數據文本中，人體關節點識別和人體姿態處理模塊調用這些數據通過通訊模塊發送給三維立體顯示器進行顯示。其中固定模式的激光散斑是光線通過一組衍射光柵后得到的，保證了即使空間任意兩點的散斑圖案不相同也能夠對整個空間進行標記；用散斑圖案記錄整個空間，即進行光源標定；其中光源標定的方法為每隔一段距離，取一個參考平面，生成一幅紅外光圖像，圖像上每一個像素都有散斑圖案，同時對應地生成一幅深度圖，深度圖的每一個像素深度值與紅外光圖像對應像素的散斑圖案對應。人體姿態顯示模塊包括三維立體顯示器，該顯示器由MXNXP個LED燈組成，每個LED燈分為點亮和熄滅兩種狀態，通過LED燈的點亮組成圖案來顯示人體姿態。


圖I為本發明3D人體姿態捕捉模仿系統的控制流程框圖；圖2為本發明3D人體姿態捕捉模仿系統的攝像頭安裝布局示意圖；圖3為本發明3D人體姿態捕捉模仿系統的一種人體關節點分布示意圖；圖4為本發明3D人體姿態捕捉模仿系統的三維立體顯示器的一種結構圖；圖中，I-紅外發射器、2-RGB攝像頭、3-紅外接收器、4_人體關節點、5_第一個LED燈、6-第二個LED燈、7-第三個LED燈、8-第四個LED燈、9-第五個LED燈、10-第六個LED燈、11-第七個LED燈、12-第八個LED燈、13-三維立體顯示器的電源接口、14-三維立體顯示器的數據接口、15-三維立體顯示器。
具體實施例方式下面結合附圖，具體說明本發明的優選實施方式。本發明所述3D人體姿態捕捉模仿系統是一種能夠實時捕捉人的動作，并且能夠在三維立體顯示器中進行顯示以模仿人體姿態的儀器，具有實時監測人體關節點位置、展示人體姿態等功能。同時，為適應其他需要進行部分人體姿勢識別的場合，可以對人體骨架幾何模型中人體的關節點數量和位置進行調整，用于人體上肢動作的捕捉和模仿等。
本發明實施例中3D人體姿態捕捉模仿系統的控制流程框圖如圖I所示，包括控制器、紅外發射器I、RGB攝像頭2、紅外接收器3、通訊模塊和三維立體顯示器15。所述控制器通過通訊模塊分別與RGB攝像頭2、紅外接收器3相連。所述控制器通過通訊模塊與三維立體顯示器15相連，所述RGB攝像頭2的像素是640 X 480，所述紅外接收器3的像素是320X240。安裝好攝像頭和三維立體顯示器15，打開儀器電源開關，所述RGB攝像頭2采集攝像頭環境信息，生成數據幀，通過通訊模塊發送給控制器，生成可見光圖像；所述紅外發射器I發出棋盤圖案的激光散斑，照射到場景中物體上。為了用散斑圖案記錄空間，需要對空間進行標定，這里只是實現距離RGB攝像頭3 4米的空間標定， 測試進行的過程中，要求人站立在這個范圍之內。在離RGB攝像頭3 4米的空間取100個等分的參考平面，記錄下來每個參考平面的紅外光圖像和深度圖像，其中，紅外光圖像的每個像素都有散斑圖案，深度圖像的每個像素的深度值與紅外光圖像每個像素的散斑圖案對應。所述紅外接收器3接收紅外光，生成數據幀，通過通訊模塊發送給控制器，生成紅外光圖像。其次，將紅外光圖像每一個像素表示的散斑圖案與標定用的紅外光圖像對應像素的散斑圖案進行互相關運算，取相關性最大的標定用像素的深度值作為該像素的深度值，從而得到了場景深度圖。在可見光圖像中，利用人臉識別技術，識別出人臉的位置，然后利用人體骨架幾何模型，估計人體位置，獲取人體姿態輪廓圖。3D人體姿態捕捉模仿系統的攝像頭安裝布局示意圖如圖2所示，紅外發射器I、紅外接收(3和RGB攝像頭2共用一個以RGB攝像頭中心為原點的三維空間立體坐標系O-XYZ。3D人體姿態捕捉模仿系統的一種人體關節點分布示意圖如圖3所示，包含有20個關節點，相關的關節點連接起來組成人體骨架。紅外接收器3和RGB攝像頭2共用一個三維立體空間坐標系0-XYZ，并且RGB攝像頭2的像素與紅外接收器3的像素是2X2的關系，因此，能夠通過可見光圖像中人體輪廓圖求出場景深度圖中的人體輪廓圖。利用人體骨架幾何模型、關節點位置和數量獲取人體關節點在場景深度圖中的位置，從而獲得了人體關節點的分布和在三維立體空間坐標系O-XYZ中的物理坐標。3D人體姿態捕捉模仿儀的三維立體顯示器的一種結構圖如圖4所示。其中，三維立體顯示器由MXNXP個LED燈組成，每個LED燈有點亮和熄滅兩種狀態，LED燈的控制順序是LED燈5到LED燈12。為了方便對三維立體顯示器中每一個LED燈進行索引，建立了立體空間坐標系O-X' V I'，每個坐標軸上只取整數，代表LED燈的位置。因為獲取的人體關節點的坐標是物理空間坐標，為了在三維立體顯示器中進行顯示，需要確立從坐標系O-XYZ到坐標系O-X' Y' V坐標變換關系，其中X到X'和Y到Y'、2到廣的變換比例要求一致，才能使顯示的人體姿態不變形。將獲取的人體關節點的坐標變換到能在三維立體顯示器中顯示的點的坐標，然后將相關的關節點連接起來以組成完整的人體骨架，之后對人體骨架進行修飾和校正，使三維立體顯示器中顯示的人體姿態更加生動、形象。三維立體顯示器15獲取控制器的數據命令，按照控制器指令點亮或者熄滅LED燈，從而實時顯示人體姿態和動作。
權利要求
1.3D人體姿態捕捉模仿系統，其特征在于包括人體動作捕捉模塊、人體關節點識別和人體姿態處理模塊、人體姿態顯示模塊；其中人體動作捕捉模塊包括RGB攝像頭、紅外發射器、紅外接收器；所述RGB攝像頭負責采集攝像頭環境信息，生成數據幀通過通訊模塊傳送給人體關節點識別和人體姿態處理模塊進行處理，產生可見光圖像；所述紅外發射器負責發出固定模式的激光散斑；所述紅外接收器負責接收紅外光，生成紅外光圖像數據幀通過通訊模塊傳給人體關節點識別和人體姿態處理模塊進行處理，產生紅外光圖像；將紅外光圖像每一個像素的散斑圖案與標定用的紅外光圖像對應像素的散斑圖案進行互相關運算，取標定用相關性最高的像素的深度值作為此像素的深度值，即得到場景深度圖；在可見光圖像中，利用人臉識別技術識別出人臉位置，然后利用人體骨架幾何模型，估計人體位置，獲取人體姿態輪廓圖；所述人體姿態顯示模塊通過通訊模塊與人體關節點識別和人體姿態處理模塊連接，獲取人體關節點識別和人體姿 態處理模塊的數據命令，按照人體關節點識別和人體姿態處理模塊的指令實時顯示人體姿態和動作。
2.如權利要求I所示的3D人體姿態捕捉模仿系統，其特征在于其中人體關節點識別和人體姿態處理模塊包括數據存儲單元、工作模式選擇單元、數據處理單元；工作模式選擇單元中包括捕捉模仿人體姿態工作模式和模仿顯示人體姿態工作模式，每種工作模式下人 體姿態處理方式不同 捕捉模仿人體姿態工作模式為人體關節點識別模塊獲得人體關節點空間分布信息，關節點的坐標是實際物理空間坐標，首先將實際物理坐標系中的人體關節點坐標轉化為三維立體顯示器中坐標系的空間坐標，將轉換后的關節點連接起來以組成完整的人體骨架；獲得人體骨架后，對人體骨架進行修飾、校正，使人體姿態更加生動形象；最后控制器對數據進行融合，按三維立體顯示器顯示所需的格式通過通訊模塊發送人體姿態數據指令。
模仿顯示人體姿態工作模式為將要顯示的人體姿態或者動作按照三維立體顯示器能夠顯示的要求存儲在存儲空間或者數據文本中，人體關節點識別和人體姿態處理模塊調用這些數據通過通訊模塊發送給三維立體顯示器進行顯示。
3.如權利要求I或2所示的3D人體姿態捕捉模仿系統，其特征在于其中固定模式的激光散斑是光線通過一組衍射光柵后得到的，保證了即使空間任意兩點的散斑圖案不相同也能夠對整個空間進行標記；用散斑圖案記錄整個空間，即進行光源標定。
4.如權利要求3所示的3D人體姿態捕捉模仿系統，其特征在于其中光源標定的方法為每隔一段距離，取一個參考平面，生成一幅紅外光圖像，圖像上每一個像素都有散斑圖案，同時對應地生成一幅深度圖，深度圖的每一個像素深度值與紅外光圖像對應像素的散斑圖案對應。
5.如權利要求I或2所示的3D人體姿態捕捉模仿系統，其特征在于人體姿態顯示模塊包括三維立體顯示器，該顯示器由MXNXP個LED燈組成，每個LED燈分為點亮和熄滅兩種狀態，通過LED燈的點亮組成圖案來顯示人體姿態。
6.如權利要求I或2所示的3D人體姿態捕捉模仿系統，其特征在于紅外發射器、RGB攝像頭、紅外接收器封裝在一起，共用一個三維立體空間坐標系0-ΧΥΖ，這樣獲取的人體關節點坐標是實際物體空間O-XYZ的物理坐標。
7.如權利要求5所示的3D人體姿態捕捉模仿系統，其特征在于每一個LED點亮代表一個關節點，保證人體姿態顯示的實時更新。
全文摘要
本發明涉及一種3D人體姿態捕捉模仿系統，包括人體動作捕捉模塊、人體關節點識別和人體姿態處理模塊、人體姿態顯示模塊；人體動作捕捉模塊包括RGB攝像頭、紅外發射器、紅外接收器；RGB攝像頭負責采集攝像頭環境信息，生成數據幀通過通訊模塊傳送給人體關節點識別和人體姿態處理模塊進行處理，產生可見光圖像；紅外發射器負責發出固定模式的激光散斑；所述紅外接收器負責接收紅外光，生成紅外光圖像數據幀通過通訊模塊傳給人體關節點識別和人體姿態處理模塊進行處理，產生紅外光圖像；本發明可以進行實時的人體動作捕捉，并在三維立體顯示器中顯示，模仿人體姿態。
文檔編號H04N13/00GK102622591SQ201210009368
公開日2012年8月1日 申請日期2012年1月12日 優先權日2012年1月12日
發明者呂寧一, 左亮, 曹沛晴, 楊毅, 王偉, 王若堯, 鄭曉 申請人:北京理工大學