一種基于多臺rgb-d攝像機下的足部表面三維信息獲取方法
【專利摘要】本發明涉及一種基于多臺RGB-D攝像機下的足部表面三維信息獲取方法，該方法將多臺RGB-D攝像機所搭建的全方位測量系統應用到足部表面三維信息的快速獲取與足部表面模型的快速重建中，可在不借助任何標記點的情況下，一次性采集完整的足部曲面三維坐標。利用多RGB-D攝像機全方位測量系統快速獲得各個視角下腳型曲面的深度信息，并轉換為三維點云，通過對不同RGB-D攝像機獲得的局部足部曲面三維點云進行配準，重建出腳型曲面的全局模型，并可根據實際需要，提取測量腳型特征參數。該方法不僅重建速度快，測量效率高，而且易于實現，測量成本低，使用效果好。
【專利說明】—種基于多臺RGB-D攝像機下的足部表面三維信息獲取方法

【技術領域】
[0001]本發明涉及三維曲面測量【技術領域】，特別是一種基于多臺RGB-D攝像機下的足部表面二維信息獲取方法。

【背景技術】
[0002]近年來，許多工業生產線系統正在由大規模批量型生產向用戶定制的、個性化、小規模型生產轉變。而快速設計生產技術對個性化生產系統不可或缺。在一個典型的面向客戶定制要求的生產系統中，客戶在線地提供所需產品的詳細數據，隨后下訂單。幾天后客戶定購的產品就能按照客戶的個性要求被生產出來，郵寄到客戶手中。我們將這種思想應用到我們的制鞋工業。要制作出為每一位顧客量身定制的個性化鞋子，快速為顧客設計、生產出個性化的鞋楦是關鍵。每個人的腳型、尺寸以及個人偏好的款式大相徑庭，因而面向客戶的鞋業生產系統應用將展現出巨大的生命力。
[0003]個性化定制的制鞋系統的優勢在于顧客在滿足合腳、舒適要求的同時還可以選擇自己喜歡的鞋子樣式。從制造商的角度來看，個性化定制的制鞋系統不僅意味著更小的庫存，而且掃描獲得的顧客足部三維模型和相關信息也可以保存下來備用。個性化定制的制鞋系統不僅能夠實現消費者的鞋類定制、智能選鞋，而且在矯形鞋定制、假肢生產、醫學診斷和手術輔助等醫療領域也有重要應用。
[0004]準確和高效率的腳型測量方法不僅是鞋楦設計和方便人們選鞋、穿鞋不可缺少的，而且也是大規模腳型測量、腳型矯正等所必須的?，F有的腳型測量方法分接觸式測量和非接觸式測量兩種。
[0005]1、接觸式測量:接觸式測量主要是使用一些機械式的手工測量儀器或由接觸式傳感器組成的電子測量儀器，其中以手工測量為主。手工測量的工具主要包括:布帶尺、鋼卷尺、劃筆、量高儀、踏腳印器和量腳卡尺。手工測量從測量方法上又分為直接法和間接法。直接法比較簡單。首先用筆在腳的特征部位上標出有關測量點，利用布帶尺、量高儀等工具可以直接測量出腳的各個有關數據。間接法利用腳印器踏出腳印并繪制出腳的輪廓線，然后再進行測量分析。接觸式腳型測量的優點是投資少、操作步驟簡單、靈活性強、方便攜帶、便于短時間內在不同的測量地點進行測量。缺點是接觸式測量方式會對腳部產生壓力，引起腳部形變，造成測量誤差，測量時間長，而且測量的腳部參數有限，有些較復雜的參數或曲線無法測量，工作效率低、勞動強度大、重復再現性差、測量者之間的誤差大，同時，這種測量方式難以獲得腳部整體的數據信息。也不能對腳的截面形態進行數據采集。無法進行更深層次的研究。
[0006]2、非接觸式測量:在計算機、光學等學科發展的帶動下。光學非接觸式測量作為近年來興起的一門測量技術受到越來越多的重視。目前，光學非接觸式測量方法主要有構光測量、立體視覺測量、激光測量等。
[0007](I)結構光測量:結構光三維視覺基于光學三角法原理，其基本原理是由結構光投射器向被測物體表面投射可控制的光點、光條或光面結構，并由圖像傳感器(如攝像機)獲得圖像，通過系統幾何關系，利用三角原理計算得到物體的三維坐標。結構光測量方法具有計算簡單、體積小、價格低、便于安裝和維護的特點，在實際三維輪廓測量中被廣泛使用。但是測量精度受物理光學的限制，存在遮擋問題，測量精度與速度相互矛盾，難以同時得到提聞。
[0008](2)立體視覺測量:在計算機視覺系統中，利用兩臺位置相對固定的攝像機或一個攝像機在兩個不同的位置，從不同角度同時獲取同一景物的兩幅圖像，通過計算空間點在兩幅圖像中的視差來獲得其三維坐標值。立體視覺方法最大的特點是拍攝速度快，可以在不到一秒時間內完成拍攝任務，適合于需要快速測量場合。但立體視覺方法數據處理量大，處理時間長，而且需要進行兩幅圖像的匹配，在物體表面灰度和面形變化不大時，會影響匹配和測量精度。
[0009](3)激光測量:由一個多邊形鏡頭定位的一根直線可視激光束，通過高頻掃描來對物體表面進行掃描測量；應用三角定律，激光束在物體表面經反射后由激光接受器接收，然后經計算獲得物體表面的坐標。激光掃描可以可以精確地提供三維環境信息，數據處理簡單，受環境影響小。但成本高，精度、測距與掃描速率存在矛盾關系。
[0010]近年來，傳統二維圖像/視頻幀的應用遇到瓶頸，RGB-D深度攝像機能夠獲取圖像/視頻幀的深度信息，具有解決真實世界中計算機視覺問題的巨大潛力。隨著傳感器價格的下降和計算機視覺技術的發展，RGB-D深度攝像機(如微軟的Kinect、華碩的Xt1n等)取得了巨大的成功，在研究領域得到了較多研究，其被應用到三維重建、姿態識別、對象識別、場景理解和動作識別等研究課題中。
[0011]RGB-D深度攝像機包含3個攝像機，包含RGB彩色攝像機、紅外線發射器和紅外線COMS攝像機。RGB-D攝像機可以同時獲取RGB圖像和深度圖像數據。RGB-D攝像機深度成像的原理是利用光編碼(Light Coding)技術,其中，紅外線發射器與紅外線COMS攝像機成一定角度對準目標場景，而不均勻透明介質放置于激光發射器鏡頭前，紅外線發射器發射一束紅外線透過不均勻介質后在場景中形成激光散斑，CMOS紅外接收器獲取散斑圖像，并根據RGB-D攝像機內部參數運用數學三角關系換算成深度值。最終生成深度圖像流，結合深度圖圖像坐標和小孔成像原理，可以實時獲取測量視場內的物體表面的三維信息。
[0012]與人工測量和其他三維掃描測量相比，RGB-D攝像機深度相機的優勢在于:(I)無需借助識別其它標記點便可一次性獲取場景中所有點的三維信息；(2)采集數據的實時性好，三維模型重建速度快；(3)RGB-D攝像機拍攝獲取的深度圖分辨率較高；(4)獲取深度信息時受光照和表面紋理影響小；(5)RGB-D攝像機價格低廉，使用成本低；(6)用戶可根據需要，增加RGB-D攝像機的數量，從而獲得更多的細節信息。


【發明內容】

[0013]本發明的目的在于提供一種基于多臺RGB-D攝像機下的足部表面三維信息獲取方法，該方法不僅重建速度快，測量效率高，而且易于實現，測量成本低，使用效果好。
[0014]為實現上述目的，本發明的技術方案是:
一種基于多臺RGB-D攝像機下的足部表面三維信息獲取方法，其特征在于，包括以下步驟: (1)RGB-D攝像機標定:根據用戶需要，選取至少3臺數量的RGB-D攝像機，進行空間排布，分別標定多臺RGB-D攝像機獲得內部參數，并以其中一臺RGB-D攝像機為基準，采用兩兩標定的方法進行標定，獲得它們之間的位置關系；
(2)重建三維模型:利用RGB-D攝像機獲取深度圖像，并根據內部校準矩陣，將深度圖像變換為三維頂點，得到三維模型。將三維模型進行分割、去噪處理，獲得局部足部曲面三維模型，根據RGB-D攝像機之間的相對位置，進行配準，獲得完整的足部曲面三維模型；
(3)腳型參數測量:將完整的足部曲面三維模型導入到三維模型處理軟件中，獲取足部曲面三維信息，提取特征并測量出相應的腳型參數。
[0015]進一步的，所述步驟(I)包括以下步驟:
(1.1)選取不同個數的RGB-D攝像機可獲得不同的細節信息，用戶可根據需要，選取至少3臺數量的RGB-D攝像機，根據RGB-D的視場角進行空間排布，使所有視點下獲取的信息的組合能夠完整表達整個足部表面信息；
(1.2)分別標定多臺RGB-D攝像機的深度攝像機和彩色攝像機，獲取它們的內部參數:焦距、主點坐標、畸變參數；
(1.3)選定其中一個RGB-D攝像機作為基準攝像機，其他RGB-D攝像機分別與基準攝像機進行外部參數的標定，獲得其它RGB-D攝像機與基準攝像機之間的旋轉矩陣R和平移矩陣T，從而得到RGB-D攝像機之間的空間位置關系，將多臺RGB-D攝像機的坐標系統一到基準攝像機的坐標系下。
[0016]進一步的，所述步驟(2)包括以下步驟:
(2.1)獲取深度數據:在不粘貼任何標記點的情況下，直接利用RGB-D攝像機散斑測距原理快速獲取腳型三維曲面的深度信息，并將深度信息保存為深度圖像；
(2.2)重建三維模型:根據內部校準矩陣將圖像坐標系下的深度圖像變換為攝相機坐標系下的三維頂點，根據頂點坐標表示出法線貼圖，并根據剛體變換矩陣將三維頂點和法線貼圖轉換為全局坐標，獲取足部表面的三維點云數據；
(2.3)點云分割、去噪:將不同RGB-D攝像機獲得的三維模型通過分割處理獲得局部足部曲面三維模型，通過平滑算法進行去噪處理，將不包含足部信息的點去除，從而獲得更優的局部足部曲面三維模型；
(2.4)點云配準:根據RGB-D攝像機之間的相對位置變換矩陣，將處理后的局部足部曲面三維模型進行配準，從而獲得完整的足部曲面三維模型。
[0017]進一步的，所述步驟(3)包括以下步驟:
(3.1)提取腳型特征:將完整的足部曲面三維數據導入到三維模型處理軟件中，重建出足部的完整三維模型，根據實際測量需要，提取出相應特征點、線、局部自由曲面在三維模型中的位置；(3.2)測量腳型參數:根據提取的腳型特征，利用三維模型處理軟件中的測量工具，對足長、足寬、足趾高、足弓圍、內踝高、外踝高信息進行測量分析，獲取相應的腳型特征參數，對局部自由曲面進行擬合，獲取局部曲面模型。
[0018]本發明的優點:本發明重建速度快，能夠一次性獲得用戶腳型，不用考慮在掃描過程中因用戶足部移動而使重建出的模型產生偏差；采集實時性好；RGB-D攝像機采用LightCoding技術，使用的是連續照明，不需要特制的感光材料，只需普通的CMOS感光芯片，能廉價而有效的捕捉到深度信息，因此可大大降低成本；與傳統的結構光技術不同的，RGB-D攝像機的光源打出去的并不是周期性變化的二維的圖像編碼，而是具有三維縱深的激光散斑，受光照和物體表面紋理的影響?。粶y量效率高，具有很強的實用性和廣闊的應用前景。

【專利附圖】

【附圖說明】
[0019]圖1是本發明實施例中三個RGB-D攝像機測量腳型曲面模型圖。
[0020]圖2是本發明實施例中需要測量的腳型參數示意圖。
[0021 ] 其中:I代表RGB-D攝像機I，2代表RGB-D攝像機2，3代表RGB-D攝像機3 (基準)。

【具體實施方式】
[0022]，本發明利用RGB-D攝像機快速獲取足部三維腳型信息及三維重建模型的測量方法，包括以下步驟:
(I)RGB-D攝像機標定:根據用戶需要，選取不同數量的RGB-D攝像機(至少3臺)，進行空間排布。分別標定多臺RGB-D攝像機獲得內部參數，并以其中一臺RGB-D攝像機為基準，采用兩兩標定的方法進行標定，獲得它們之間的位置關系。
[0023]具體包括以下步驟:
(1.1)選取不同個數的RGB-D攝像機可獲得不同的細節信息，用戶可根據需要，選取不同數量的RGB-D攝像機(至少3臺)，根據RGB-D的視場角進行空間排布，使所有視點下獲取的信息的組合能夠完整表達整個足部表面信息；
(1.2)分別標定多臺RGB-D攝像機的深度攝像機和彩色攝像機，獲取它們的內部參數:焦距、主點坐標、畸變參數；
(1.3)選定其中一個RGB-D攝像機作為基準攝像機，其他RGB-D攝像機分別與基準攝像機進行外部參數的標定，獲得其它RGB-D攝像機與基準攝像機之間的旋轉矩陣R和平移矩陣T，從而得到RGB-D攝像機之間的空間位置關系，將多臺RGB-D攝像機的坐標系統一到基準攝像機的坐標系下。
[0024](2)重建三維模型:利用RGB-D攝像機獲取深度圖像，并根據內部校準矩陣，將深度圖像變換為三維頂點，得到三維模型。將三維模型進行分割、去噪處理，獲得局部足部曲面三維模型。根據RGB-D攝像機之間的相對位置，進行配準，獲得完整的足部曲面三維模型。
[0025]具體包括以下步驟:
(2.1)獲取深度數據:在不粘貼任何標記點的情況下，直接利用RGB-D攝像機散斑測距原理快速獲取腳型三維曲面的深度信息，并將深度信息保存為深度圖像；
(2.2)重建三維模型:根據內部校準矩陣將圖像坐標系下的深度圖像變換為攝相機坐標系下的三維頂點，根據頂點坐標表示出法線貼圖，并根據剛體變換矩陣將三維頂點和法線貼圖轉換為全局坐標，獲取足部表面的三維點云數據；
(2.3)點云分割、去噪:將不同RGB-D攝像機獲得的三維模型通過分割處理獲得局部足部曲面三維模型，通過平滑算法進行去噪處理，將不包含足部信息的點去除，從而獲得更優的局部足部曲面三維模型；
(2.4)點云配準:根據RGB-D攝像機之間的相對位置變換矩陣，將處理后的局部足部曲面三維模型進行配準，從而獲得完整的足部曲面三維模型。
[0026](3)腳型參數測量:將完整的足部曲面三維模型導入到三維模型處理軟件中，獲取足部曲面三維信息，提取特征并測量出相應的腳型參數，如足長、足寬、足趾高、足弓圍、內踩聞、外踩聞等。
[0027]具體包括以下步驟:
(3.1)提取腳型特征:將完整的足部曲面三維數據導入到三維模型處理軟件中，重建出足部的完整三維模型，根據實際測量需要，提取出相應特征點、線、局部自由曲面在三維模型中的位置；(3.2)測量腳型參數:根據提取的腳型特征，利用三維模型處理軟件中的測量工具，對足長、足寬、足趾高、足弓圍、內踝高、外踝高等信息進行測量分析，獲取相應的腳型特征參數，對局部自由曲面進行擬合，獲取局部曲面模型。
[0028]下面結合附圖及具體實施例對本發明作進一步說明。
[0029]1、如圖1所示,RGB-D攝像機選用微軟開發的Kinect for windows型號RGB-D攝像機。
[0030]2、選擇三臺Kinect for windows型號RGB-D攝像機。分別標定這三臺Kinect forwindows攝像機獲得內部參數,并以其中一臺Kinect for windows攝像機為基準,采用兩兩標定的方法進行標定，獲得它們之間的位置關系。
[0031]2.1選取三臺Kinect for windows型號攝像機,安裝在垂直于地面并相互間成120°排布，選擇一個合適的地方用于放置測量腳，使得三個不同視點下獲取的信息進行組合能夠完整表達整個足部表面信息。
[0032]2.2分別標定三臺Kinect for windows攝像機的深度攝像機和彩色攝像機,獲取它們的內部參數:焦距、主點坐標、畸變參數。
[0033]2.3選定最下方的Kinect for windows攝像機作為基準攝像機，其他兩臺Kinect for windows攝像機分別與基準攝像機進行外部參數的標定，獲得其它Kinectfor windows攝像機與基準攝像機之間的旋轉矩陣R和平移矩陣T,從而得到Kinect forwindows攝像機之間的空間位置關系,將三臺Kinect for windows攝像機的坐標系統一到基準攝像機的坐標系下。
[0034]3、利用Kinect for windows攝像機獲取深度圖像，并根據內部校準矩陣，將深度圖像變換為三維頂點，得到三維模型。將三維模型進行分割、去噪處理，獲得局部足部曲面三維模型。根據Kinect for windows攝像機之間的相對位置,進行配準,獲得完整的足部曲面三維模型。
[0035]3.1在不粘貼任何標記點的情況下,直接利用Kinect for windows攝像機散斑測距原理快速獲取腳型三維曲面的深度信息，并將深度信息保存為深度圖像。
[0036]3.2根據內部校準矩陣將圖像坐標系下的深度圖像變換為攝相機坐標系下的三維頂點，根據頂點坐標表示出法線貼圖，并根據剛體變換矩陣將三維頂點和法線貼圖轉換為全局坐標，獲取足部表面的三維點云數據。
[0037]3.3將不同Kinect for windows攝像機獲得的三維模型通過分割處理獲得局部足部曲面三維模型，通過平滑算法進行去噪處理，將不包含足部信息的點去除，從而獲得更優的局部足部曲面三維模型。
[0038]3.4根據Kinect for windows攝像機之間的相對位置變換矩陣,將處理后的局部足部曲面三維模型進行配準，從而獲得完整的足部曲面三維模型。
[0039]4、將完整的足部曲面三維模型導入到三維模型處理軟件中，獲取足部曲面三維信息，提取特征并測量出相應的腳型參數，如足長、足寬、足趾高、足弓圍、內踝高、外踝高等。
[0040]4.1將完整的足部曲面三維數據導入到三維模型處理軟件中，重建出足部的完整三維模型，根據實際測量需要，提取出相應特征點、線、局部自由曲面在三維模型中的位置；圖2為一些常用的腳型特征參數定義:L1 一足長；L2—足寬；H1—足趾高；H2—外踝高；H3—內踩聞；C1一足弓圍。
[0041]4.2根據提取的腳型特征，利用三維模型處理軟件中的測量工具，對足長、足寬、足趾高、足弓圍、內踝高、外踝高等信息進行測量分析，獲取相應的腳型特征參數，對局部自由曲面進行擬合，獲取局部曲面模型。
[0042]以上是本發明的較佳實施例，凡依本發明技術方案所作的改變，所產生的功能作用未超出本發明技術方案的范圍時，均屬于本發明的保護范圍。
【權利要求】
1.一種基于多臺RGB-D攝像機下的足部表面三維信息獲取方法，其特征在于，包括以下步驟: (1)RGB-D攝像機標定:根據用戶需要，選取至少3臺數量的RGB-D攝像機，進行空間排布，分別標定多臺RGB-D攝像機獲得內部參數，并以其中一臺RGB-D攝像機為基準，采用兩兩標定的方法進行標定，獲得它們之間的位置關系； (2)重建三維模型:利用RGB-D攝像機獲取深度圖像，并根據內部校準矩陣，將深度圖像變換為三維頂點，得到三維模型； 將三維模型進行分割、去噪處理，獲得局部足部曲面三維模型，根據RGB-D攝像機之間的相對位置，進行配準，獲得完整的足部曲面三維模型； (3)腳型參數測量:將完整的足部曲面三維模型導入到三維模型處理軟件中，獲取足部曲面三維信息，提取特征并測量出相應的腳型參數。
2.根據權利要求1所述的一種基于多臺RGB-D攝像機下的足部表面三維信息獲取方法，其特征在于，所述步驟(I)包括以下步驟: (1.1)選取不同個數的RGB-D攝像機可獲得不同的細節信息，用戶可根據需要，選取至少3臺數量的RGB-D攝像機，根據RGB-D的視場角進行空間排布，使所有視點下獲取的信息的組合能夠完整表達整個足部表面信息； (1.2)分別標定多臺RGB-D攝像機的深度攝像機和彩色攝像機，獲取它們的內部參數:焦距、主點坐標、畸變參數； (1.3)選定其中一個RGB-D攝像機作為基準攝像機，其他RGB-D攝像機分別與基準攝像機進行外部參數的標定，獲得其它RGB-D攝像機與基準攝像機之間的旋轉矩陣R和平移矩陣T，從而得到RGB-D攝像機之間的空間位置關系，將多臺RGB-D攝像機的坐標系統一到基準攝像機的坐標系下。
3.根據權利要求1所述的一種基于多臺RGB-D攝像機下的足部表面三維信息獲取方法，其特征在于，所述步驟(2)包括以下步驟: (2.1)獲取深度數據:在不粘貼任何標記點的情況下，直接利用RGB-D攝像機散斑測距原理快速獲取腳型三維曲面的深度信息，并將深度信息保存為深度圖像； (2.2)重建三維模型:根據內部校準矩陣將圖像坐標系下的深度圖像變換為攝相機坐標系下的三維頂點，根據頂點坐標表示出法線貼圖，并根據剛體變換矩陣將三維頂點和法線貼圖轉換為全局坐標，獲取足部表面的三維點云數據； (2.3)點云分割、去噪:將不同RGB-D攝像機獲得的三維模型通過分割處理獲得局部足部曲面三維模型，通過平滑算法進行去噪處理，將不包含足部信息的點去除，從而獲得更優的局部足部曲面三維模型； (2.4)點云配準:根據RGB-D攝像機之間的相對位置變換矩陣，將處理后的局部足部曲面三維模型進行配準，從而獲得完整的足部曲面三維模型。
4.根據權利要求1所述的一種基于多臺RGB-D攝像機下的足部表面三維信息獲取方法，其特征在于，所述步驟(3)包括以下步驟: (3.1)提取腳型特征:將完整的足部曲面三維數據導入到三維模型處理軟件中，重建出足部的完整三維模型，根據實際測量需要，提取出相應特征點、線、局部自由曲面在三維模型中的位置；(3.2)測量腳型參數:根據提取的腳型特征，利用三維模型處理軟件中的測量工具，對足長、足寬、足趾高、足弓圍、內踝高、外踝高信息進行測量分析，獲取相應的腳型特征參數，對局部自由曲面進行擬合，獲取局部曲面模型。
【文檔編號】G06T17/00GK104126989SQ201410367191
【公開日】2014年11月5日 申請日期:2014年7月30日 優先權日:2014年7月30日
【發明者】何炳蔚, 雷阿唐, 沈恒華, 趙強 申請人:福州大學