本發明屬于攝影測量學與計算機視覺領域，具體涉及一種基于rgb-d相機數據的物體及室內小場景恢復與建模方法。
背景技術：
：近年來，三維重建日益成為計算機視覺領域的研究熱點和重點，被廣泛應用于工業測量、文物古跡保護、逆向工程、電子商務、計算機動畫、醫療解剖、顯微攝影、虛擬現實等諸多領域。常用的物體與室內建模方法主要是利用激光掃描儀lidar獲取點云數據進行建模，或者是利用相機獲取重疊影像基于雙目立體視覺的方法進行建模，前者價格昂貴且儀器操作笨重；而后者數據處理復雜耗時，對光照條件有要求，且對相機也需要特別校正。便攜式rgb-d傳感器(如kinect2.0)價格低廉、結構簡單、操作方便，能同時獲取場景的深度和彩色數據，且深度數據的獲取不受環境可見光的干擾。這些優勢大大減低了三維建模的難度和成本，使得普通用戶也能將日常生活中的物體數字化，連接虛擬與真實世界。在利用rgb-d相機數據進行物體及室內小場景恢復與建模的點云建模中，深度數據(點云)配準是三維物體重建和室內小場景恢復的關鍵技術，涉及點云初始配準位置的確定和在此基礎上的點云精確配準。目前在點云配準的粗配準位置確定方面，采用靶標球是最通用的方法，而如果沒有靶標則多利用人工標注粗位置的方法，點云精配準是在粗配準基礎上進行的。1992年besl和mckay提出一種基于自由形態曲面的配準算法——迭代最近點算法(iterativeclosestpoint,icp)，這是一種點集到點集的配準方法，不需要對曲面進行分割和特征提取，但算法的收斂速度慢，很容易迭代收斂到一個局部極值，導致配準失敗。現有的點云配準算法基本都是基于icp算法并加以改進，來提高點云匹配的正確率、效率和魯棒性等，以獲得重建結果。微軟針對rgb-d相機的代表kinect相機研發了kinectfusion技術，在支持gpu加速的機器上能夠對物體進行實時的三維幾何建模，快速創建足夠平滑的重建場景。但該方法不做環閉合檢測和優化，重建模型會產生大的累積誤差，造成模型變形，且在場景趨于平坦時算法極易出現追蹤失敗。由于rgb-d相機能同時獲取光學與深度數據，人們研究在icp配準中利用光學影像數據引入極線約束進行rgb-d相機深度數據配準,并應用于kinect相機數據，該方法的魯棒性較高，能夠基本恢復場景的整體模型，特別是在kinectfusion追蹤建模失敗的情況下，仍能取得較好的結果，但模型細節有時會出現失真。針對現有的利用rgb-d相機數據對物體及室內小場景恢復與建模方法中存在的：對移動中相機位姿估計的精度不高，重建模型存在系統性的誤差累積，模型表面比較粗糙以及算法的實時性差等缺點，研究利用各種約束信息對icp算法進行改進獲得精度與魯棒性較高的點云配準算法，實現基于rgb-d相機數據的物體及室內小場景恢復與建模，使得不借助昂貴笨重的激光掃描儀可以進行物體和小場景的快速建模，是現今計算機視覺、近景攝影測量領域人們研究的目標之一。技術實現要素：本發明的目的在于提供一種基于rgb-d相機數據的物體及室內小場景恢復與建模方法。本發明需要保護的技術方案表征為：一種基于rgb-d相機數據的物體及室內小場景恢復與建模方法，其特征在于，概括為:該方法在進行rgb-d深度數據(點云)配準建模中，將點到面和點到投影的約束條件綜合起來應用于rgb-d相機所獲得的序列深度數據(點云)的精確配準，最后得到物體或者小場景的點云模型(.ply格式)，該模型可用于物體的量測及進一步cad建模。本發明中的配準方法既考慮了點到投影算法的速度優勢，也綜合了點到切平面算法的精度優勢，克服了傳統點云配準方法速度慢、場景精度低的問題，可以快速、準確的找到源點云上某點在目標點云上的對應點，實現多視點云拼接。本發明技術方案，具體說明如下：設sp、sq為rgb-d相機從不同的視點p、q獲得的兩幀相鄰幀點云數據。因為rgb-d進行點云獲取時，采樣頻率較高且相機移動速度比較慢，因此相鄰幀點云數據間的配準值平移量接近0向量、旋轉陣接近e陣，可以利用0、e作為點云配準的初始值。sp、sq是經過粗略配準的點云參數化的局部表面，p0是sp上一點，是p0點的法向量，qs是過p0點的法線與sq的交點，過qs做sq的切平面，q′s為p0點在該切平面的投影。利用p0和q′s作為點云配準參數解算的配準點。點到面的配準方法的關鍵是求得交點qs，常用的求交點的方法是通過找到目標點云表面的三角形，利用三角形的3個頂點內插出交點，但這種方法的計算量大，耗時長。為避免此問題，在本發明中首先利用點到投影的方法求得交點，然后基于求出的交點得到過交點的切平面并進一步確定配準點候選點對，再利用剛性運動一致性約束對前面確立的候選點對進行錯誤點對剔除，最后利用錯誤點剔除后的配準點對進行sp、sq兩點云的icp精配準，得到的精確的配準參數。根據上面方法得到連續幀點云間的精配準參數后，再利用點云精配準參數對連續幀點云進行配準建模得到物體或者小場景的點云模型(.ply格式)。進一步給出實施例技術方案，過程如下：首先進行rgb-d數據獲取(后續采用微軟發布的kinect2.0作為深度數據的采集裝置為例進行說明)，數據采集前對rgb-d數據采集的軟、硬件平臺環境進行適當配置滿足采集要求；采集時，對固定目標或場景，在rgb-d相機深度識別范圍內，手持相機以較平穩且低移動速度繞物體或場景旋轉一周，形成一個閉合的圓環，且采集過程中應避免較大的抖動，防止幀間配準產生較大的偏差。得到序列幀數據后，進行物體場景建模，方法如下：1.深度圖像濾波在實際量測過程中，傳感器受強光條件以及待測物體表面材質的影響，深度數據含有大量的噪聲，尤其在物體邊緣處，會出現無效數據，因此將深度數據轉換成三維點云之前，采用雙邊濾波對深度圖像降噪平滑的同時保留物體的深度圖像上邊緣信息，在考慮像素在空間位置距離上的關系的同時，也考慮了像素間的相似程度。ws＝wg×wh式(1)為雙邊濾波的計算式。當空間域的標準差δg不變，灰度閾的權值δh逐漸增大的過程中，不同灰度值對應的權值wh都很大，利用深度圖像灰度(深度信息)的變化保留邊緣信息的作用越來越弱，雙邊濾波器退化為高斯濾波器。在δh不變，δg逐漸增大的過程中，圖像的模糊越來越明顯。對物體與小場景反復實驗后，本發明中雙邊濾波的模板大小為3×3，空域和值域高斯函數的標準差分別為10、15。2.彩色影像特征點檢測與圖像匹配為了生成與場景一致的三維模型，在幾何重建的同時進行紋理重建，就需要利用特征檢測算子找到彩色影像特征點并對相鄰兩幀彩色進行匹配，由于數據量較大，采用orb(orientedbrief)算法提取彩色影像特征點，orb算法相比sift(scale-invariantfeaturetransform)和surf(speed-uprobustfeatures)算子運行的時間短，算法匹配的正確率高，采用二進制編碼方式描述提取的特征大大節省了計算機內存。彩色影像匹配完成后，根據標定得到的彩色鏡頭與深度鏡頭之間的相對位姿，實現彩色影像與深度數據對齊，生成場景不同視角下的彩色化點云。3.改進的icp精配準方法a.利用back-project法，將待配準的第n幀上某一點p0按下一幀((n+1)幀)的視點方向投影得到它的像素坐標pq，計算公式為式(2)中，mq為中心投影矩陣(相機標定后得到的內參矩陣)，tq為將q視點獲得的點云轉換到同一世界坐標系下的變換矩陣。由于式(2)的計算結果不一定為整數，對式(2)結果進行取整(四舍五入)操作，得到深度影像格網點上的值pq。b.利用forward-project法，將pq坐標帶入式(3)等式右端，得到新的三維點坐標的計算公式為：式(3)中，為相機標定后得到的內參數矩陣，zc為pq在第(n+1)深度圖像上的深度值，通過式(3)計算得到c.利用式(4)將投影在p0處的法向量上，得到p1點的坐標式(4)中，為p0處的單位法向量。d.得到p1后，將p1作為新的p0值參與上述a、b、c三個步驟，進行投影，遞歸迭代得到p2。不斷迭代，第i次投影得到的點將迭代收斂于交點qs，且當i趨于無窮大時，有在實際情況中，受投影次數的限制，迭代的終止條件為：其中εc為一個給定的閾值，大小為10-6。得到收斂后的交點qs，確定過點qs的切平面，將p0投影在該切平面上，得到投影點q′s。e.將通過步驟1預處理后深度圖像上每個點都進行上述步驟a～d，得到每個點的q′s，最終構成匹配點對集合{p0}和{q′s}。f.受迭代初值和點云表面光滑度的影響，采用上述方法確立的匹配點對{p0}和{q′s}中仍然存在錯誤的對應點，這種情況在迭代初期尤為明顯，因此，本發明中采用剛性運動一致性約束對錯誤點對進行剔除。假設(p1,q1)與(p2,q2)為候選的對應點對，則有剛性運動一致性約束：式(6)中，t是預先定義的閾值，對所有候選點(pi,qi)，i＝1,2,…,n，判斷彼此的兼容性，并對不兼容的點進行剔除。g.將剔除錯誤候選點對得到的新對應點序列{p0}和{q′s}作為精確匹配點，利用奇異值分解法求得矩陣最大特征值對應的單位特征向量，計算第n幀與相鄰第(n+1)幀點云間的旋轉矩陣r和平移向量t，實現相鄰幀間精配準。4.步驟3中得到相鄰點云幀間的精確配準結果都是以第一幀點云所在的坐標系為參考坐標系，對其他所有相鄰幀點云都利用上面步驟1～3進行處理，得到各相鄰幀間的旋轉矩陣r與平移向量t，最后利用式(7)將所有幀點云統一到參考坐標系下。生成統一坐標系下的物體和場景點云模型，格式為.ply文件。該文件可在meshlab或者geomagicstudio等通用的三維幾何處理系統中顯示并進行進一步數據處理。與現有方法相比，聯合點到面和點到投影、并加上剛性運動一致性約束的精配準方法，兼顧了現有算法的速度和精度優勢，算法執行的時間更短，點云配準的精度更高，所建模型的結構特征比較清晰，算法的魯棒性較強，精度可靠，能滿足物體及室內小場景恢復與建模。本發明可以應用于基于rgb-d相機數據的物體與室內小場景恢復與建模，在目標物與小場景的量化恢復與建模方面發揮作用。附圖說明圖1為本發明算法的整體流程圖。圖2為本發明中改進的icp算法的詳細流程圖。圖3為本發明提出的聯合點到面約束和點到投影約束的點云配準方法的原理圖。圖4為rgb-d傳感器(利用kinect相機)獲得的會議室場景中第41幀數據，其中圖4(a)為對應的彩色影像(灰度顯示)，圖4(b)為紅外影像，圖4(c)為深度數據。圖5為圖4相鄰的下一幀(42幀)的數據，其中圖5(a)為彩色影像(灰度顯示)，圖5(b)為紅外影像，圖5(c)為深度數據。圖6(a)、圖6(b)分別為雙邊濾波對圖4、圖5中會議室場景的深度數據降噪平滑的結果。圖7為圖4、圖5相鄰兩幀彩色影像匹配結果(灰度顯示)。圖8為彩色化點云(灰度顯示)。圖9為本發明方法配準后建立的場景模型的效果圖，其中右圖中的灰色三角錐表示kinect相機獲取點云時的位置與視軸方向。具體實施方式以下結合一個實施例子對具體實現方法進行說明，即對一有代表性的rgb-d相機——微軟的kinect2.0——獲得物體或室內小場景的序列彩色與深度數據，生成能被meshlab、geomagicstudio等通用三維幾何處理系統支持的三維模型數據，格式為.ply文件。數據采集前對kinect數據采集的軟、硬件平臺環境進行配置，采用window8(64位)、接口為usb3.0的筆記本一臺，軟件平臺環境需要預裝微軟自主研發的開發工具包sdk，并安裝配置開源的跨平臺計算機視覺庫opencv3.0。采集時，對固定目標或場景，在kinect相機深度識別范圍內，手持相機以較平穩且低移動速度繞物體或場景旋轉一周，形成一個閉合的圓環，采集過程中應避免較大的抖動，防止幀間配準產生較大的偏差。實施例1：對于實施例子中的會議室場景，共采集了151幀數據，數據采樣的時間間隔為3s。實驗數據為kinect2.0獲得的數據包括會議室場景的彩色影像、紅外影像和深度數據，其中彩色影像的分辨率為1920×1080，深度和紅外影像的分辨率為512×424。下面為第41幀原始深度影像部分灰度值(深度值)，范圍為行號209～224，列號為192～220.表1通過標定得到的彩色鏡頭與深度鏡頭之間的相對位姿參數為：旋轉矩陣為平移向量為根據圖1所示的具體流程，整個實施過程如下：1、深度圖像濾波在將kinect相機獲取的圖像形式的深度數據轉換為(x，y，z)形式的三維點云格式之前，考慮到實際數據獲取過程中，深度傳感器受外界光照條件以及待測物體表面材質的影響，所獲得的深度數據含有大量的噪聲，尤其在物體邊緣處，會出現無效數據。因此在轉換前，利用式(1)先對深度圖像進行降噪平滑，同時保留物體的邊緣信息。本發明雙邊濾波模板的大小為3×3，空域和值域高斯函數的標準差分別為10、15。則定義域核為：0.99000.99500.99000.99501.00000.99500.99000.99500.9900值域核為：由于深度數據量較大，這里只列出第41幀深度數據某3×3范圍內的原始灰度值為：177177177177176178175179180對該幀數據雙邊濾波后該3×3范圍內的值為175176175176176176173175172圖6(a)為雙邊濾波對圖4(第41幀)中深度數據降噪平滑的結果，圖6(b)為雙邊濾波對圖5(第41幀相鄰的下一幀(第42幀))中深度數據降噪平滑的結果。2、彩色影像特征點檢測與圖像匹配為了生成與場景一致的三維模型，在幾何重建的同時進行紋理重建，利用特征檢測算子找到彩色影像特征點并對相鄰兩幀彩色進行匹配，由于數據量較大，采用orb算法提取彩色影像特征點，orb算法相比sift和surf算子運行的時間短，算法匹配的正確率高，同時采用二進制編碼方式描述提取的特征來節省計算機內存。對第41幀和第42幀的彩色影像進行匹配，匹配完成，結果如圖7。根據標定得到的彩色鏡頭與深度鏡頭之間的相對位姿，進行彩色影像與深度數據對齊，生成物體、場景不同視角下的彩色化點云，對第41幀和第42幀分別進行彩色影像與深度數據對齊，生成的彩色化點云結果分別見圖8(a)、圖8(b)。3、改進的icp精配準方法首先對深度濾波后的第41幀深度數據進行轉換，得到點云數據，包含8475個點，下面為該點云數據前72個點的信息為：表2利用聯合點到面和點到投影的點云配準算法對物體或室內小場景曝光時刻的的位置和姿態進行估計并優化，以第一幀點云所在的坐標系為參考坐標系，將其余各幀點云經坐標轉換都變換到參考坐標系下。a.利用back-project法，將第41幀點云上的某點p0，坐標為(-0.432926，-0.383050，1.971088)，根據式(2)按照第42幀點云的視點方向投影得到它的像素坐標pq，像素坐標為(348,270)。其中，b.利用forward-project法，將pq坐標帶入式(3)等式右端，得到新的三維點坐標為(0.261255，0.179193，1.000000)。c.利用式(4)將投影第41幀點云p0處的法向量上，得到p1點的坐標為(-0.308091，-0.357967，2.012104)。d.得到p1后，根據式(5)，得到這里閾值εc大小取10-6。在值大于閾值εc時，將p1點坐標作為p0新的坐標，回到步驟a，重復上面a、b、c三個步驟，進行投影，遞歸迭代得到p2；此時如果小于εc，得到qs。得到收斂后的交點qs后，確定過42幀上點qs的切平面，將p0投影在該切平面上，得到投影點q′s，坐標為(-0.432665，-0.387157，1.975511)。e.將通過步驟1預處理后該幀深度圖像生成點云上的每個點都進行上述步驟a～d，得到每個點的q′s，最終構成初始匹配點對集合{p0}和{q′s}。由于兩幀點云間匹配點數目很多，表3中只顯示了第41幀和相鄰第42幀處理后初始匹配點對集合中的部分對應匹配點：表3f.受迭代初值和點云表面光滑度的影響，采用上述方法確立的候選匹配點對{p0}和{q′s}中仍然存在錯誤的匹配對應點，本發明中采用剛性運動一致性約束對錯誤點對進行剔除。假設(p1,q1)與(p2,q2)為候選的匹配對應點對，根據式(6)對上面確定的第41幀和第42幀所有匹配點進行剛性運動一致性約束，其中t是預先定義的閾值(本方法中取10％)，對所有候選點(pi,qi)，i＝1,2,…,n，判斷彼此的兼容性，并對不兼容的點進行剔除。下面為上表3前兩對點，計算點對兼容性的結果：該結果表明這兩對點不兼容，應該剔除。對上面步驟e得到所有匹配點對，利用上面方法剔除錯誤點對后，得到更準確的匹配點對。表4為經過這一處理后得到的匹配點對集合中的部分對應匹配點的列表：表4p0-3.57807110.548076871.6893054qs0’-3.57384160.5471962651.6887584p1-3.66562440.514112591.7566197qs1’-3.66764490.515090921.7566626p2-3.71463680.500283241.8223131qs2’-3.71417470.500616251.8230906p3-2.21151690.998328210.29833382qs3’-2.21173550.99574250.29692292p4-2.24303361.00235140.41302541qs4’-2.24319771.00261560.41257041p5-2.29546710.988810060.49076268qs5’-2.29556920.98810030.50018574p6-2.41280080.944958450.58901qs6’-2.41255450.944728010.57922614p7-3.01110770.599951740.41161895qs7’-3.01115040.5997623930.4117605561p8-2.74427370.808493380.79625237qs8’-2.74822910.797230130.80870435p9-2.88550730.775642691.0258969qs9’-2.88635970.775639191.0290474p10-3.02371360.739816131.2300546qs10’-3.02453290.739074771.2307017g.將剔除錯誤候選點對得到的新對應點序列{p0}和{q′s}作為匹配點利用奇異值分解法求得矩陣最大特征值對應的單位特征向量，來計算得到第41幀與相鄰第42幀點云間的三維剛體變換的6個自由度，用旋轉矩陣r和平移向量t表示為：其他相鄰幀點云均采用以上步驟a～g依次求得各幀間轉換參數，即旋轉矩陣r和平移向量t。4、物體與場景模型的生成利用步驟3中得到的各相鄰幀點云間的精確配準結果r和t，根據式(7)將這151幀點云數據轉換到統一的坐標系(第一幀點云深度相機所在的坐標系)，并進行數據疊合，得到.ply格式的場景三維點云(在meshlab、geomagicstudio等軟件中可顯示)。生成的物體或場景的模型如圖9所示，生成的.ply文件中部分數據如表5所示：表5當前第1頁12