本發(fā)明屬于計(jì)算機(jī)視覺(jué)，具體涉及一種基于神經(jīng)網(wǎng)絡(luò)的高斯?jié)姙R單目重建方法。

背景技術(shù)：

1、隨著機(jī)器學(xué)習(xí)的飛速發(fā)展，高精度三維表面重建技術(shù)在各個(gè)領(lǐng)域的應(yīng)用越來(lái)越廣泛，如逆向工程、數(shù)字建模、醫(yī)療診斷、虛擬現(xiàn)實(shí)等。該技術(shù)能夠通過(guò)對(duì)物體幾何形狀的重塑和建模，提供更準(zhǔn)確、更直觀的圖形表達(dá)。在人工智能大行其道的時(shí)代，三維重建的技術(shù)水平對(duì)計(jì)算機(jī)科技的發(fā)展至關(guān)重要。

2、文獻(xiàn)“r.hartley?and?a.zisserman，‘multiple?view?geometry?in?computervision，’2nd?ed.cambridge：cambridge?university?press，2004.”提出了一種三維重建方法，從幾何上理解和分析從三維到二維的投影過(guò)程，設(shè)計(jì)了從二維到三維的逆問(wèn)題解決方案，但現(xiàn)有的三維重建通常需要大量已知相機(jī)參數(shù)的圖像，并進(jìn)行相機(jī)參數(shù)估計(jì)、密集點(diǎn)云重建和表面重建等多個(gè)步驟，對(duì)算力的要求是十分巨大的。相比之下，基于深度學(xué)習(xí)的算法具有顯著的精簡(jiǎn)算力的優(yōu)勢(shì)。在神經(jīng)網(wǎng)絡(luò)中，處理由圖片提取的數(shù)據(jù)變成了編碼與解碼的過(guò)程，隨著特征點(diǎn)選取的增加，無(wú)需復(fù)雜的相機(jī)校準(zhǔn)的情況下，就可以從單張或多張二維圖像中重建物體的三維模型。目前，主流的三維重建形式一共有三種：基于點(diǎn)云的三維重建，基于體素的三維重建以及基于網(wǎng)格的三維重建。其中，點(diǎn)云重建方式nerf的問(wèn)世讓神經(jīng)輻射場(chǎng)成為主流，但其因?yàn)槭褂蒙窠?jīng)網(wǎng)絡(luò)進(jìn)行稠密重建，對(duì)gpu算力的要求仍然很高。

3、雖然通過(guò)幾何和深度學(xué)習(xí)從現(xiàn)有圖像中恢復(fù)布局的工作進(jìn)展迅速，但利用全景圖像應(yīng)對(duì)這些挑戰(zhàn)的工作仍然很少。全景相機(jī)具有提高任務(wù)性能的潛力：其360°的視場(chǎng)可捕捉其光學(xué)中心周?chē)恼麄€(gè)視場(chǎng)，可一次性獲取大量的信息，從而更好地復(fù)原布局。

技術(shù)實(shí)現(xiàn)思路

1、為解決上述技術(shù)問(wèn)題，本發(fā)明提供了一種基于神經(jīng)網(wǎng)絡(luò)的高斯?jié)姙R單目重建方法，從工程應(yīng)用角度出發(fā)，將三維高斯與單目重建技術(shù)結(jié)合，并使用全景圖片拍攝與球狀卷積核圖片深度恢復(fù)技術(shù)，減少了以往三維重建技術(shù)的所需圖片數(shù)，極大地加快了三維重建的速度，具有重要的應(yīng)用價(jià)值。

2、本發(fā)明采用的技術(shù)方案為：一種基于神經(jīng)網(wǎng)絡(luò)的高斯?jié)姙R單目重建方法，具體步驟如下：

3、s1、構(gòu)建一個(gè)包括圖像深度恢復(fù)模型和sfm運(yùn)動(dòng)恢復(fù)模型的高斯?jié)姙R單目重建模型；

4、所述圖像深度恢復(fù)模型用于對(duì)單目全景圖像進(jìn)行場(chǎng)景深度恢復(fù)，包括：預(yù)訓(xùn)練網(wǎng)絡(luò)、預(yù)測(cè)網(wǎng)絡(luò)。預(yù)訓(xùn)練網(wǎng)絡(luò)和預(yù)測(cè)網(wǎng)絡(luò)具體結(jié)構(gòu)均為基于球狀卷積的編碼-解碼結(jié)構(gòu)，編碼器固定采用vgg16。所述sfm運(yùn)動(dòng)恢復(fù)模型用于對(duì)恢復(fù)的圖像進(jìn)行稀疏點(diǎn)云重建。

5、其中，所述基于球狀卷積的編碼-解碼結(jié)構(gòu)中，編碼器包括：球狀卷積層、池化層、包含交叉熵和正則化的損失函數(shù)；且編碼模型共5個(gè)主層，每個(gè)主層包括一個(gè)球卷積層和一個(gè)池化層；編碼部分球卷積層和池化層共包含18個(gè)子層。解碼器包括：5層堆疊的反卷積層、relu激活函數(shù)。且解碼器與編碼器跳躍連接，對(duì)輸出使用上采樣。

6、s2、基于步驟s1，訓(xùn)練圖像深度恢復(fù)模型；

7、將圖像中對(duì)應(yīng)成像空間的點(diǎn)進(jìn)行視圖編碼，使其形成監(jiān)督學(xué)習(xí)序列作為預(yù)訓(xùn)練網(wǎng)絡(luò)和預(yù)測(cè)網(wǎng)絡(luò)的輸入。所述圖像深度恢復(fù)模型中嵌入自適應(yīng)矩估計(jì)算法adam優(yōu)化學(xué)習(xí)率，同時(shí)使用誤差反向傳播算法更新網(wǎng)絡(luò)權(quán)重，并使用所述兩種算法依次訓(xùn)練預(yù)訓(xùn)練網(wǎng)絡(luò)和預(yù)測(cè)網(wǎng)絡(luò)，根據(jù)損失函數(shù)估計(jì)每個(gè)參數(shù)梯度變化，動(dòng)態(tài)調(diào)整參數(shù)的學(xué)習(xí)速率和學(xué)習(xí)步長(zhǎng)，確定每次沿梯度反方向移動(dòng)的距離，不斷更新神經(jīng)網(wǎng)絡(luò)模型的權(quán)重，觀察模型輸出的損失函數(shù)和精度曲線，當(dāng)模型中的參數(shù)收斂，并且模型精度達(dá)到或者接近預(yù)設(shè)精度，訓(xùn)練過(guò)程終止，完成訓(xùn)練。

8、其中，adam計(jì)算出一個(gè)指數(shù)衰減的歷史梯度的平均mt，同時(shí)還計(jì)算一個(gè)指數(shù)衰減的歷史平方梯度的平均vt，其計(jì)算表達(dá)式如下：

9、

10、mt＝?β1mt-1?+?(1-β1)gt???????????????(2)

11、vt?＝?β2vt-1?+?(1-β2)gt2???????????????(3)

12、其中，θ表示模型中的任一參數(shù)，ft(θ)表示噪聲目標(biāo)函數(shù)f(θ)在隨后時(shí)間步t上的隨機(jī)函數(shù)值。mt表示對(duì)梯度的一階矩的估計(jì)，mt-1表示更新前梯度的一階矩的估計(jì)，vt表示對(duì)梯度的二階矩的估計(jì)，vt-1表示更新前梯度的二階矩的估計(jì)，β1表示一階矩估計(jì)的指數(shù)衰減率，β2表示二階矩估計(jì)的指數(shù)衰減率。gt表示表示函數(shù)ft(θ)關(guān)于θ的梯度。adam中通過(guò)計(jì)算偏差矯正的一階矩估計(jì)和二階矩估計(jì)來(lái)抵消偏差，計(jì)算表達(dá)式如下：

13、

14、其中，表示時(shí)間步t的一階矩估計(jì)，表示當(dāng)前時(shí)間步t的二階矩估計(jì)，生成adam的參數(shù)更新公式如下：

15、

16、其中，θt+1表示時(shí)間步t+1的參數(shù)值，θt表示時(shí)間步t的參數(shù)值，η表示學(xué)習(xí)率，∈表示偏置值，且∈＝10-8。

17、s3、采集圖像信息，輸入步驟s2訓(xùn)練好的圖像深度恢復(fù)模型對(duì)圖像的幾何信息進(jìn)行處理，完成單目全景圖像的場(chǎng)景深度恢復(fù)；

18、s4、將步驟s3得到的場(chǎng)景深度恢復(fù)后的圖像輸入sfm運(yùn)動(dòng)恢復(fù)模型，進(jìn)行稀疏點(diǎn)云重建，并用高斯重構(gòu)核對(duì)圖像表面進(jìn)行重建，形成圖像的基本幾何構(gòu)型；

19、s5、對(duì)步驟s4重建后圖像采用圖像處理技術(shù)對(duì)圖片進(jìn)行高斯低通濾波降噪處理，形成物體完整的表面結(jié)構(gòu)，完成圖像場(chǎng)景三維重建。

20、進(jìn)一步地，所述步驟s3具體如下：

21、s31、使用相機(jī)拍攝物體的單目全景圖像，得到圖像信息；

22、使用一臺(tái)相機(jī)，并給相機(jī)設(shè)置轉(zhuǎn)臺(tái)的設(shè)計(jì)，使其可以以單視角拍攝到物體的各個(gè)方向，使用該相機(jī)拍攝物體的單目全景圖像，得到圖像信息。

23、其中，所得圖片包括隨機(jī)的高頻噪聲。

24、s32、基于步驟s31得到的圖像信息，輸入到步驟s2訓(xùn)練好的圖像深度恢復(fù)模型對(duì)圖像的幾何信息進(jìn)行圖像恢復(fù)處理，使其輸出包含正確深度信息的圖像；

25、將圖形的處理過(guò)程視為三維坐標(biāo)的旋轉(zhuǎn)變化，被處理的圖像為三維旋轉(zhuǎn)群so(3)，即旋轉(zhuǎn)過(guò)程中起始與結(jié)束狀態(tài)構(gòu)成的集合，則旋轉(zhuǎn)操作的矩陣形式表達(dá)式如下：

26、

27、其中，θ表示旋轉(zhuǎn)操作在三維空間中對(duì)應(yīng)的旋轉(zhuǎn)角度，rx(θ)，ry(θ)，rz(θ)分別表示在三維坐標(biāo)系中各個(gè)維度上的旋轉(zhuǎn)操作，rx(θ)，ry(θ)，rz(θ)對(duì)應(yīng)的矩陣分別為各個(gè)操作對(duì)應(yīng)的數(shù)學(xué)表示。

28、球狀卷積在球面s2上的求內(nèi)積函數(shù)表達(dá)式如下：

29、

30、其中，s2表示球面，表示球面上各個(gè)位置的像素函數(shù)，fk(x)表示卷積核函數(shù)，k表示第k個(gè)通道，k表示圖像通道總數(shù)，x表示自變量。

31、在所述訓(xùn)練好的圖像深度恢復(fù)模型中，解碼部分共5大層，其中第一層中卷積部分的卷積核在球面s2上卷積，從第二層開(kāi)始卷積部分的卷積核在三維旋轉(zhuǎn)群so(3)中進(jìn)行卷積。在三維旋轉(zhuǎn)群中進(jìn)行操作時(shí)，對(duì)于三維旋轉(zhuǎn)矩陣中的任意元素，存在的關(guān)聯(lián)的表達(dá)式如下：

32、

33、其中，xj表示原始三維向量x在標(biāo)準(zhǔn)基下的第j個(gè)分量，j是列指標(biāo)；x′i表示經(jīng)過(guò)旋轉(zhuǎn)后的三維向量x′在標(biāo)準(zhǔn)基下的第i個(gè)分量，i是行指標(biāo)。表示旋轉(zhuǎn)矩陣r的元素，即從原始坐標(biāo)系的第j軸到旋轉(zhuǎn)后坐標(biāo)系的第i軸的映射。

34、基于歐拉角分解，so(3)中將發(fā)生的運(yùn)動(dòng)形式表示為兩次圍繞單坐標(biāo)軸的旋轉(zhuǎn)的函數(shù)和繞另一坐標(biāo)軸的運(yùn)動(dòng)的函數(shù)的乘積。先將坐標(biāo)軸視為常規(guī)的慣性系參考軸，對(duì)兩個(gè)坐標(biāo)軸上的運(yùn)動(dòng)進(jìn)行分析。然后，將坐標(biāo)軸視為以原點(diǎn)為載體的運(yùn)動(dòng)中心的載體系，其描述運(yùn)動(dòng)的形式為橫滾-俯仰，則給出運(yùn)動(dòng)過(guò)程的表達(dá)式如下：

35、ρ＝rz(α)ry(β)rz(γ)?????(12)

36、其中，rz(α)ry(β)rz(γ)分別表示在三維坐標(biāo)系中各個(gè)維度上的旋轉(zhuǎn)操作，α，β，γ分別表示該旋轉(zhuǎn)操作與x，y，z三個(gè)坐標(biāo)軸的夾角；r與旋轉(zhuǎn)群上函數(shù)的內(nèi)積可視為矩陣的hadamard積，其進(jìn)行卷積時(shí)滿足等變性。選擇采用快速傅里葉變換算法進(jìn)行優(yōu)化。

37、所述訓(xùn)練好的圖像深度恢復(fù)模型利用wigner?d函數(shù)作為基底，使球卷積過(guò)程轉(zhuǎn)化為可進(jìn)行快速傅里葉變換算法的形式，具體如下：

38、首先設(shè)定wigner?d函數(shù)的表達(dá)式如下：

39、

40、其中，j，m，m'表示三個(gè)影響函數(shù)表征的主要指標(biāo)；j為非負(fù)整數(shù)，且滿足-j<m，m'<j。

41、則第二項(xiàng)為wigner?d函數(shù)，其展開(kāi)表達(dá)式如下：

42、

43、其中，u表示m與m'差的絕對(duì)值，v表示m與m'和的絕對(duì)值，s表示j與(u+v)/2的的差值，表示雅可比多項(xiàng)式。則wigner?d函數(shù)第一項(xiàng)展開(kāi)表達(dá)式如下：

44、

45、其中，若j滿足大于m和m'，wigner?d函數(shù)的值均為0。wigner?d函數(shù)的預(yù)先計(jì)算樣本陣列作為標(biāo)準(zhǔn)的二維平移快速傅里葉變換陣列。

46、設(shè)定n表示三維流形，u表示基函數(shù)，則進(jìn)行g(shù)ft變換的表達(dá)式如下：

47、

48、其中，x表示球卷積在三維流形上的某點(diǎn)，表示函數(shù)f在圖傅里葉變換后的第l個(gè)頻率成分，即譜系數(shù)；f(x)表示一個(gè)定義在圖n上的函數(shù)，即三維流形上的某點(diǎn)的信號(hào)值；表示基函數(shù)ul在節(jié)點(diǎn)x處的復(fù)共軛函數(shù)對(duì)應(yīng)的值；基函數(shù)ul是圖傅里葉變換中的正交基函數(shù)，對(duì)應(yīng)于圖拉普拉斯算子的特征向量。使用s2流形時(shí)ul(x)為向量值yl(x)，使用so(3)流形時(shí)ul(x)取矩陣值dl，根據(jù)wigner?d函數(shù)的反向推導(dǎo)，得到so(3)上的點(diǎn)的表達(dá)式如下：

49、

50、根據(jù)式(16)，對(duì)式(17)使用gfft算法，可得表達(dá)式如下：

51、

52、其中，d′表示wigner?d函數(shù)的復(fù)共軛函數(shù)。

53、進(jìn)一步地，所述步驟s4具體如下：

54、在sfm運(yùn)動(dòng)恢復(fù)模型生成稀疏點(diǎn)云后，選取三維高斯作為基元，采用協(xié)方差矩陣來(lái)定義集合信息，該矩陣的值由高斯核所對(duì)應(yīng)的區(qū)域空間的平均值確定。

55、使用一個(gè)三維的列向量v＝(x0,x1,x2)t來(lái)表示射線空間中的點(diǎn)。給定一個(gè)中心投影和投影平面：坐標(biāo)x0和x1指定投影平面上的一個(gè)點(diǎn)，第三坐標(biāo)x2指定從投影中心到觀看射線上的點(diǎn)的歐氏距離。則光路上光強(qiáng)度的表達(dá)式如下：

56、

57、其中，t表示轉(zhuǎn)置操作，μ是積分變量，在積分表達(dá)式中表示沿著射線從射線出射點(diǎn)到點(diǎn)ξ之間的某個(gè)位置。表示當(dāng)把照相機(jī)作為原點(diǎn)時(shí)，射線上的點(diǎn)在射線上的位置；l表示射線出射點(diǎn)至處的距離；ξ表示射線照射方向，并使用3d高斯單位向量的形式進(jìn)行表示；表示發(fā)射系數(shù)，即點(diǎn)處的顏色；g(x)表示定義光遮蔽率的散光函數(shù)；表示在處沿著射線方向ξ的發(fā)射系數(shù)，指數(shù)項(xiàng)為衰減系數(shù)；是光源項(xiàng)，其描述在處沿著射線方向ξ散射的光強(qiáng)。散光函數(shù)是高斯重構(gòu)核的加權(quán)和，表達(dá)式如下：

58、

59、其中，gkg表示第kg個(gè)加權(quán)系數(shù)，它表示第kg個(gè)高斯重構(gòu)核對(duì)散光函數(shù)的貢獻(xiàn)程度。高斯重構(gòu)核是第kg個(gè)重建核函數(shù)，描述在位置處的光散射或衰減特性，反應(yīng)單個(gè)粒子的位置和形狀。將式(20)代入式(19)，得到：

60、

61、然后設(shè)定發(fā)射系數(shù)為常數(shù)c0，并使用泰勒展開(kāi)的前兩項(xiàng)作為指數(shù)的近似值，得到式(21)的簡(jiǎn)化表達(dá)式如下：

62、

63、其中，表示積分重構(gòu)核，即高斯重構(gòu)核的積分，且

64、最后，sfm運(yùn)動(dòng)恢復(fù)模型完成對(duì)圖像表面的重建。對(duì)于輸出的重構(gòu)后的圖片，原本彎曲的直線應(yīng)變得接近直線；若圖像中包含矩形對(duì)象，則重建后的矩形圖像的四條邊應(yīng)接近直線段，且四個(gè)頂角應(yīng)接近于90°直角；原圖像中的部分橢圓重建后應(yīng)接近圓形；原圖中的部分夾角的角度在重建后應(yīng)出現(xiàn)一定程度的縮小。

65、進(jìn)一步地，所述步驟s5中，完成圖像場(chǎng)景三維重建后，所述高斯?jié)姙R單目重建模型的重建性能評(píng)價(jià)指標(biāo)具體如下：

66、所述評(píng)價(jià)指標(biāo)包括：峰值信噪比psnr、結(jié)構(gòu)相似性指數(shù)ssim和學(xué)習(xí)感知圖像塊相似度lpips。

67、(1)峰值信噪比psnr；

68、

69、其中，mse表示均方誤差；m，n分別表示圖像的寬度和高度，i(i,j)表示處理前的圖像在(i,j)位置處的像素值，k(i,j)表示處理后的圖像在(i,j)位置處的像素值，maxi表示圖像中最大可能的像素值。

70、(2)結(jié)構(gòu)相似性ssim；

71、

72、其中，ux、uy分別表示圖像x、y的像素的均值，圖像x和圖像y分別表示經(jīng)由所述高斯?jié)姙R單目重建模型重構(gòu)前和重構(gòu)后的圖像；c1、c2為常數(shù)，且滿足c1＝(k1×l)2，c2＝(k2×l)2，k1和k2表示避免在計(jì)算ssim時(shí)分母為零的兩個(gè)常數(shù)，l表示像素值的動(dòng)態(tài)范圍，即圖像中像素值可能的最大值；σxy表示圖像x和圖像y的像素值之間的協(xié)方差，度量?jī)蓤D像中對(duì)應(yīng)像素值的相關(guān)性；表示圖像x的像素值的方差；表示圖像y的像素值的方差。

73、(3)學(xué)習(xí)感知圖像塊相似度lpips；

74、

75、其中，d(p,p0)表示兩個(gè)圖像塊p和p0之間的距離度量；hl、wl表示第l層輸出的長(zhǎng)度和寬度；wl權(quán)重用于對(duì)每個(gè)通道的輸出進(jìn)行加權(quán)縮放；和分別表示在位置(h，w)處，第l層網(wǎng)絡(luò)對(duì)輸入圖像塊p和p0的激活輸出，h和w表示圖像上的空間坐標(biāo)。

76、本發(fā)明的有益效果：本發(fā)明的方法首先構(gòu)建一個(gè)包括圖像深度恢復(fù)模型和sfm運(yùn)動(dòng)恢復(fù)模型的高斯?jié)姙R單目重建模型，并訓(xùn)練圖像深度恢復(fù)模型，再拍攝全景圖片，并將其用球狀卷積進(jìn)行訓(xùn)練，恢復(fù)失真部分，然后通過(guò)sfm運(yùn)動(dòng)恢復(fù)模型進(jìn)行稀疏點(diǎn)云重建，并用高斯重構(gòu)核對(duì)圖像表面進(jìn)行重建，形成圖像的基本幾何構(gòu)型，最后采用圖像處理技術(shù)對(duì)圖片進(jìn)行高斯低通濾波降噪處理，形成物體完整的表面結(jié)構(gòu)，完成圖像場(chǎng)景三維重建。本發(fā)明的方法使用三維高斯?jié)姙R技術(shù)與球狀卷積核相結(jié)合，以構(gòu)建物體幾何模型，在可操作性上有了顯著的提高，極大地提高了計(jì)算的速度，在智慧醫(yī)療，工程探傷等領(lǐng)域具有重要的應(yīng)用價(jià)值。本發(fā)明的方法為臨床診斷，特殊工程項(xiàng)目等場(chǎng)景提供技術(shù)支持。在臨床診斷中，所述高斯?jié)姙R單目重建模型可以將病患腿部的靜脈曲張圖像展開(kāi)到二維平面進(jìn)行重建，方便醫(yī)生進(jìn)行診斷。