本發明屬于三維實景模型重建，特別是涉及一種基于任意尺度超分的三維模型紋理分辨率一致性提升方法和系統。

背景技術：

1、逼真的三維模型被廣泛應用于智慧城市，虛擬/增強現實，城市規劃等?；谟跋竦娜S重建因影像數據采集便捷、成本低而受到了研究者們的廣泛關注?；谟跋竦娜S重建流程可大致分為三維模型幾何重建和紋理映射。幾何重建通常采用稀疏匹配、稠密匹配等技術，從多視圖像中重建出目標的三維表面模型，該模型通常稱作“白?！薄挥袔缀涡螤?，沒有紋理信息。紋理映射是基于相機內外參和多視影像為“白?！辟x予顏色和紋理，使三維模型擁有豐富的細節，更具真實感。具體的，“白?！笔怯梢幌盗腥敲娼M成，紋理映射需要基于多視影像信息為每個三角面賦予紋理信息。根據三角面紋理生成的方式，紋理映射方法可分為基于融合的方法和基于鑲嵌的方法?；谌诤系姆椒▽⑺袑皆撊敲娴挠跋襁M行加權融合以生成該三角面的顏色；基于鑲嵌的方法是從所有候選影像中為三角面選擇最佳視角影像。基于鑲嵌的方法相對于基于融合的方法來說在將多視影像重采樣至紋理空間時變形更小，生成的紋理的真實感較好、細節細膩。為提高三維紋理模型的局部區域一致性，基于鑲嵌的方法通常將有著相同最佳視角影像的相鄰三角面合并為三角面簇，以此為基本單元來從多視影像中獲取紋理圖塊信息。

2、當多視影像的拍攝角度、距離和相機參數不同時，三維紋理模型上從不同多視影像中采集紋理信息的相鄰三角面簇的紋理分辨率存在顯著差異。這個問題很常見且極大地降低了紋理模型的視覺質量。雖然近年來人們提出了許多傳統的紋理映射方法來生成紋理模型，但這些方法大多側重于相機姿態優化、視角選擇、色彩校正等。少有的關注三維模型紋理分辨率提升的工作雖然可通過對紋理圖集進行固定尺度的超分辨率以提高分辨率，恢復出細節信息，但紋理模型上仍然存在分辨率不一致的問題。

技術實現思路

1、考慮到現有技術方案不能很好地解決三維紋理模型上清晰度不一致的問題，本發明創新性地提出了一種多視信息增強的任意尺度超分辨率網絡，該網絡集成了多視影像信息以提升紋理模型的分辨率一致性，最終可將三維模型上相鄰三角面簇的分辨率增強至同一層次，進而改善三維模型的可視化效果。雖然已經有許多任意尺度影像超分辨率方法被提出，但這些方法都是針對二維影像而不是三維紋理模型設計的。在本發明中，網格格式的三維模型被劃分為若干個三角面簇，并將每個三角面簇對應的紋理圖塊作為處理基元，而不是整個紋理圖集。由于不同三角面簇的分辨率不一致且呈任意比例，自適應計算每個三角面簇的尺度因子，該因子決定了對應紋理圖塊最終的分辨率。即對于不同的三角面簇，它們的超分辨率因子是不同的。此外，考慮到單圖超分辨率的不適定性以及本發明對超分辨率結果內容需滿足多視一致性的要求，設計了一種跨視圖特征聚合模塊來整合多視影像信息，以提高超分辨率網絡的性能。得益于超分辨因子的自適應計算和多視影像信息的融合，可提高三維模型的紋理分辨率并讓相鄰三角面簇的分辨率趨于一致。

2、本發明的技術方案為：基于任意尺度超分的三維模型紋理分辨率一致性提升方法，包括如下步驟：

3、步驟1，確定每個三角面所對應的最佳視角影像，并生成三角面簇以及由紋理圖塊構成的初始紋理圖集；

4、步驟2，基于三角面簇和紋理圖塊的面積，計算三角面簇的超分辨率因子；

5、步驟3，采用超分辨率網絡來提升三角面簇所對應的紋理圖塊的分辨率；

6、被超分辨率的對象為紋理圖塊在其最優視角影像中的最小包圍矩形區域，超分辨率網絡基于超分辨率因子來生成超分辨率圖塊；并引入參考影像信息來實現更高質量的超分重建，參考影像是與最優視角影像在空間上鄰近的多視影像；

7、步驟4，待每個紋理圖塊都完成任意尺度超分辨率處理后，將超分辨率后的紋理圖塊打包生成新的紋理圖集，基于更新后的紋理圖集生成紋理分辨率一致的、視覺效果逼真的三維模型。

8、進一步的，步驟1中為生成三角面簇，首先確定每個三角面fi所對應的最佳視角影像，記作影像標簽li；具體地，構建能量方程e(l)進行最佳視角影像選擇，其中數據項edata用于為三角面選擇較好的可見視角影像，平滑項esmooth用于最小化視覺接縫的可見性；能量方程e(l)表示為：

9、e(l)＝edata+esmooth

10、

11、其中，l表示所有三角面的影像標簽集合，faces表示所有三角面集合，edge表示相鄰的兩個三角面構成的邊，edges表示所有邊的集合，lj表示三角面fj的最佳視角影像，j是為了和i進行區分，j≠i，φ(fi,li)表示三角面fi在影像上的投影，表示sobel算子，[·]表示艾弗森括號；用圖割方法求解上述能量方程，得到所有三角面的最佳視角影像的標簽，將具有相同標簽的相鄰三角面聚合成三角面簇其中c為三角面簇的個數；隨后，從多視影像中獲取三角面簇對應的紋理圖塊，打包生成紋理圖集，將所有紋理圖塊記作

12、進一步的，步驟2的具體實現方式如下：

13、步驟2.1，三角面簇的尺度因子生成：尺度因子ri定義為三角面簇ci的面積和三角面簇對應的紋理圖塊ti的面積的比值，如下所示：

14、

15、其中和分別表示ci和ti的面積，∈是一個極小的非0常數；ri值越大，三維模型上對應的紋理越清晰；

16、步驟2.2，三角面簇的超分辨率因子生成：由于不同三角面簇的紋理分辨率存在差異，基于式(2)中定義的尺度因子來自適應地計算每個三角面簇的超分辨率因子；在計算超分辨率因子之前，設置一個參考尺度因子rref；然后，每個三角面簇的超分辨率因子si通過下式得到：

17、

18、進一步的，參考尺度因子rref為所有三角面簇尺度因子的最大值rmax或者大于rmax的值。

19、進一步的，步驟3的具體實現方式如下：

20、步驟3.1，特征提?。簩⒊直媛示W絡edsr-b作為特征提取器，以生成紋理圖塊tlr的特征圖flr和參考影像特征圖j表示參考影像的個數；

21、其中，tlr為紋理圖塊ti在其最優視角影像中的最小包圍矩形區域；

22、步驟3.2，跨視角特征聚合：對于特征圖flr中的每個像素點p，首先根據多視幾何關系將其投影到參考影像視角，投影點記作也稱作查詢點，以為中心創建一個小窗口使用交叉注意力機制來增強p點的影像特征，生成最終的增強特征圖以將多視影像中的參考信息整合到低分影像特征圖中；

23、步驟3.3，視角內信息集成：采用任意尺度超分方法ciaosr來集成視角內部的信息，獲得查詢點坐標對應的隱式編碼；

24、步驟3.4，超分辨率影像重建：對于超分結果影像中的每個像素坐標，結合查詢點的坐標及其隱式編碼，通過隱式圖像函數預測其顏色值，然后將所有像素坐標的顏色預測值逐像素地加到低分影像的雙三次插值結果圖中，進而生成超分影像；隨后，通過掩碼處理得到超分影像中的有效紋理區域，進而得到分辨率提升后的紋理圖塊；

25、步驟3.5，使用損失函數：基于訓練樣本集，對任意尺度超分辨率網絡進行訓練，直到整個網絡收斂至最優精度。

26、進一步的，步驟3.2中使用交叉注意力機制來增強p點的影像特征，計算公式如下所示：

27、

28、其中，表示經交叉注意力機制聚合參考信息后p點的特征，finter為對應的特征圖；(m,n)表示包含在窗口內的坐標位置，σ表示softmax函數；q、和分別表示注意力機制中的查詢、鍵和值，它們的定義如下：

29、

30、其中，為像素點p的低分影像特征，為坐標(m,n)處的參考影像特征，dism,n為投影點和其鄰域窗口內像素(m,n)的相對距離，cell為用于指定查詢區域形狀的格網解碼；φk和φv為由多層感知器實現的鍵網絡和值網絡，它們都用于特征映射；根據式(4)，聚合像素p的所有參考影像的特征生成為了生成最終的增強特征圖進一步融合finter和flr，首先將兩個特征圖在通道維度拼接起來，然后通過兩個卷積層conv和兩個非線性激活函數relu對它們進行處理，特征融合模塊的具體流程如下：

31、

32、進一步的，步驟3.3的具體實現方式如下；

33、假定x為超分結果影像tsr中的像素坐標，xq為低分影像tlr中對應的查詢點坐標，在以xq為中心的小局部區域執行視角內注意力機制來獲取隱式編碼公式化為：

34、

35、其中，視角內注意力機制的查詢、鍵和值定義為：

36、

37、式中(m*,n*)為最接近查詢點xq的像素，和表示在(m*,n*)和(m,n)位置處增強后的低分特征，φk′和φv′分別為鍵網絡和值網絡，表示從增強后的低分特征圖中捕獲到的非局部特征。

38、進一步的，步驟3.4中，超分影像tsr的計算如下式所示：

39、

40、其中，為雙三次插值結果圖，fθ(zx,x)是隱式圖像函數，通過多層感知器實現，zx表示超分結果影像中的每個像素坐標x對應的隱式編碼。

41、進一步的，步驟3.5中，損失函數為范數，其約束超分結果圖和高分辨率影像在像素級別上的差異。

42、本發明還提供基于任意尺度超分的三維模型紋理分辨率一致性提升系統，包括處理器和存儲器，存儲器用于存儲程序指令，處理器用于調用存儲器中的存儲指令執行如上述技術方案所述的基于任意尺度超分的三維模型紋理分辨率一致性提升方法。

43、本發明相對于現有技術，具有以下三個優點：

44、1)將三維紋理模型分辨率一致性提升問題轉化為任意尺度紋理超分辨率任務，并提出方法進行解決。

45、2)引入超分辨率因子來實現三角面簇分辨率的自適應提升，使得在提高紋理分辨率的同時能提升紋理模型的分辨率一致性。

46、3)在任意尺度超分網絡中設計了跨視角特征聚合模塊，以更好地整合多視視角影像信息，進而提高超分辨率結果圖的保真度和視角之間內容的一致性。