本發(fā)明涉及三維重建，尤其涉及一種基于多源遙感數(shù)據(jù)的新聞場(chǎng)景三維重建與可視化方法。

背景技術(shù)：

1、三維重建技術(shù)旨在從二維圖像或其他數(shù)據(jù)中恢復(fù)真實(shí)世界的三維結(jié)構(gòu)，已廣泛應(yīng)用于城市規(guī)劃、災(zāi)害評(píng)估、虛擬現(xiàn)實(shí)等領(lǐng)域，隨著遙感技術(shù)的快速發(fā)展，基于多源遙感數(shù)據(jù)的三維重建成為研究熱點(diǎn)，其能夠綜合利用不同傳感器獲取的信息，例如光學(xué)影像的光譜信息、雷達(dá)的穿透能力以及激光雷達(dá)的高精度高程信息，從而更完整、更精確地重建三維場(chǎng)景；

2、傳統(tǒng)的遙感三維重建方法主要依賴于立體攝影測(cè)量或結(jié)構(gòu)光等技術(shù)，但這些方法在處理復(fù)雜場(chǎng)景，特別是新聞場(chǎng)景這種動(dòng)態(tài)變化、信息豐富的場(chǎng)景時(shí)，存在一定的局限性，仍然存在多源遙感數(shù)據(jù)融合困難、復(fù)雜場(chǎng)景重建精度低以及場(chǎng)景可視化效率低等問(wèn)題；

3、因此，亟需一種方案解決現(xiàn)有技術(shù)中存在的問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明實(shí)施例提供一種基于多源遙感數(shù)據(jù)的新聞場(chǎng)景三維重建與可視化方法，至少能解決現(xiàn)有技術(shù)中存在的部分問(wèn)題。

2、本發(fā)明實(shí)施例的第一方面，提供一種基于多源遙感數(shù)據(jù)的新聞場(chǎng)景三維重建與可視化方法，包括：

3、通過(guò)遙感衛(wèi)星采集目標(biāo)新聞場(chǎng)景對(duì)應(yīng)的多源遙感數(shù)據(jù)，基于空間位置加權(quán)的迭代最近點(diǎn)算法和張量投影算法、雙向注意力深度神經(jīng)網(wǎng)絡(luò)提取得到層次化特征描述子，通過(guò)基于局部幾何一致性約束的隨機(jī)采樣算法進(jìn)行篩選，剔除投影誤差大于預(yù)設(shè)的投影閾值的特征點(diǎn)對(duì)并統(tǒng)一至全球地理坐標(biāo)得到配準(zhǔn)多源遙感數(shù)據(jù)，通過(guò)變分自編碼器網(wǎng)絡(luò)和噪聲感知損失函數(shù)，結(jié)合基于像素級(jí)對(duì)抗判別的生成對(duì)抗網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)增強(qiáng)得到增強(qiáng)遙感數(shù)據(jù)；

4、將增強(qiáng)遙感數(shù)據(jù)添加特征提取網(wǎng)絡(luò)得到空間注意力特征圖和通道注意力特征圖，將空間注意力特征圖添加至基于密集連接的單目深度估計(jì)網(wǎng)絡(luò)生成深度信息，與雙極化雷達(dá)遙感數(shù)據(jù)和多回波激光點(diǎn)云數(shù)據(jù)融合得到稀疏三維點(diǎn)云，經(jīng)泊松重建算法生成初始三維網(wǎng)格模型，將通道注意力特征圖添加至殘差圖卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行紋理特征遷移，結(jié)合多視角投影一致性約束和網(wǎng)格優(yōu)化算法進(jìn)行拓?fù)鋬?yōu)化得到優(yōu)化三維場(chǎng)景模型；

5、計(jì)算優(yōu)化三維場(chǎng)景模型中每個(gè)網(wǎng)格的曲率變化值與法向量變化值，構(gòu)建空間劃分評(píng)價(jià)函數(shù)將三維場(chǎng)景劃分為大小不同的八叉樹(shù)空間塊，計(jì)算每個(gè)空間塊內(nèi)網(wǎng)格頂點(diǎn)的二次誤差矩陣并構(gòu)建邊坍縮代價(jià)函數(shù)對(duì)網(wǎng)格頂點(diǎn)進(jìn)行合并簡(jiǎn)化，得到四個(gè)精度等級(jí)模型，構(gòu)建四叉樹(shù)視椎體劃分為三個(gè)深度區(qū)域加載對(duì)應(yīng)精度等級(jí)模型得到可視化場(chǎng)景，通過(guò)雙分支語(yǔ)義分割網(wǎng)絡(luò)提取局部特征和全局特征，通過(guò)融合上采樣生成場(chǎng)景語(yǔ)義分割圖并標(biāo)注新聞事件位置，采集交互位置信息并計(jì)算視點(diǎn)變換矩陣更新可視化場(chǎng)景進(jìn)行場(chǎng)景漫游并進(jìn)行場(chǎng)景漫游。

6、在一種可選的實(shí)施方式中，

7、通過(guò)遙感衛(wèi)星采集目標(biāo)新聞場(chǎng)景對(duì)應(yīng)的多源遙感數(shù)據(jù)，基于空間位置加權(quán)的迭代最近點(diǎn)算法和張量投影算法、雙向注意力深度神經(jīng)網(wǎng)絡(luò)提取得到層次化特征描述子，通過(guò)基于局部幾何一致性約束的隨機(jī)采樣算法進(jìn)行篩選，剔除投影誤差大于預(yù)設(shè)的投影閾值的特征點(diǎn)對(duì)并統(tǒng)一至全球地理坐標(biāo)得到配準(zhǔn)多源遙感數(shù)據(jù)，通過(guò)變分自編碼器網(wǎng)絡(luò)和噪聲感知損失函數(shù)，結(jié)合基于像素級(jí)對(duì)抗判別的生成對(duì)抗網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)增強(qiáng)得到增強(qiáng)遙感數(shù)據(jù)包括：

8、通過(guò)遙感衛(wèi)星采集目標(biāo)新聞場(chǎng)景對(duì)應(yīng)的多源遙感數(shù)據(jù)，所述多源遙感數(shù)據(jù)包括光學(xué)遙感影像數(shù)據(jù)、雙極化雷達(dá)遙感數(shù)據(jù)和多回波激光點(diǎn)云數(shù)據(jù)；

9、將所述多源遙感數(shù)據(jù)添加至基于空間位置加權(quán)的迭代最近點(diǎn)算法，構(gòu)建空間位置權(quán)重矩陣，根據(jù)數(shù)據(jù)點(diǎn)到場(chǎng)景中心的距離構(gòu)建特征距離函數(shù)，計(jì)算權(quán)重值，通過(guò)八叉樹(shù)空間索引結(jié)構(gòu)對(duì)每個(gè)數(shù)據(jù)點(diǎn)執(zhí)行最近鄰搜索建立最近鄰點(diǎn)集合，計(jì)算數(shù)據(jù)點(diǎn)與所述最近鄰點(diǎn)集合之間的位置偏差向量，將所述位置偏差向量與所述空間位置權(quán)重矩陣相乘得到加權(quán)位置偏差，重復(fù)迭代直至所述加權(quán)位置偏差小于預(yù)設(shè)閾值，輸出優(yōu)化后的數(shù)據(jù)點(diǎn)集合；

10、將所述多源遙感數(shù)據(jù)添加至張量投影算法，通過(guò)主分量分析構(gòu)建特征協(xié)方差矩陣，通過(guò)計(jì)算特征值和特征向量確定最優(yōu)投影方向，在所述最優(yōu)投影方向上執(zhí)行張量投影操作，對(duì)投影結(jié)果構(gòu)建局部曲率計(jì)算函數(shù)和法向量變化函數(shù)，通過(guò)曲率閾值分割和區(qū)域生長(zhǎng)算法提取多模態(tài)數(shù)據(jù)特征點(diǎn)；

11、將所述多模態(tài)數(shù)據(jù)特征點(diǎn)添加至雙向注意力深度神經(jīng)網(wǎng)絡(luò)，所述雙向注意力深度神經(jīng)網(wǎng)絡(luò)通過(guò)編碼器的多層卷積和池化操作提取多尺度特征，所述多層卷積包括點(diǎn)卷積層、邊卷積層和面卷積層，通過(guò)解碼器的反卷積和上采樣操作還原特征，在所述編碼器和所述解碼器之間設(shè)置雙向注意力模塊，其中，所述雙向注意力模塊包含計(jì)算特征點(diǎn)內(nèi)部空間關(guān)聯(lián)度的自注意力機(jī)制和計(jì)算不同特征點(diǎn)之間拓?fù)潢P(guān)聯(lián)度的交叉注意力機(jī)制，融合所述自注意力機(jī)制和所述交叉注意力機(jī)制的特征映射結(jié)果，得到層次化特征描述子；

12、通過(guò)基于局部幾何一致性約束的隨機(jī)采樣算法對(duì)所述層次化特征描述子進(jìn)行篩選，通過(guò)特征相似度計(jì)算確定候選特征點(diǎn)對(duì)，隨機(jī)選取特征點(diǎn)對(duì)作為種子匹配，基于所述種子匹配計(jì)算包含旋轉(zhuǎn)矩陣和平移向量的初始幾何變換關(guān)系，對(duì)剩余特征點(diǎn)對(duì)執(zhí)行局部幾何一致性約束檢驗(yàn)得到投影誤差，剔除所述投影誤差大于預(yù)設(shè)的投影閾值的特征點(diǎn)對(duì)，多次重復(fù)隨機(jī)采樣過(guò)程選擇具有最多內(nèi)點(diǎn)支持的幾何變換關(guān)系，基于被選擇的幾何變換關(guān)系將所述多源遙感數(shù)據(jù)統(tǒng)一至全球地理坐標(biāo)，生成配準(zhǔn)多源遙感數(shù)據(jù)；

13、將所述配準(zhǔn)多源遙感數(shù)據(jù)輸入至變分自編碼器網(wǎng)絡(luò)，所述變分自編碼器網(wǎng)絡(luò)的編碼器通過(guò)多層殘差卷積將所述配準(zhǔn)多源遙感數(shù)據(jù)映射至潛在特征空間，解碼器通過(guò)反卷積和跳躍連接將潛在特征重建為原始數(shù)據(jù)形式，在所述潛在特征空間引入隨機(jī)噪聲擾動(dòng)，構(gòu)建噪聲感知損失函數(shù)約束重建結(jié)果；

14、構(gòu)建基于像素級(jí)對(duì)抗判別的生成對(duì)抗網(wǎng)絡(luò)，所述生成對(duì)抗網(wǎng)絡(luò)采用密集連接的全卷積結(jié)構(gòu)輸出像素級(jí)別真實(shí)性評(píng)分圖，將所述變分自編碼器網(wǎng)絡(luò)的解碼器作為生成器，構(gòu)建對(duì)抗損失函數(shù)，通過(guò)最小最大博弈優(yōu)化所述生成器和所述生成對(duì)抗網(wǎng)絡(luò)的參數(shù)直至達(dá)到納什均衡，得到增強(qiáng)遙感數(shù)據(jù)。

15、在一種可選的實(shí)施方式中，

16、通過(guò)基于局部幾何一致性約束的隨機(jī)采樣算法對(duì)所述層次化特征描述子進(jìn)行篩選，通過(guò)特征相似度計(jì)算確定候選特征點(diǎn)對(duì)，隨機(jī)選取特征點(diǎn)對(duì)作為種子匹配，基于所述種子匹配計(jì)算包含旋轉(zhuǎn)矩陣和平移向量的初始幾何變換關(guān)系，對(duì)剩余特征點(diǎn)對(duì)執(zhí)行局部幾何一致性約束檢驗(yàn)得到投影誤差，剔除所述投影誤差大于預(yù)設(shè)的投影閾值的特征點(diǎn)對(duì)，多次重復(fù)隨機(jī)采樣過(guò)程選擇具有最多內(nèi)點(diǎn)支持的幾何變換關(guān)系，基于被選擇的幾何變換關(guān)系將所述多源遙感數(shù)據(jù)統(tǒng)一至全球地理坐標(biāo)，生成配準(zhǔn)多源遙感數(shù)據(jù)包括：

17、構(gòu)建局部幾何特征提取單元和全局語(yǔ)義特征提取單元，其中，所述局部幾何特征提取單元通過(guò)構(gòu)建特征點(diǎn)鄰域，分析鄰域內(nèi)點(diǎn)的分布特性提取局部形狀描述符，所述全局語(yǔ)義特征提取單元通過(guò)多尺度特征金字塔自底向上提取層次化語(yǔ)義信息，將所述局部形狀描述符和所述層次化語(yǔ)義信息級(jí)聯(lián)形成特征向量；

18、構(gòu)建特征相似度計(jì)算模塊，所述特征相似度計(jì)算模塊基于余弦相似度度量方法，引入空間距離加權(quán)項(xiàng)使距離相近的特征點(diǎn)具有更高的匹配優(yōu)先級(jí)，將相似度高于預(yù)設(shè)閾值的特征描述子配對(duì)形成候選特征點(diǎn)對(duì)集合；

19、從所述候選特征點(diǎn)對(duì)集合中隨機(jī)選取特征點(diǎn)對(duì)作為種子匹配，基于所述種子匹配構(gòu)建幾何變換估計(jì)模塊，通過(guò)所述幾何變換估計(jì)模塊建立對(duì)應(yīng)點(diǎn)之間的映射關(guān)系構(gòu)建三維剛體變換模型，結(jié)合迭代優(yōu)化算法將變換過(guò)程中的旋轉(zhuǎn)矩陣分解為三個(gè)基本旋轉(zhuǎn)矩陣并求解，通過(guò)最小化對(duì)應(yīng)點(diǎn)之間的歐式距離求解平移向量；

20、構(gòu)建幾何一致性檢驗(yàn)?zāi)K，所述幾何一致性檢驗(yàn)?zāi)K包含特征變換單元和誤差計(jì)算單元，所述特征變換單元將源特征點(diǎn)通過(guò)所述三維剛體變換模型變換到目標(biāo)坐標(biāo)系，所述誤差計(jì)算單元計(jì)算變換后位置與實(shí)際目標(biāo)位置之間的投影誤差，根據(jù)數(shù)據(jù)分布特性動(dòng)態(tài)調(diào)整投影誤差閾值，剔除投影誤差大于所述投影誤差閾值的特征點(diǎn)對(duì)；

21、構(gòu)建隨機(jī)采樣迭代優(yōu)化模塊，所述隨機(jī)采樣迭代優(yōu)化模塊隨機(jī)選取不同的種子匹配執(zhí)行所述幾何變換估計(jì)模塊和所述幾何一致性檢驗(yàn)?zāi)K，統(tǒng)計(jì)滿足約束條件的內(nèi)點(diǎn)數(shù)量，綜合考慮所述內(nèi)點(diǎn)數(shù)量和幾何變換的穩(wěn)定性進(jìn)行評(píng)分，選擇評(píng)分最高的幾何變換關(guān)系作為最優(yōu)幾何變換關(guān)系；

22、基于所述最優(yōu)幾何變換關(guān)系構(gòu)建坐標(biāo)轉(zhuǎn)換模塊，基于所述坐標(biāo)轉(zhuǎn)換模塊將所述光學(xué)遙感影像數(shù)據(jù)作為基準(zhǔn)數(shù)據(jù)，對(duì)雙極化雷達(dá)遙感數(shù)據(jù)構(gòu)建考慮成像幾何特性的仿射變換模型通過(guò)多項(xiàng)式擬合方法解算變換參數(shù)實(shí)現(xiàn)幾何校正，對(duì)所述多回波激光點(diǎn)云數(shù)據(jù)構(gòu)建三維空間剛體變換模型通過(guò)迭代優(yōu)化方法求解轉(zhuǎn)換參數(shù)，將所述光學(xué)遙感影像數(shù)據(jù)、所述雙極化雷達(dá)遙感數(shù)據(jù)和所述多回波激光點(diǎn)云數(shù)據(jù)統(tǒng)一轉(zhuǎn)換至全球地理坐標(biāo)系。

23、在一種可選的實(shí)施方式中，

24、將增強(qiáng)遙感數(shù)據(jù)添加特征提取網(wǎng)絡(luò)得到空間注意力特征圖和通道注意力特征圖，將空間注意力特征圖添加至基于密集連接的單目深度估計(jì)網(wǎng)絡(luò)生成深度信息，與雙極化雷達(dá)遙感數(shù)據(jù)和多回波激光點(diǎn)云數(shù)據(jù)融合得到稀疏三維點(diǎn)云，經(jīng)泊松重建算法生成初始三維網(wǎng)格模型，將通道注意力特征圖添加至殘差圖卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行紋理特征遷移，結(jié)合多視角投影一致性約束和網(wǎng)格優(yōu)化算法進(jìn)行拓?fù)鋬?yōu)化得到優(yōu)化三維場(chǎng)景模型包括：

25、將增強(qiáng)遙感數(shù)據(jù)輸入特征提取網(wǎng)絡(luò)，通過(guò)多層級(jí)聯(lián)卷積結(jié)構(gòu)和批量歸一化層提取多尺度空間特征，采用自適應(yīng)權(quán)重計(jì)算單元對(duì)每個(gè)位置分配空間注意力權(quán)重，通過(guò)全局池化進(jìn)行信息聚合獲取通道描述符，對(duì)所述通道描述符執(zhí)行多層變換學(xué)習(xí)通道間依賴關(guān)系生成通道注意力權(quán)重，將所述空間注意力權(quán)重和所述通道注意力權(quán)重經(jīng)自適應(yīng)融合生成空間注意力特征圖和通道注意力特征圖；

26、將所述空間注意力特征圖輸入基于密集連接的單目深度估計(jì)網(wǎng)絡(luò)，在所述單目深度估計(jì)網(wǎng)絡(luò)中通過(guò)跳躍方式建立多層級(jí)聯(lián)連接，將淺層特征與深層特征建立直接映射關(guān)系，通過(guò)多層反卷積結(jié)構(gòu)逐步恢復(fù)特征分辨率，采用多尺度特征金字塔結(jié)構(gòu)對(duì)不同層級(jí)特征進(jìn)行權(quán)重自適應(yīng)融合生成深度信息；

27、將所述深度信息進(jìn)行采樣并建立像素坐標(biāo)到三維空間點(diǎn)的映射關(guān)系，基于信噪比和空間分辨率為預(yù)先獲取的雙極化雷達(dá)遙感數(shù)據(jù)和多回波激光點(diǎn)云數(shù)據(jù)計(jì)算置信度權(quán)重，根據(jù)空間距離和特征相似度構(gòu)建自適應(yīng)加權(quán)融合策略，對(duì)重疊區(qū)域進(jìn)行點(diǎn)云融合生成稀疏三維點(diǎn)云；

28、將所述稀疏三維點(diǎn)云輸入泊松重建算法，通過(guò)特征分解方法計(jì)算每個(gè)點(diǎn)的法向量，根據(jù)點(diǎn)云密度分布動(dòng)態(tài)調(diào)整空間剖分粒度，通過(guò)迭代求解泊松方程獲取隱式曲面表達(dá)，結(jié)合自適應(yīng)閾值提取網(wǎng)格結(jié)構(gòu)并進(jìn)行拉普拉斯平滑生成初始三維網(wǎng)格模型，將所述通道注意力特征圖輸入殘差圖卷積神經(jīng)網(wǎng)絡(luò)，通過(guò)局部鄰域聚合傳遞節(jié)點(diǎn)信息，將輸入特征與變換特征相加構(gòu)建殘差連接，通過(guò)圖注意力機(jī)制自適應(yīng)捕獲紋理特征，采用投影變換將紋理特征映射至所述初始三維網(wǎng)格模型表面進(jìn)行紋理特征遷移；

29、在球面空間均勻采樣多個(gè)觀察視角，將所述初始三維網(wǎng)格模型投影至各觀察視角平面生成多視角投影圖像，通過(guò)特征描述子匹配計(jì)算所述多視角投影圖像與原始圖像的相似度建立多視角投影一致性約束，基于所述多視角投影一致性約束優(yōu)化網(wǎng)格頂點(diǎn)位置和連接關(guān)系，同時(shí)保持模型幾何細(xì)節(jié)生成優(yōu)化三維場(chǎng)景模型。

30、在一種可選的實(shí)施方式中，

31、將所述稀疏三維點(diǎn)云輸入泊松重建算法，通過(guò)特征分解方法計(jì)算每個(gè)點(diǎn)的法向量，根據(jù)點(diǎn)云密度分布動(dòng)態(tài)調(diào)整空間剖分粒度，通過(guò)迭代求解泊松方程獲取隱式曲面表達(dá)，結(jié)合自適應(yīng)閾值提取網(wǎng)格結(jié)構(gòu)并進(jìn)行拉普拉斯平滑生成初始三維網(wǎng)格模型，將所述通道注意力特征圖輸入殘差圖卷積神經(jīng)網(wǎng)絡(luò)，通過(guò)局部鄰域聚合傳遞節(jié)點(diǎn)信息，將輸入特征與變換特征相加構(gòu)建殘差連接，通過(guò)圖注意力機(jī)制自適應(yīng)捕獲紋理特征，采用投影變換將紋理特征映射至所述初始三維網(wǎng)格模型表面進(jìn)行紋理特征遷移包括：

32、將所述稀疏三維點(diǎn)云輸入泊松重建算法，構(gòu)建點(diǎn)云近鄰搜索樹(shù)結(jié)構(gòu)，采用球形鄰域搜索方式確定所述稀疏三維點(diǎn)云中每個(gè)點(diǎn)對(duì)應(yīng)的局部鄰域點(diǎn)集，基于所述局部鄰域點(diǎn)集構(gòu)建協(xié)方差矩陣，通過(guò)特征分解方法計(jì)算每個(gè)點(diǎn)的法向量，構(gòu)建最小生成樹(shù)建立點(diǎn)與點(diǎn)之間的連接關(guān)系，選取點(diǎn)云中心位置的法向量作為參考方向，遞歸遍歷所述最小生成樹(shù)調(diào)整所有點(diǎn)的法向量指向得到法向量集合；

33、計(jì)算點(diǎn)云的外包圍盒作為初始空間范圍，根據(jù)點(diǎn)云密度分布動(dòng)態(tài)調(diào)整空間剖分粒度，統(tǒng)計(jì)每個(gè)八叉樹(shù)節(jié)點(diǎn)內(nèi)包含的點(diǎn)云數(shù)量并計(jì)算點(diǎn)密度分布，基于所述點(diǎn)密度設(shè)置自適應(yīng)剖分閾值，將點(diǎn)密度大于所述自適應(yīng)剖分閾值的節(jié)點(diǎn)劃分為八個(gè)子節(jié)點(diǎn)并記錄每個(gè)葉子節(jié)點(diǎn)的深度信息和包含的點(diǎn)集，對(duì)劃分后的葉子節(jié)點(diǎn)進(jìn)行合并操作，將相鄰且點(diǎn)密度接近的節(jié)點(diǎn)合并得到優(yōu)化八叉樹(shù)結(jié)構(gòu)；

34、在所述優(yōu)化八叉樹(shù)結(jié)構(gòu)上定義三維標(biāo)量場(chǎng)函數(shù)，將所述法向量集合轉(zhuǎn)化為梯度場(chǎng)約束，通過(guò)迭代求解泊松方程獲取隱式曲面表達(dá)，采用多重網(wǎng)格策略構(gòu)建求解層次，通過(guò)構(gòu)建稀疏矩陣表示拉普拉斯算子將泊松方程轉(zhuǎn)化為線性方程組，采用迭代優(yōu)化方法求解所述線性方程組并更新網(wǎng)格節(jié)點(diǎn)的標(biāo)量值得到三維標(biāo)量場(chǎng)；

35、結(jié)合自適應(yīng)閾值提取網(wǎng)格結(jié)構(gòu)，基于移動(dòng)立方體算法在所述優(yōu)化八叉樹(shù)結(jié)構(gòu)中提取等值面生成初始網(wǎng)格，對(duì)所述初始網(wǎng)格進(jìn)行拓?fù)錂z查并修復(fù)非流形邊和奇異點(diǎn)，進(jìn)行拉普拉斯平滑迭代優(yōu)化頂點(diǎn)位置，基于邊折疊準(zhǔn)則對(duì)網(wǎng)格進(jìn)行簡(jiǎn)化得到初始三維網(wǎng)格模型；

36、將通道注意力特征圖輸入殘差圖卷積神經(jīng)網(wǎng)絡(luò)，通過(guò)局部鄰域聚合傳遞節(jié)點(diǎn)信息，定義鄰接矩陣描述節(jié)點(diǎn)間連接關(guān)系，基于所述鄰接矩陣進(jìn)行消息聚合將節(jié)點(diǎn)特征與鄰域特征加權(quán)組合，將輸入特征與變換特征相加構(gòu)建殘差連接得到增強(qiáng)特征；

37、通過(guò)圖注意力機(jī)制自適應(yīng)捕獲紋理特征，對(duì)所述增強(qiáng)特征通過(guò)全局池化操作獲取特征統(tǒng)計(jì)信息并進(jìn)行非線性變換，學(xué)習(xí)不同通道間的相關(guān)性權(quán)重生成通道注意力權(quán)重，計(jì)算特征圖不同位置的重要性得分生成空間注意力權(quán)重，將所述通道注意力權(quán)重和所述空間注意力權(quán)重作用于特征圖得到紋理特征；

38、采用投影變換將所述紋理特征映射至所述初始三維網(wǎng)格模型表面進(jìn)行紋理特征遷移，建立所述初始三維網(wǎng)格模型頂點(diǎn)與圖像像素的映射關(guān)系，根據(jù)相機(jī)投影矩陣將頂點(diǎn)投影至圖像平面，對(duì)網(wǎng)格面片內(nèi)部采用重心坐標(biāo)插值計(jì)算紋理坐標(biāo)，構(gòu)建多視圖一致性約束評(píng)估不同視角下紋理映射質(zhì)量，基于圖割優(yōu)化算法選擇最優(yōu)紋理源，根據(jù)觀察距離動(dòng)態(tài)調(diào)整紋理精細(xì)程度得到帶紋理三維場(chǎng)景模型。

39、在一種可選的實(shí)施方式中，

40、計(jì)算優(yōu)化三維場(chǎng)景模型中每個(gè)網(wǎng)格的曲率變化值與法向量變化值，構(gòu)建空間劃分評(píng)價(jià)函數(shù)將三維場(chǎng)景劃分為大小不同的八叉樹(shù)空間塊，計(jì)算每個(gè)空間塊內(nèi)網(wǎng)格頂點(diǎn)的二次誤差矩陣并構(gòu)建邊坍縮代價(jià)函數(shù)對(duì)網(wǎng)格頂點(diǎn)進(jìn)行合并簡(jiǎn)化，得到四個(gè)精度等級(jí)模型，構(gòu)建四叉樹(shù)視椎體劃分為三個(gè)深度區(qū)域加載對(duì)應(yīng)精度等級(jí)模型得到可視化場(chǎng)景，通過(guò)雙分支語(yǔ)義分割網(wǎng)絡(luò)提取局部特征和全局特征，通過(guò)融合上采樣生成場(chǎng)景語(yǔ)義分割圖并標(biāo)注新聞事件位置，采集交互位置信息并計(jì)算視點(diǎn)變換矩陣更新可視化場(chǎng)景進(jìn)行場(chǎng)景漫游并進(jìn)行場(chǎng)景漫游包括：

41、對(duì)于所述優(yōu)化三維場(chǎng)景模型中的每個(gè)網(wǎng)格面片，將每個(gè)網(wǎng)格面片的法向量投影至頂點(diǎn)局部坐標(biāo)系并計(jì)算加權(quán)平均得到頂點(diǎn)法向量，構(gòu)建頂點(diǎn)的局部曲面擬合方程計(jì)算主曲率得到曲率變化值，遍歷相鄰頂點(diǎn)計(jì)算法向量夾角變化率，將所述曲率變化值與所述法向量夾角變化率組合形成頂點(diǎn)特征描述，建立記錄所述頂點(diǎn)特征描述的鄰接關(guān)系圖；

42、將所述頂點(diǎn)特征描述、所述鄰接關(guān)系圖中的頂點(diǎn)密度分布、特征點(diǎn)分布比例輸入至空間劃分評(píng)價(jià)函數(shù)，以場(chǎng)景包圍盒為初始空間遞歸構(gòu)建八叉樹(shù)，計(jì)算每個(gè)待分割節(jié)點(diǎn)的評(píng)價(jià)函數(shù)值，依據(jù)節(jié)點(diǎn)所處層級(jí)和父節(jié)點(diǎn)評(píng)價(jià)值動(dòng)態(tài)調(diào)整分割閾值，記錄每個(gè)葉子節(jié)點(diǎn)的空間范圍、所述頂點(diǎn)特征描述、網(wǎng)格拓?fù)潢P(guān)系形成空間索引結(jié)構(gòu)；

43、針對(duì)所述空間索引結(jié)構(gòu)中的每個(gè)葉子節(jié)點(diǎn)，將頂點(diǎn)到相鄰面片的距離平方和構(gòu)建二次誤差矩陣，將所述二次誤差矩陣、所述法向量變化率、紋理坐標(biāo)變化量組合構(gòu)建邊坍縮代價(jià)函數(shù)，遍歷節(jié)點(diǎn)內(nèi)網(wǎng)格邊計(jì)算最優(yōu)坍縮位置并存入優(yōu)先隊(duì)列，按照所述坍縮代價(jià)函數(shù)的值的大小迭代執(zhí)行邊坍縮操作，更新受影響頂點(diǎn)的誤差矩陣和相關(guān)邊的代價(jià)值；

44、基于所述邊坍縮代價(jià)函數(shù)控制坍縮迭代次數(shù)，保持所述頂點(diǎn)特征描述的連續(xù)性，生成保留百分之九十、百分之七十、百分之五十、百分之三十原始頂點(diǎn)數(shù)的四個(gè)精度等級(jí)模型，構(gòu)建視椎體對(duì)應(yīng)的四叉樹(shù)結(jié)構(gòu)，將視椎體劃分為近景區(qū)域、中景區(qū)域和遠(yuǎn)景區(qū)域，在相鄰區(qū)域間設(shè)置重疊過(guò)渡帶，將四個(gè)精度等級(jí)模型中精細(xì)度最高的兩個(gè)模型加載至近景區(qū)域，將精細(xì)度第三高的模型加載至中景區(qū)域，將精細(xì)度最低的模型加載至遠(yuǎn)景區(qū)域；

45、在所述重疊過(guò)渡帶內(nèi)基于所述頂點(diǎn)特征描述計(jì)算頂點(diǎn)位置插值，進(jìn)行不同精度模型間的平滑切換得到可視化場(chǎng)景，將所述可視化場(chǎng)景輸入至雙分支語(yǔ)義分割網(wǎng)絡(luò)，通過(guò)多層卷積和降采樣提取局部特征，通過(guò)多級(jí)池化提取全局特征；

46、將所述局部特征與所述全局特征通過(guò)跳躍連接方式融合，對(duì)融合特征進(jìn)行反卷積處理恢復(fù)空間分辨率生成語(yǔ)義分割圖，解析所述語(yǔ)義分割圖得到場(chǎng)景中不同類別區(qū)域的分布，將輸入的新聞事件描述與對(duì)應(yīng)類別區(qū)域建立關(guān)聯(lián)，通過(guò)視線投影將標(biāo)注位置轉(zhuǎn)換至場(chǎng)景空間坐標(biāo)系；

47、獲取交互設(shè)備的位置坐標(biāo)和操作指令，將屏幕空間坐標(biāo)轉(zhuǎn)換至歸一化設(shè)備坐標(biāo)系，構(gòu)建交互射線計(jì)算與所述可視化場(chǎng)景的相交位置，基于所述相交位置計(jì)算視點(diǎn)的旋轉(zhuǎn)矩陣、平移向量和縮放因子，生成視點(diǎn)變換路徑，根據(jù)視點(diǎn)位置動(dòng)態(tài)更新可見(jiàn)范圍內(nèi)模型的精度配置和標(biāo)注符號(hào)的顯示狀態(tài)。

48、在一種可選的實(shí)施方式中，

49、針對(duì)所述空間索引結(jié)構(gòu)中的每個(gè)葉子節(jié)點(diǎn)，將頂點(diǎn)到相鄰面片的距離平方和構(gòu)建二次誤差矩陣，將所述二次誤差矩陣、所述法向量變化率、紋理坐標(biāo)變化量組合構(gòu)建邊坍縮代價(jià)函數(shù)，遍歷節(jié)點(diǎn)內(nèi)網(wǎng)格邊計(jì)算最優(yōu)坍縮位置并存入優(yōu)先隊(duì)列，按照所述坍縮代價(jià)函數(shù)的值的大小迭代執(zhí)行邊坍縮操作，更新受影響頂點(diǎn)的誤差矩陣和相關(guān)邊的代價(jià)值包括：

50、獲取空間索引結(jié)構(gòu)中每個(gè)葉子節(jié)點(diǎn)的網(wǎng)格信息，建立頂點(diǎn)與相鄰面片的關(guān)聯(lián)表，獲取每個(gè)頂點(diǎn)所屬的面片集合及拓?fù)潢P(guān)系，基于所述面片集合計(jì)算面片法向量及平面方程，計(jì)算頂點(diǎn)到相鄰面片的距離平方和構(gòu)建二次誤差矩陣，其中，所述二次誤差矩陣表征頂點(diǎn)位置改變時(shí)對(duì)相鄰面片的影響程度；

51、將所述二次誤差矩陣、法向量變化率、紋理坐標(biāo)變化量組合構(gòu)建邊坍縮代價(jià)函數(shù)，基于邊兩端頂點(diǎn)的二次誤差矩陣計(jì)算形狀變形值，獲取邊兩端及相鄰頂點(diǎn)的法向量計(jì)算法向量變化率，分析頂點(diǎn)紋理坐標(biāo)得到坐標(biāo)變化量，將所述形狀變形值、所述法向量變化率、所述紋理坐標(biāo)變化量進(jìn)行歸一化后線性組合得到邊坍縮代價(jià)函數(shù)值；

52、遍歷節(jié)點(diǎn)內(nèi)網(wǎng)格邊計(jì)算最優(yōu)坍縮位置，獲取與邊相鄰的面片構(gòu)建局部網(wǎng)格區(qū)域，在邊所在直線上選取多個(gè)候選坍縮點(diǎn)，計(jì)算每個(gè)候選點(diǎn)對(duì)應(yīng)的網(wǎng)格誤差，選取所述網(wǎng)格誤差最小且保持拓?fù)溆行У奈恢米鳛樽顑?yōu)坍縮位置，將邊的信息和所述最優(yōu)坍縮位置存入按照所述代價(jià)函數(shù)值排序的優(yōu)先隊(duì)列；

53、從所述優(yōu)先隊(duì)列中提取代價(jià)函數(shù)值最小的邊，檢驗(yàn)邊的有效性后獲取當(dāng)前邊對(duì)應(yīng)的最優(yōu)坍縮位置，將邊的兩個(gè)端點(diǎn)合并為新頂點(diǎn)，根據(jù)所述最優(yōu)坍縮位置更新所述新頂點(diǎn)的坐標(biāo)、法向量和紋理坐標(biāo)，更新相關(guān)面片的頂點(diǎn)索引，刪除退化面片并調(diào)整網(wǎng)格連接關(guān)系；

54、更新受影響頂點(diǎn)的誤差矩陣，將所述新頂點(diǎn)與相鄰面片的幾何關(guān)系整合至所述誤差矩陣，對(duì)與所述新頂點(diǎn)相連的邊重新計(jì)算代價(jià)函數(shù)值和最優(yōu)坍縮位置，將更新后的邊信息重新存入所述優(yōu)先隊(duì)列維持最優(yōu)簡(jiǎn)化順序。

55、本發(fā)明實(shí)施例的第二方面，提供一種基于多源遙感數(shù)據(jù)的新聞場(chǎng)景三維重建與可視化系統(tǒng)，包括：

56、第一單元，用于通過(guò)遙感衛(wèi)星采集目標(biāo)新聞場(chǎng)景對(duì)應(yīng)的多源遙感數(shù)據(jù)，基于空間位置加權(quán)的迭代最近點(diǎn)算法和張量投影算法、雙向注意力深度神經(jīng)網(wǎng)絡(luò)提取得到層次化特征描述子，通過(guò)基于局部幾何一致性約束的隨機(jī)采樣算法進(jìn)行篩選，剔除投影誤差大于預(yù)設(shè)的投影閾值的特征點(diǎn)對(duì)并統(tǒng)一至全球地理坐標(biāo)得到配準(zhǔn)多源遙感數(shù)據(jù)，通過(guò)變分自編碼器網(wǎng)絡(luò)和噪聲感知損失函數(shù)，結(jié)合基于像素級(jí)對(duì)抗判別的生成對(duì)抗網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)增強(qiáng)得到增強(qiáng)遙感數(shù)據(jù)；

57、第二單元，用于將增強(qiáng)遙感數(shù)據(jù)添加特征提取網(wǎng)絡(luò)得到空間注意力特征圖和通道注意力特征圖，將空間注意力特征圖添加至基于密集連接的單目深度估計(jì)網(wǎng)絡(luò)生成深度信息，與雙極化雷達(dá)遙感數(shù)據(jù)和多回波激光點(diǎn)云數(shù)據(jù)融合得到稀疏三維點(diǎn)云，經(jīng)泊松重建算法生成初始三維網(wǎng)格模型，將通道注意力特征圖添加至殘差圖卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行紋理特征遷移，結(jié)合多視角投影一致性約束和網(wǎng)格優(yōu)化算法進(jìn)行拓?fù)鋬?yōu)化得到優(yōu)化三維場(chǎng)景模型；

58、第三單元，用于計(jì)算優(yōu)化三維場(chǎng)景模型中每個(gè)網(wǎng)格的曲率變化值與法向量變化值，構(gòu)建空間劃分評(píng)價(jià)函數(shù)將三維場(chǎng)景劃分為大小不同的八叉樹(shù)空間塊，計(jì)算每個(gè)空間塊內(nèi)網(wǎng)格頂點(diǎn)的二次誤差矩陣并構(gòu)建邊坍縮代價(jià)函數(shù)對(duì)網(wǎng)格頂點(diǎn)進(jìn)行合并簡(jiǎn)化，得到四個(gè)精度等級(jí)模型，構(gòu)建四叉樹(shù)視椎體劃分為三個(gè)深度區(qū)域加載對(duì)應(yīng)精度等級(jí)模型得到可視化場(chǎng)景，通過(guò)雙分支語(yǔ)義分割網(wǎng)絡(luò)提取局部特征和全局特征，通過(guò)融合上采樣生成場(chǎng)景語(yǔ)義分割圖并標(biāo)注新聞事件位置，采集交互位置信息并計(jì)算視點(diǎn)變換矩陣更新可視化場(chǎng)景進(jìn)行場(chǎng)景漫游并進(jìn)行場(chǎng)景漫游。

59、本發(fā)明實(shí)施例的第三方面，

60、提供一種電子設(shè)備，包括：

61、處理器；

62、用于存儲(chǔ)處理器可執(zhí)行指令的存儲(chǔ)器；

63、其中，所述處理器被配置為調(diào)用所述存儲(chǔ)器存儲(chǔ)的指令，以執(zhí)行前述所述的方法。

64、本發(fā)明實(shí)施例的第四方面，

65、提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序指令，所述計(jì)算機(jī)程序指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)前述所述的方法。

66、本發(fā)明中，利用多源遙感數(shù)據(jù)（包括衛(wèi)星影像、雷達(dá)和激光點(diǎn)云），并結(jié)合深度學(xué)習(xí)技術(shù)進(jìn)行特征提取、數(shù)據(jù)增強(qiáng)和深度估計(jì)，能夠生成更精細(xì)、更真實(shí)的新聞場(chǎng)景三維模型，紋理特征遷移和網(wǎng)格優(yōu)化算法進(jìn)一步提升了模型的視覺(jué)效果，采用八叉樹(shù)空間劃分和四叉樹(shù)視椎體技術(shù)，根據(jù)視點(diǎn)距離動(dòng)態(tài)加載不同精度的模型，實(shí)現(xiàn)了高效的場(chǎng)景渲染和漫游，避免了加載過(guò)高精度模型帶來(lái)的計(jì)算負(fù)擔(dān)，通過(guò)語(yǔ)義分割技術(shù)對(duì)場(chǎng)景進(jìn)行標(biāo)注，并結(jié)合交互操作，能夠突出新聞事件位置，方便用戶理解場(chǎng)景，提供更豐富的新聞信息。