本發明涉及數據修復，尤其涉及利用ai復原歷史文化景區缺損壁畫的方法、系統及設備。

背景技術：

1、敦煌歷經漢唐鼎盛時期的文化浸潤，有諸多石窟佛洞等文化古跡。包括敦煌壁畫在內的敦煌石窟藝術是汲取中外之長的民族佛教藝術，以其歷史悠久、規模宏大、藝術精美、內涵深邃而享譽世界，被譽為“人類文明的曙光”、“世界佛教藝術的寶庫”。

2、敦煌壁畫受所處自然環境或人為活動等外在因素，以及壁畫的制作材料及結構、壁畫所依附巖體的礦物組成等內在因素的影響，受到了各種類型的病害。最典型的如壁畫顏料的變色、褪色；壁畫顏料層龜裂、起甲；壁畫地仗層酥堿、粉化、空鼓、脫落；顏料層霉變、污染以及過去的香火和洞窟居住者對壁畫造成的煙熏等。脫落破損，亦簡稱為缺損，是指壁畫的顏料層整塊剝落。敦煌壁畫的內在結構組成相對脆弱，加之數千年自然侵蝕甚至人為破壞，現今普遍存在著缺損，且程度大多嚴重。對敦煌壁畫、彩塑等文化遺產保護手段研究存在已久。對受損壁畫的實體復原工作需要經驗豐富的專業畫師，并且工作量十分巨大。自上世紀40年代至今的70年間，敦煌研究院的研究人員共復原了280余個洞窟內的約5000平方米壁畫。

3、而在用ai對壁畫復原時，存在的結構扭曲、細節模糊和視覺不連貫等瓶頸問題。

技術實現思路

1、本發明提供利用ai復原歷史文化景區缺損壁畫的方法、系統及設備，用以解決現有技術中復原時存在的結構扭曲、細節模糊和視覺不連貫等缺陷。

2、一方面，本發明提供一種利用ai復原歷史文化景區缺損壁畫的方法包括如下步驟：

3、s1：采集待修復的缺損壁畫圖像。獲取基于完整壁畫圖像和缺損壁畫圖像的歷史圖像集。對歷史圖像集歸一化處理并按照預設的比例將歷史圖像集劃分為訓練集、測試集。

4、s2：構建基于自注意力編碼器和自注意力解碼器的網絡模型。自注意力編碼器用于獲取全局依賴關系并計算基于距離依賴的加權特征圖。

5、s3：采用訓練集對網絡模型進行訓練迭代。保留在測試集上達到預設精度的網絡模型參數，得到最優復原模型。

6、s4：將缺損壁畫圖像輸入到最優復原模型，輸出復原壁畫。

7、根據本發明提供一種利用ai復原歷史文化景區缺損壁畫的方法，在步驟s2中，自注意力編碼器的運行步驟包括：

8、s21：使用殘差連接的卷積神經網絡獲取缺損壁畫圖像的局部特征圖，殘差連接的卷積神經網絡的高層級作為自注意力編碼器的跳躍特征，殘差連接的卷積神經網絡包括下采樣層。

9、s22：使用u-net圖像分割算法生成與局部特征圖對應的掩碼區域。

10、s23：利用k近鄰距離算法，根據局部特征圖中特征點之間的距離關系，采用高斯函數根據距離值關系來計算每個特征點的權重，將計算得到的權重值與局部特征圖中的對應像素或特征點相乘。

11、s24：計算掩碼區域的潛在向量，將量化后的潛在向量傳遞給自注意力解碼器。

12、根據本發明提供一種利用ai復原歷史文化景區缺損壁畫的方法，在步驟s2中，自注意力解碼器的運行步驟包括：

13、s25：接收量化后的潛在向量，生成缺損壁畫圖像的多尺度表示，通過上采樣技術調節缺損壁畫圖像的空間分辨率，直到與自注意力解碼器層輸入尺寸相匹配，根鋸潛在向量生成初步復原圖像，初步復原圖像作為自注意力解碼器的粗略特征。

14、s26：將自注意力編碼器的跳躍特征與自注意力解碼器提供的粗略特征相結合，形成融合特征圖。

15、s27：自注意力編碼器通過轉置卷積，逐步恢復融合特征圖的高分辨率特征，最終生成重建圖像。

16、s28：對生成的重建圖像應用傅里葉變換，以增強重建圖像中的高頻特征并優化重復紋理的生成。然后，通過逆傅里葉變換將圖像轉換回空間域，得到最終的復原圖像。

17、根據本發明提供一種利用ai復原歷史文化景區缺損壁畫的方法，在步驟s3中，訓練具體步驟包括：

18、s31：對網絡模型的卷積層的輸出的非零值進行歸一化處理。

19、s32：對模型網絡層的梯度范數進行正則化。

20、s33：利用梯度下降法對模型架構進行迭代優化。

21、根據本發明提供一種利用ai復原歷史文化景區缺損壁畫的方法，步驟s33中，利用梯度下降法對網絡模型進行迭代優化具體步驟包括：

22、s331：初始化網絡模型參數，利用結構相似性損失為網絡模型的損失函數。

23、s332：進行梯度計算，對網絡模型參數進行更新，直至損失函數達到預設閾值或最大迭代次數，則輸出最優參數，根據最優參數得到最優復原模型。

24、另一方面，本發明還提供一種利用ai復原歷史文化景區缺損壁畫的系統，包括：

25、私有數據采集處理模塊，用于采集和處理歷史文化景區待修復的損壁畫圖像，以及完整壁畫圖像和缺損壁畫圖像的歷史圖像集，并且對歷史圖像集進行歸一化處理。

26、自注意力編碼器模塊，用于獲取缺損壁畫圖中特征向量全局依賴關系并計算基于距離依賴的加權特征圖，增強粗略先驗的局部紋理信息，且恢復丟失或模糊的粗略紋理和連貫的視覺結構。

27、自注意力解碼器模塊，用于生成復原的壁畫圖像，增強較大的復原圖像范圍感受。

28、模型訓練驗證模塊，用于將采集的完整壁畫圖像和缺損的壁畫圖像作為模型的輸入數據，通過多次的迭代訓練由自注意力編碼器和自注意力解碼器構成的網絡，最終保存最優參數模型以用于復原缺損的壁畫。

29、根據本發明提供的一種利用ai復原歷史文化景區缺損壁畫的系統，自注意力編碼器模塊包括：

30、下采樣resnet單元：用于獲取缺損壁畫圖像的局部特征圖。

31、dwt模塊單元：用于實現全局依賴關系的編碼并獲得基于距離的加權特征圖，且計算掩碼區域的潛在向量標記傳遞給自注意力解碼器。

32、根據本發明提供的一種利用ai復原歷史文化景區缺損壁畫的系統，自注意力解碼器模塊包括：

33、上采樣resnet單元，用于將修補缺損壁畫圖像的空間分辨率提升到自注意力解碼器層的輸入尺寸。

34、dwt單元，用于整合自注意力編碼器和自注意力解碼器之間的特征，接收來自上采樣resnet模塊和自注意力編碼器的特征，將其整合以減少視覺偏差，并改善圖像復原效果，通過轉置卷積，逐步恢復圖像的高分辨率特征，最終生成重建圖像。

35、res-ffc單元，用于增強高頻特征的重用和優化重復紋理生成能力。

36、根據本發明提供的一種利用ai復原歷史文化景區缺損壁畫的系統，模型訓練驗證模塊包括：

37、預處理單元：對網絡模型的卷積層輸出的非零值進行歸一化處理，并微調網絡層以對梯度范數進行正則化。

38、優化單元：利用梯度下降法對網絡模型進行優化，得到并保存最優復原模型。

39、另一方面，本發明還提供一種利用ai復原歷史文化景區缺損壁畫的設備，至少包括存儲器、處理器和顯示屏。設備各功能模塊采用一種利用ai復原歷史文化景區缺損壁畫系統的方式完成部署。電子設備高清攝像頭用于采集歷史文化景區完整壁畫圖像及缺損壁畫圖像。存儲器用于存儲采集的壁畫圖像數據和計算機指令。處理器用于運行計算機指令以實現一種利用ai復原歷史文化景區缺損壁畫的方法。觸摸顯示屏用于人機實時交互，可視化地顯示缺損壁畫圖像和復原以后的壁畫圖像。

40、本發明提供的一利用ai復原歷史文化景區缺損壁畫的方法、系統及設備，本發明通過構建基于自注意力編碼器和自注意力解碼的網絡模型，解決了缺損壁畫復原時存在的結構扭曲、細節模糊和視覺不連貫等瓶頸問題。