本發(fā)明涉及數(shù)字圖像相關(guān)領(lǐng)域(digital?image?correlation，dic)和圖像風(fēng)格遷移領(lǐng)域，具體涉及一種基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的dic散斑圖像生成方法。

背景技術(shù)：

1、圖像風(fēng)格遷移是計(jì)算機(jī)視覺領(lǐng)域內(nèi)的重要分支，它旨在將指定風(fēng)格圖片的風(fēng)格遷移到另一圖片或風(fēng)格中去，從而生成具有該風(fēng)格的內(nèi)容圖片或視頻。圖像風(fēng)格遷移主要依賴深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)尤其是vgg網(wǎng)絡(luò)，通過訓(xùn)練好的網(wǎng)絡(luò)模型對(duì)內(nèi)容圖片和風(fēng)格圖片進(jìn)行特征提取，在盡量最小化風(fēng)格損失和內(nèi)容損失的條件下生成遷移圖片，具有通用性強(qiáng)、適用性好的優(yōu)點(diǎn)。

2、數(shù)字圖像相關(guān)技術(shù)是一種非接觸式光學(xué)測(cè)量方法，可用于應(yīng)力應(yīng)變測(cè)量，具有全場(chǎng)測(cè)量能力好、光路結(jié)構(gòu)簡(jiǎn)單、可操作性強(qiáng)、環(huán)境適應(yīng)性強(qiáng)以及非接觸式測(cè)量等多方面的優(yōu)點(diǎn)。dic測(cè)量時(shí)的一個(gè)重要環(huán)節(jié)是需要在物體表面噴涂散斑，通過匹配變形前后同一像素點(diǎn)(具有相同的灰度值)的位置來得到該點(diǎn)的位移向量，從而得到全場(chǎng)的位移圖，變形前后像素點(diǎn)匹配的準(zhǔn)確性決定了dic測(cè)量的準(zhǔn)確性，像素點(diǎn)匹配以灰度值作為載體，而灰度值由所噴涂的散斑產(chǎn)生。因此，散斑質(zhì)量極大的影響了dic測(cè)量的精度，高質(zhì)量散斑對(duì)提升dic測(cè)量精度有著很大的幫助。然而，人為噴涂散斑具有很大的不確定性，如何穩(wěn)定得到高質(zhì)量散斑成為一個(gè)亟待解決的問題。

技術(shù)實(shí)現(xiàn)思路

1、為解決上述技術(shù)的不足，本發(fā)明將圖像風(fēng)格遷移技術(shù)應(yīng)用于dic散斑制造，旨在穩(wěn)定得到針對(duì)不同表面的高質(zhì)量散斑。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提出了一種基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的dic散斑圖像生成方法，包括以下步驟：

3、步驟1、輸入物體實(shí)際表面圖像作為內(nèi)容圖像和高質(zhì)量散斑式樣圖像作為風(fēng)格圖像。

4、步驟2、將圖片分割成許多的小塊，作為最小計(jì)算單元，然后通過線性嵌入層，將輸入向量維度轉(zhuǎn)變?yōu)轭A(yù)設(shè)值c。

5、其中，圖片以rgb格式輸入，尺寸為h×w×3。

6、其中，線性嵌入層對(duì)輸入向量維度進(jìn)行線性變換，將向量維度轉(zhuǎn)變?yōu)轭A(yù)設(shè)值c。

7、步驟3、在設(shè)定窗口內(nèi)做多頭自注意力計(jì)算。

8、其中，多頭自注意力計(jì)算時(shí)采用s2wat模型的方法計(jì)算。具體的，首先用0對(duì)圖片的張量進(jìn)行填充，避免圖片邊界信息丟失，然后采用spw注意力模塊進(jìn)行多頭自注意力計(jì)算，計(jì)算完畢后取消填充。

9、步驟4、通過下采樣操作將步驟2中小塊進(jìn)行合并，縮小分辨率，調(diào)整通道數(shù)形成層次化的設(shè)計(jì)，合并完成后繼續(xù)在窗口內(nèi)做多頭自注意力計(jì)算。

10、其中，合并時(shí)將兩個(gè)方向上相隔一個(gè)最小計(jì)算單元的4個(gè)單元進(jìn)行拼接，然后在深度方向進(jìn)行concat拼接，通過一個(gè)layernorm層，然后通過一個(gè)全連接層做線性變化，得到尺寸大小減半，通道數(shù)翻倍的張量。

11、其中，步驟4中多頭自注意力計(jì)算與步驟3中多頭自注意力計(jì)算過程一樣。

12、步驟5、重復(fù)步驟4操作，進(jìn)一步合并最小計(jì)算單元并利用新的計(jì)算單元在窗口內(nèi)做多頭自注意力計(jì)算。

13、步驟6、傳輸層傳輸。

14、參閱圖3，其中，傳輸模塊是一個(gè)三層層級(jí)結(jié)構(gòu)，初始注意模塊是msa，第二層注意模塊是mha，第三層采用mlp模塊，在這三個(gè)模塊之前各自用一個(gè)layernorm模塊連接。

15、步驟7、解碼器解碼并輸出圖片。

16、其中，解碼器使用鏡像vgg來解碼程式化特征。

17、上述過程中所用到的計(jì)算模型通過s2wat預(yù)訓(xùn)練模型進(jìn)行訓(xùn)練。

18、本發(fā)明公開了一種基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的dic散斑圖像生成方法，輸入物體實(shí)際表面圖像作為內(nèi)容圖像和高質(zhì)量散斑式樣圖像作為風(fēng)格圖像；將圖片分割成許多的小塊，作為最小計(jì)算單元，然后通過線性嵌入層，將輸入向量維度轉(zhuǎn)變?yōu)轭A(yù)設(shè)值c；在設(shè)定窗口內(nèi)做多頭自注意力計(jì)算；通過下采樣操作將步驟2中小塊進(jìn)行合并，縮小分辨率，調(diào)整通道數(shù)形成層次化的設(shè)計(jì)，合并完成后繼續(xù)在窗口內(nèi)做多頭自注意力計(jì)算；重復(fù)步驟4操作，進(jìn)一步合并最小計(jì)算單元并利用新的計(jì)算單元在窗口內(nèi)做多頭自注意力計(jì)算；傳輸層傳輸；解碼器解碼并輸出圖片。

19、本發(fā)明的優(yōu)勢(shì)在于，區(qū)別于人工噴涂散斑以及其他噴涂方式的隨機(jī)性，本發(fā)明根據(jù)物體實(shí)際表面情況自適應(yīng)生成適合該表面的高質(zhì)量散斑，具有自適應(yīng)性強(qiáng)，通用性好的優(yōu)點(diǎn)，大大減少了人為因素影響，從而提高dic測(cè)量精度，保證良好的實(shí)驗(yàn)可操作性。

技術(shù)特征：

1.一種基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的dic散斑圖像生成方法，其特征在于，包括如下步驟：

2.如權(quán)利要求1中所述的一種基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的dic散斑圖像生成方法，其特征在于，輸入物體實(shí)際表面圖片作為內(nèi)容圖片，高質(zhì)量散斑式樣圖片作為風(fēng)格圖片。

3.如權(quán)利要求1中所述的一種基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的dic散斑圖像生成方法，其特征在于，在每?jī)纱巫龃翱诙囝^自注意力計(jì)算之間需要通過下采樣進(jìn)行一次單元合并操作。

4.如權(quán)利要求1中所述的一種基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的dic散斑圖像生成方法，其特征在于，傳輸模塊是一個(gè)三層層級(jí)結(jié)構(gòu)，初始注意模塊是msa，第二層注意模塊是mha，第三層采用mlp模塊，在這三個(gè)模塊之前各自用一個(gè)layernorm模塊連接。

5.如權(quán)利要求1中所述的一種基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的dic散斑圖像生成方法，其特征在于，解碼器使用鏡像vgg來解碼程式化特征。

技術(shù)總結(jié)
本發(fā)明公開了一種基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的DIC散斑圖像生成方法，將物體實(shí)際表面圖像作為內(nèi)容圖像，散斑圖像作為風(fēng)格圖像。首先將輸入圖像分割成許多的小塊作為最小計(jì)算單元，然后通過線性嵌入層將輸入向量維度轉(zhuǎn)變?yōu)轭A(yù)設(shè)值C，便于后續(xù)處理，接著在劃分好的窗口內(nèi)做多頭自注意力計(jì)算。通過下采樣操作將小塊進(jìn)行合并，縮小分辨率，調(diào)整通道數(shù)形成層次化的設(shè)計(jì)，同時(shí)減少一定的計(jì)算量，合并完成后繼續(xù)在窗口內(nèi)做多頭自注意力計(jì)算。然后重復(fù)上一步操作，進(jìn)一步合并最小計(jì)算單元并利用新的計(jì)算單元在窗口內(nèi)做多頭自注意力計(jì)算。然后通過一個(gè)三層的傳輸模塊，經(jīng)解碼器解碼后將風(fēng)格圖像的散斑特征遷移到內(nèi)容圖像中，從而生成包含物體表面特征的散斑圖像。本發(fā)明能夠保證生成的散斑圖片既具備原輸入散斑式樣圖片的高質(zhì)量，又能保留物體實(shí)際表面的特征，得到適應(yīng)物體表面的高質(zhì)量散斑，消除人為因素對(duì)制備散斑的影響，從而保證在應(yīng)用DIC方法進(jìn)行應(yīng)力應(yīng)變測(cè)量時(shí)的精度。

技術(shù)研發(fā)人員：龍雨,楊成,蔣旭輝,姚永恒,劉聰
受保護(hù)的技術(shù)使用者：廣西大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/4/28