本發(fā)明涉及圖像識別，尤其涉及一種電力系統(tǒng)的巡檢圖像識別方法、裝置、設(shè)備及存儲介質(zhì)。

背景技術(shù)：

1、隨著科技的進(jìn)步，無人機(jī)在許多領(lǐng)域得到了廣泛的應(yīng)用，包括電力系統(tǒng)的巡檢。無人機(jī)提供了一種高效安全的巡檢方法，通過無人機(jī)拍攝高質(zhì)量的圖像數(shù)據(jù)可以幫助工程師從遠(yuǎn)程位置進(jìn)行設(shè)備檢查和故障診斷。

2、對于所拍攝的圖像數(shù)據(jù)通常采用如卷積神經(jīng)網(wǎng)絡(luò)(cnns)和視覺轉(zhuǎn)換器(vits)等模型進(jìn)行訓(xùn)練得到用于識別圖像的識別模型，但是，現(xiàn)有的識別模型在訓(xùn)練時，需要通過大量的標(biāo)簽數(shù)據(jù)進(jìn)行訓(xùn)練和模型微調(diào)來提高圖像識別的準(zhǔn)確性和泛化性，無法直接對所巡檢的圖像直接進(jìn)行識別分析，需要對圖像進(jìn)行對應(yīng)的特征設(shè)備識別與處理后才能進(jìn)行對應(yīng)的狀態(tài)識別，同時在訓(xùn)練數(shù)據(jù)較少時，模型會出現(xiàn)過擬合，從而使模型的泛化性不夠。在現(xiàn)有的電力系統(tǒng)巡檢圖像識別領(lǐng)域中，訓(xùn)練樣本的數(shù)據(jù)規(guī)模較小，采用少樣本數(shù)據(jù)進(jìn)行訓(xùn)練后得到識別模型無法對電力系統(tǒng)巡檢圖像進(jìn)行有效識別。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供了一種電力系統(tǒng)的巡檢圖像識別方法、裝置、設(shè)備及存儲介質(zhì)，以解決現(xiàn)有技術(shù)中電力系統(tǒng)區(qū)域巡檢圖像識別的準(zhǔn)確性低、無法直接對所巡檢的圖像直接進(jìn)行識別分析、無法對電力系統(tǒng)區(qū)域巡檢圖像進(jìn)行有效識別的技術(shù)問題。

2、為了解決上述技術(shù)問題，本發(fā)明實(shí)施例提供了一種電力系統(tǒng)的巡檢圖像識別方法，包括：

3、獲取待識別電力系統(tǒng)區(qū)域的巡檢圖像；

4、將所述巡檢圖像輸入至圖像類別識別模型中，提取得到第一圖像特征，并根據(jù)所述圖像類別識別模型中的各類別原型，確定所述第一圖像特征分別與各類別原型的第一相似度，并根據(jù)所述第一相似度確定對應(yīng)的類別原型，作為所述巡檢圖像的設(shè)備狀態(tài)類別；

5、其中，所述圖像類別識別模型通過電力系統(tǒng)區(qū)域巡檢圖像樣本集對初始圖像類別識別模型進(jìn)行訓(xùn)練得到。

6、作為優(yōu)選方案，所述圖像類別識別模型通過電力系統(tǒng)區(qū)域巡檢圖像樣本集對初始圖像類別識別模型進(jìn)行訓(xùn)練得到，具體包括：

7、獲取電力系統(tǒng)區(qū)域的巡檢圖像樣本集；其中，所述巡檢圖像樣本集包括若干樣本圖像和各樣本圖像所對應(yīng)的設(shè)備狀態(tài)類別標(biāo)簽；

8、基于多模態(tài)預(yù)訓(xùn)練模型結(jié)構(gòu)，構(gòu)建初始圖像類別識別模型；

9、以電力系統(tǒng)區(qū)域巡檢圖像樣本集對所述初始圖像類別識別模型進(jìn)行迭代訓(xùn)練，以使得在迭代訓(xùn)練過程中，依次計(jì)算初始圖像類別識別模型的第一類別損失和偏差損失；

10、直至所述第一類別損失和所述偏差損失整體最小時，生成圖像類別識別模型。

11、作為優(yōu)選方案，所述基于多模態(tài)預(yù)訓(xùn)練模型結(jié)構(gòu)，構(gòu)建初始圖像類別識別模型，具體包括：

12、構(gòu)建初始的多模態(tài)預(yù)訓(xùn)練模型；其中，所述初始的多模態(tài)預(yù)訓(xùn)練模型包括第一視覺編碼器和文本編碼器；

13、通過電力系統(tǒng)區(qū)域巡檢圖像樣本集對所述初始的多模態(tài)預(yù)訓(xùn)練模型進(jìn)行預(yù)訓(xùn)練，以使得所述第一視覺編碼器學(xué)習(xí)并提取樣本圖像的第二圖像特征，所述文本編碼器提取狀態(tài)類別標(biāo)簽的文本特征，根據(jù)所述文本特征生成各類別原型，并計(jì)算所述初始的多模態(tài)預(yù)訓(xùn)練模型的第二類別損失；

14、直至所述第二類別損失最小時，生成預(yù)訓(xùn)練的多模態(tài)預(yù)訓(xùn)練模型；

15、根據(jù)所述預(yù)訓(xùn)練的多模態(tài)預(yù)訓(xùn)練模型，構(gòu)建偏差特征分類器；

16、基于所述預(yù)訓(xùn)練的多模態(tài)預(yù)訓(xùn)練模型和所述偏差特征分類器，構(gòu)建初始圖像類別識別模型。

17、作為優(yōu)選方案，所述根據(jù)所述預(yù)訓(xùn)練的多模態(tài)預(yù)訓(xùn)練模型，構(gòu)建偏差特征分類器，具體包括：

18、根據(jù)所述預(yù)訓(xùn)練的多模態(tài)預(yù)訓(xùn)練模型，確定分別與各類別原型無關(guān)的上下文特征，作為偏差特征原型；

19、根據(jù)所述偏差特征原型，構(gòu)建得到偏差特征分類器。

20、作為優(yōu)選方案，所述基于所述預(yù)訓(xùn)練的多模態(tài)預(yù)訓(xùn)練模型和所述偏差特征分類器，構(gòu)建初始圖像類別識別模型，具體包括：

21、凍結(jié)當(dāng)前預(yù)訓(xùn)練的多模態(tài)預(yù)訓(xùn)練模型中的文本編碼器的模型參數(shù)；

22、基于當(dāng)前預(yù)訓(xùn)練的多模態(tài)預(yù)訓(xùn)練模型中第一視覺編碼器的模型參數(shù)，構(gòu)建得到第二視覺編碼器；

23、基于所述第一視覺編碼器、第二視覺編碼器、文本編碼器和偏差特征分類器，構(gòu)建初始圖像類別識別模型。

24、作為優(yōu)選方案，所述文本編碼器提取狀態(tài)類別標(biāo)簽的文本特征，根據(jù)所述文本特征生成各類別原型，具體包括：

25、通過所述文本編碼器，提取所有樣本圖像的類別狀態(tài)標(biāo)簽對應(yīng)的文本特征；

26、根據(jù)所有文本特征，確定所有文本特征的均值；

27、根據(jù)所述文本特征的均值，生成各類別原型。

28、作為優(yōu)選方案，在所述文本編碼器提取所有樣本圖像的類別狀態(tài)標(biāo)簽對應(yīng)的文本特征之前，還包括：

29、獲取若干文本提示模板；其中，每一文本提示模板對應(yīng)一個類別狀態(tài)標(biāo)簽；

30、根據(jù)各類樣本圖像對應(yīng)的設(shè)備狀態(tài)類別標(biāo)簽和若干文本提示模板，生成若干文本提示標(biāo)簽；

31、將若干文本提示標(biāo)簽輸入文本編輯器，以使得所述文本編輯器提取所有文本提示標(biāo)簽的文本特征。

32、作為優(yōu)選方案，所述計(jì)算所述初始的多模態(tài)預(yù)訓(xùn)練模型的第二類別損失，具體包括：

33、根據(jù)所述第一視覺編碼器學(xué)習(xí)并提取樣本圖像的第二圖像特征，并結(jié)合所述文本編碼器提取狀態(tài)類別標(biāo)簽的文本特征所生成的各類別原型，計(jì)算得到每一第二圖像特征分別與每個類別原型之間的第二相似度；

34、根據(jù)每一第二圖像特征分別與每個類別原型之間的第二相似度，計(jì)算得到樣本圖像分別屬于每個類別的第一概率分布；

35、根據(jù)所述第一概率分布，計(jì)算得到初始的多模態(tài)預(yù)訓(xùn)練模型的第二類別損失。

36、作為優(yōu)選方案，所述計(jì)算初始圖像類別識別模型的第一類別損失，具體包括：

37、通過初始圖像類別識別模型中的第二視覺編碼器，提取樣本圖像的第三圖像特征；

38、通過初始圖像類別識別模型中的文本編輯器，提取狀態(tài)類別標(biāo)簽的文本特征；

39、根據(jù)所提取的狀態(tài)類別標(biāo)簽的文本特征生成各類別原型；

40、根據(jù)所述第三圖像特征和各類別原型，計(jì)算得到第一類別損失。

41、作為優(yōu)選方案，所述根據(jù)所述第三圖像特征和各類別原型，計(jì)算得到第一類別損失，具體包括：

42、計(jì)算每一第三圖像特征分別與每個類別原型之間的第三相似度；

43、根據(jù)每一第三圖像特征分別與每個類別原型之間的第三相似度，計(jì)算得到樣本圖像分別屬于每個類別的第二概率分布；

44、根據(jù)所述第二概率分布，計(jì)算得到初始圖像類別識別模型的第一類別損失。

45、作為優(yōu)選方案，所述計(jì)算得到初始圖像類別識別模型的偏差損失，具體包括：

46、通過初始圖像類別識別模型中的第二視覺編碼器，提取樣本圖像的第三圖像特征；

47、根據(jù)所述第二圖像特征和第三圖像特征，計(jì)算得到偏差損失。

48、作為優(yōu)選方案，在迭代訓(xùn)練過程中，當(dāng)使用了無類別的文本特征作為偏差特征原型時，通過所述偏差特征分類器根據(jù)當(dāng)前的偏差特征原型，調(diào)整偏差損失。

49、相應(yīng)地，本發(fā)明還提供一種電力系統(tǒng)區(qū)域巡檢圖像識別裝置，包括：獲取模塊和識別模塊

50、所述獲取模塊，用于獲取待識別電力系統(tǒng)區(qū)域的巡檢圖像；

51、所述識別模塊，用于將所述巡檢圖像輸入至圖像類別識別模型中，提取得到第一圖像特征，并根據(jù)所述圖像類別識別模型中的各類別原型，確定所述第一圖像特征分別與各類別原型的第一相似度，并根據(jù)所述第一相似度確定對應(yīng)的類別原型，作為所述巡檢圖像的設(shè)備狀態(tài)類別；

52、其中，所述圖像類別識別模型通過電力系統(tǒng)區(qū)域巡檢圖像樣本集對初始圖像類別識別模型進(jìn)行訓(xùn)練得到。

53、相應(yīng)地，本發(fā)明還提供一種終端設(shè)備，包括處理器、存儲器以及存儲在所述存儲器中且被配置為由所述處理器執(zhí)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時實(shí)現(xiàn)如上任意一項(xiàng)所述的電力系統(tǒng)的巡檢圖像識別方法。

54、相應(yīng)地，本發(fā)明還提供一種計(jì)算機(jī)可讀存儲介質(zhì)，所述計(jì)算機(jī)可讀存儲介質(zhì)包括存儲的計(jì)算機(jī)程序，其中，在所述計(jì)算機(jī)程序運(yùn)行時控制所述計(jì)算機(jī)可讀存儲介質(zhì)所在設(shè)備執(zhí)行如上任意一項(xiàng)所述的電力系統(tǒng)的巡檢圖像識別方法。

55、相比于現(xiàn)有技術(shù)，本發(fā)明實(shí)施例具有如下有益效果：

56、本發(fā)明的技術(shù)方案通過獲取待識別電力系統(tǒng)區(qū)域的巡檢圖像，從而將巡檢圖像輸入至通過電力系統(tǒng)區(qū)域巡檢圖像樣本集對初始圖像類別識別模型進(jìn)行訓(xùn)練得到的圖像類別識別模型，進(jìn)而提取得到第一圖像特征，并根據(jù)各類別原型計(jì)算對應(yīng)的第一相似度，從而來確定最終給擬的類別原型，作為巡檢圖像的設(shè)備狀態(tài)類別進(jìn)行輸出，最終實(shí)現(xiàn)對待識別電力系統(tǒng)區(qū)域的巡檢圖像的準(zhǔn)確識別與分析，避免了無法對電力系統(tǒng)區(qū)域巡檢圖像進(jìn)行有效識別。

57、進(jìn)一步地，通過獲取電力系統(tǒng)區(qū)域巡檢圖像樣本集，基于多模態(tài)預(yù)訓(xùn)練模型構(gòu)建初始圖像類別識別模型，以電力系統(tǒng)區(qū)域巡檢圖像樣本集對初始圖像類別識別模型進(jìn)行訓(xùn)練，在訓(xùn)練過程中，計(jì)算初始圖像類別識別模型的第一類別損失和偏差損失，在第一類別損失和偏差損失整體最小時，生成圖像類別識別模型；通過構(gòu)建圖像類別識別模型的過程中引入偏差損失的計(jì)算，在少樣本情況下基于偏差損失的計(jì)算能避免模型過擬合問題，結(jié)合第一類別損失的計(jì)算使所訓(xùn)練的圖像類別識別模型同時具有識別準(zhǔn)確性和泛化性。基于所訓(xùn)練的圖像類別識別模型對待識別電力系統(tǒng)區(qū)域巡檢圖像進(jìn)行識別時，能提高電力系統(tǒng)區(qū)域巡檢圖像識別的準(zhǔn)確性。