本發明涉及人工智能，具體而言，涉及一種基于聲熱多模態融合成像的方法、裝置及系統。

背景技術：

1、在工業設備檢測領域，傳統單一的檢測方法，如僅依靠超聲檢測或熱成像檢測，存在局限性。超聲檢測雖能反映設備內部結構信息，但對因溫度變化引發的潛在故障難以察覺；熱成像檢測可發現溫度異常區域，卻無法深入了解設備內部結構細節。

技術實現思路

1、本發明的目的在于提供一種基于聲熱多模態融合成像的方法、裝置及系統。

2、第一方面，本發明實施里提供一種基于聲熱多模態融合成像的方法，包括：

3、利用聲像儀對目標工業設備進行超聲圖像采集和熱成像采集，得到超聲圖像數據和熱成像數據；

4、基于所述超聲圖像數據獲取目標工業設備對應的聲學成像特征，并基于所述熱成像數據獲取所述目標工業設備對應的熱成像特征；

5、在同一特征對齊域內對所述聲學成像特征和所述熱成像特征進行特征整合處理，得到第一聲熱聯合特征，根據所述第一聲熱聯合特征，在多個模態整合單元中確定所述聲學成像特征對應的第一模態整合單元；所述多個模態整合單元用于采用不同的模態權重系數編碼聲學與熱成像特征；

6、在所述第一模態整合單元中，根據所述熱成像特征對所述聲學成像特征進行跨模態融合，得到第一特征描述子；

7、在同一特征對齊域內對所述熱成像特征和所述第一特征描述子進行特征整合處理，得到第二聲熱聯合特征，根據所述第二聲熱聯合特征，在所述多個模態整合單元中確定所述熱成像特征對應的第二模態整合單元；

8、在所述第二模態整合單元中，根據所述第一特征描述子對所述熱成像特征進行跨模態融合，得到第二特征描述子；

9、獲取故障類型標簽，根據所述故障類型標簽、所述第一特征描述子以及所述第二特征描述子，確定所述目標工業設備對應的故障評估結果；

10、對所述超聲圖像數據和熱成像數據進行基于空間坐標映射關系的校準，構建三維聲熱融合基底圖像，并將所述故障評估結果標記至所述三維聲熱融合基底圖像，得到所述目標工業設備的診斷融合圖像。

11、第二方面，本發明實施例提供一種基于聲熱多模態融合成像的裝置，包括：

12、采集模塊，用于利用聲像儀對目標工業設備進行超聲圖像采集和熱成像采集，得到超聲圖像數據和熱成像數據；

13、融合模塊，用于基于所述超聲圖像數據獲取目標工業設備對應的聲學成像特征，并基于所述熱成像數據獲取所述目標工業設備對應的熱成像特征；在同一特征對齊域內對所述聲學成像特征和所述熱成像特征進行特征整合處理，得到第一聲熱聯合特征，根據所述第一聲熱聯合特征，在多個模態整合單元中確定所述聲學成像特征對應的第一模態整合單元；所述多個模態整合單元用于采用不同的模態權重系數編碼聲學與熱成像特征；在所述第一模態整合單元中，根據所述熱成像特征對所述聲學成像特征進行跨模態融合，得到第一特征描述子；在同一特征對齊域內對所述熱成像特征和所述第一特征描述子進行特征整合處理，得到第二聲熱聯合特征，根據所述第二聲熱聯合特征，在所述多個模態整合單元中確定所述熱成像特征對應的第二模態整合單元；在所述第二模態整合單元中，根據所述第一特征描述子對所述熱成像特征進行跨模態融合，得到第二特征描述子；獲取故障類型標簽，根據所述故障類型標簽、所述第一特征描述子以及所述第二特征描述子，確定所述目標工業設備對應的故障評估結果；

14、成像模塊，用于對所述超聲圖像數據和熱成像數據進行基于空間坐標映射關系的校準，構建三維聲熱融合基底圖像，并將所述故障評估結果標記至所述三維聲熱融合基底圖像，得到所述目標工業設備的診斷融合圖像。

15、第三方面，本發明提供一種基于聲熱多模態融合成像的系統，包括處理器及存儲有計算機指令的非易失性存儲器，計算機指令被處理器執行時，執行前述的基于聲熱多模態融合成像的方法。

16、相比現有技術，本發明提供的有益效果包括：采用本發明公開的一種基于聲熱多模態融合成像的方法、裝置及系統，通過利用聲像儀采集目標工業設備的超聲與熱成像數據，分別獲取聲學及熱成像特征，經特征整合處理得到第一聲熱聯合特征以確定聲學特征對應的第一模態整合單元，完成跨模態融合獲第一特征描述子，同理得第二聲熱聯合特征、第二模態整合單元及第二特征描述子，結合故障類型標簽確定故障評估結果，再校準圖像數據構建三維聲熱融合基底圖像并標記結果，獲得診斷融合圖像，實現對目標工業設備的精準診斷。

技術特征：

1.基于聲熱多模態融合成像的方法，其特征在于，包括：

2.根據權利要求1所述的方法，其特征在于，所述獲取目標工業設備對應的聲學成像特征，包括：

3.根據權利要求1所述的方法，其特征在于，所述獲取所述目標工業設備對應的熱成像特征，包括：

4.根據權利要求1所述的方法，其特征在于，所述在同一特征對齊域內對所述聲學成像特征和所述熱成像特征進行特征整合處理，得到第一聲熱聯合特征，包括：

5.根據權利要求4所述的方法，其特征在于，所述根據所述第一聲熱聯合特征，在多個模態整合單元中確定所述聲學成像特征對應的第一模態整合單元，包括：

6.根據權利要求1所述的方法，其特征在于，所述第一模態整合單元包括跨模態協同適配器；

7.根據權利要求1所述的方法，其特征在于，所述第一模態整合單元包括熱力學融合器；

8.根據權利要求1所述的方法，其特征在于，所述根據所述故障類型標簽、所述第一特征描述子以及所述第二特征描述子，確定所述目標工業設備對應的故障評估結果，包括：

9.基于聲熱多模態融合成像的裝置，其特征在于，包括：

10.一種基于聲熱多模態融合成像的系統，其特征在于，包括處理器及存儲有計算機指令的非易失性存儲器，計算機指令被處理器執行時，執行權利要求1-8中任意一項所述的方法。

技術總結
本發明公開了一種基于聲熱多模態融合成像的方法、裝置及系統，涉及人工智能技術領域，包括：首先利用聲像儀采集目標工業設備的超聲與熱成像數據，分別獲取聲學及熱成像特征，經特征整合處理得到第一聲熱聯合特征以確定聲學特征對應的第一模態整合單元，完成跨模態融合獲第一特征描述子，同理得第二聲熱聯合特征、第二模態整合單元及第二特征描述子，結合故障類型標簽確定故障評估結果，再校準圖像數據構建三維聲熱融合基底圖像并標記結果，獲得診斷融合圖像，實現對目標工業設備的精準診斷。

技術研發人員：童超,李帆,葉建輝,熊志偉,梅宇聰,華樺
受保護的技術使用者：國網江西省電力有限公司電力科學研究院
技術研發日：
技術公布日：2025/4/28