本發明涉及海上風場運維，具體為一種多模態與多源數據融合的深度學習故障診斷。

背景技術：

1、隨著全球能源結構的轉型和可持續發展戰略的推進，海上風電作為一種清潔、可再生能源，正逐漸成為新能源發展的重要組成部分。海上風場運維作為確保風電場長期穩定運行的關鍵環節，面臨著復雜的海洋環境和高成本挑戰。海洋氣候多變，設備維護難度大，且運維成本高昂，因此，高效的運維管理對于降低風電場運營成本、提高發電效率至關重要。同時，隨著技術的進步和經驗的積累，海上風電運維正逐步向智能化、自動化方向發展，以期實現更高效、更經濟的運維服務。

2、故障診斷是保障智能制造過程中關鍵設備安全、高效運行的關鍵技術之一。多模態融合的深度學習智能故障診斷方法是一種利用多種不同類型的數據源(如聲音、振動信號、圖像、文本數據等)來提高動力設備或系統故障診斷準確性的方法。多源異構數據融合的深度學習故障診斷是一種利用來自多個異構源的數據，通過深度學習技術對這些數據進行融合和分析，從而實現對系統或設備故障進行準確診斷的方法。其核心是將不同來源和類型的數據(如傳感器數據、音頻、圖像、文本等)有效地整合在一起，以便從中提取出相關的故障信息。

3、本技術將多模態與多源異構數據結合，充分利用風力發電機系統中的各種信息源，提供更加準確和全面的診斷服務，提高故障診斷的準確性和可靠性，增強系統的魯棒性，從而保障風力發電機的穩定運行和高效維護。以此提供一種多模態與多源數據融合的深度學習故障診斷。

技術實現思路

1、針對現有技術的不足，本發明提供了一種多模態與多源數據融合的深度學習故障診斷，旨在將多模態與多源異構數據結合，充分利用風力發電機系統中的各種信息源，提供更加準確和全面的診斷服務，提高故障診斷的準確性和可靠性，增強系統的魯棒性，從而保障風力發電機的穩定運行和高效維護。

2、為實現以上目的，本發明通過以下技術方案予以實現：

3、一種多模態與多源數據融合的深度學習故障診斷，包括以下步驟：

4、步驟一、進行多模態數據與多源數據的采集，根據不同傳感器具有不同采樣率的特點，建立時間框架進行數據同步與對齊，將采集的所有數據同時進行對齊，使對齊后的數據應具有一致的時間分辨率；

5、步驟二、進行數據清洗工作，對數據進行異常值檢測，檢測到異常的數據對其進行異常值刪除、替換異常值、數據插補中的任意一種方式，對異常數據進行處理，防止異常數據影響分析結果；

6、步驟三、使用濾波器、小波去噪、滑動平均濾波和頻域濾波等消除噪聲中的任意一種方式進行數據的去噪處理工作，提升信號質量；

7、步驟四、將數據進行單位轉換和格式轉換，統一同類型數據的單位以及將數據轉換為適當的格式，如將文本數據提取為結構化數據，將圖像數據轉換為特征向量；

8、步驟五、進行數據融合工作，對數據進行以時域特征、頻域特征、時頻特征和文本特征為基本特征的特征提取工作，并在提取工作完成后，使用主成分分析(pca)、線性判別分析(lda)、t-sne等方法減少特征維度，降低計算復雜度，同時保持有用信息；

9、步驟六、進行多模態與多源數據融合工作，依次進行特征級融合、模型級融合和決策級融合，生成原始模型；

10、步驟七、將原始模型利用深度學習模型訓練與優化，完善為故障診斷模型；

11、步驟八、將訓練完成的故障診斷模型部署到實際的風力發電場監測系統中，對其實時采集的數據進行分析，及時監測潛在故障；

12、步驟九、基于趨勢分析和異常檢測，預測即將發生的故障，提供預警和維護建議；

13、步驟十、自動生成設備的診斷報告，根據故障類型、設備型號自動匹配專家庫對應的解決方案。

14、優選的，所述步驟一中采集的多模態數據包括：

15、視覺數據，監控攝像頭圖像或視頻：用于監控風力發電機的外觀、結構完整性、周圍環境變化等，圖像或視頻數據用于檢測外部物理損傷或侵蝕；

16、聲音數據：捕捉風力發電機在運行時產生的噪音，用于分析機械部件的健康狀況，檢測異常聲音如異響或振動聲，幫助診斷潛在的機械問題；

17、文本數據：操作和維護日志：記錄風力發電機的操作情況、故障事件、維護活動等，文本數據包括自然語言形式的報告、問題描述和維護建議；

18、時間序列數據：傳感器數據：包括風速、風向、溫度、濕度、發電量、轉速、振動等，數據由各種傳感器以連續的時間序列形式記錄，以提供關于發電機運行狀態和外部環境條件的詳細信息；

19、圖形數據：電力系統拓撲圖：描述風力發電機與電網連接的拓撲結構和電力流向，以輔助了解電力傳輸和分配的情況，且在不同條件下的電力負荷變化。

20、優選的，所述步驟一中采集的多源數據包括：

21、振動信號：利用加速度傳感器采集風機關鍵部件的振動數據，如齒輪箱、軸承、主軸和發電機等，設定合適的采樣頻率；

22、溫度數據：通過熱電偶或熱電阻傳感器等溫度傳感器監控發電機、齒輪箱的溫度，檢測過熱情況，且以一定的時間間隔進行一次記錄溫度數據；

23、電氣參數：通過在電力傳輸線路上安裝電流互感器和電壓互感器來獲取電機電氣數據，包括電流、電壓、功率因數等數據，監測電氣系統的狀態，按照合適的采樣頻率采集數據，該數據與電網的頻率等參數相匹配，以準確反映電機的運行狀態；

24、結構健康監測數據：應變計等用于檢測塔架和葉片的應變和應力狀態；

25、環境數據：如風速、風向、氣溫和濕度等，影響風機的運行環境。

26、優選的，所述步驟一中的數據同步與對齊具體實施方式為：

27、當所有傳感器的數據采樣率相同或被簡單地對齊時，采取直接時間對齊，將所有傳感器的時間戳轉換為一個共同的時間基準，直接將所有數據點的時間戳對齊到這個共同時間基準上；

28、當不同傳感器具有不同的采樣頻率或時間戳差異較大時，采取插值算法對齊，根據數據的特性選擇合適的插值方法，選用線性插值、多項式插值、樣條插值等常見插值方法中的任意一個；

29、當數據需要在統一的時間間隔上進行對齊時，采取數據重采樣，定義統一時間間隔進行上下采樣；

30、需要對多個數據源在相同的時間窗口內進行對齊時，采取時間窗口對齊，定義時間窗口將時間窗口內的數據進行聚合對齊，并處理時間窗口邊界的缺失數據。

31、優選的，所述步驟二中異常值檢測具體步驟為：

32、s1、當數據點與平均值的偏差超過三倍標準差，則認為是異常值，將這些異常值替換為合理的值，如用相鄰數據點的平均值替代；

33、s2、進行回歸分析和時間序列分析，通過回歸模型預測數據的預期值，并將實際值與預測值進行比較，標記預測誤差較大的數據點為異常值，對時間序列數據應用模型，如arima，并檢測模型預測誤差的異常值；

34、s3、采用孤立森林方式，通過隨機選擇特征和分裂點來“孤立”數據點，異常點通常需要較少的分裂即可被孤立；采用支持向量機(svm)，使用支持向量機中的一類分類(one-cl?ass?svm)方法來識別正常數據點的邊界，偏離邊界的數據點被認為是異常值。

35、優選的，所述步驟六中特征級融合的具體步驟為：

36、s1、獲取多個不同模態和數據源的特征向量x1、x2、x3……xn，其中，若特征為圖像特征，則使用cnn進行特征向量提取；

37、s2、將多個不同模態和數據源的維度依次設定為d1、d2、d3……dn；

38、s3、將所述s1中的特征向量進行拼接整合，將s2中的特征向量維度進行整合；

39、s4、生成大特征向量：x＝[x1，x2，x3……xn]，其維度為d1+d2+d3……+dn。

40、優選的，所述步驟六中模型級融合的具體步驟為：

41、s1、為每種模態或數據源分別訓練模型，如卷積神經網絡(cnn)處理圖像數據，長短期記憶網絡(lstm)處理時間序列數據；

42、s2、通過集成學習方法將多個模型的輸出進行融合，如隨機森林、xgboost，提高預測的魯棒性和準確性。

43、優選的，所述步驟六中決策級融合采取投票法或加權平均法中的任意一種作為融合方式，投票法結合各個模型的預測結果進行投票決策，選擇最常見的預測類別作為最終結果；加權平均法根據模型的性能和可靠性，為每個模型分配權重，計算加權平均以生成最終決策。

44、優選的，所述步驟七中深度學習模型訓練的模型具體選擇：

45、用于處理融合后的高維特征向量時，采用深度神經網絡(dnn)，以捕捉復雜的非線性關系；

46、用于提取圖像和時頻數據中的空間特征時，采用卷積神經網絡(cnn)，以處理圖像數據和時頻表示；

47、用于風機運行數據的時間序列分析時，采用遞歸神經網絡(rnn)及其變種(lstm/gru)，以處理時間序列數據，且能夠記憶長期依賴關系。

48、優選的，所述步驟七中優化的具體選擇：

49、用于調整模型參數時，采用如adam、rmsprop等優化算法中的任意一種，進行優化工作，以提高訓練效率和精度；

50、用于評估模型的泛化能力時，采用交叉驗證與超參數調優，來選擇最佳模型參數，以防止過擬合，通過網格搜索或貝葉斯優化調整超參數，選擇最佳模型配置；

51、為提高模型穩定性時，采用l1/l2正則化、dropout等技術防止過擬合。

52、本發明提供了一種多模態與多源數據融合的深度學習故障診斷。具備以下有益效果：

53、1、本發明將多模態與多源異構數據結合，充分利用風力發電機系統中的各種信息源，提供更加準確和全面的診斷服務，提高故障診斷的準確性和可靠性，增強系統的魯棒性，從而保障風力發電機的穩定運行和高效維護。

54、2、本發明通過多模態與多源異構數據的基礎建立多種故障診斷模型，且建立過程中采取深度學習模型訓練與優化，完善故障診斷模型，使得故障診斷模型可不斷進行升級和迭代。