本發明屬于異常檢測,尤其涉及一種多元時間序列異常檢測方法和裝置。
背景技術:
1、多變量時間序列數據由多個維度的相關變量按照時間順序組成,這些不同維度之間存在復雜的相關性。在全面數字化社會的轉型過程中,對多變量時間序列的異常檢測任務面臨巨大挑戰。首先,大量傳感器的應用通常會產生海量的多變量時間序列數據,這些數據具有高維性、高波動性和動態性,并呈現出復雜的時間和維度關聯性。隨著數據量呈指數級增長,人工經驗的局限性逐漸顯現,難以精準捕捉數據中的異常。這種復雜性使得傳統依賴領域專家預先設定靜態閾值的方法難以為繼。
2、受到自然語言處理和音頻處理等領域成功經驗的啟發,研究人員開始探索基于先進深度學習架構的異常檢測方法,并取得了顯著進展。由于現實場景中異常模式復雜多變,且異常數據遠少于正常數據,收集大規模異常標記數據需耗費巨額人力資源。這意味著,對于需要大量精準標記數據支撐的有監督學習方法而言,應對數據樣本少且不平衡的問題變得尤為困難。相比之下,半監督和無監督學習方法展現了其獨特優勢:它們無需依賴大規模標記樣本,能夠利用少量標記數據或僅依靠數據自身的內在規律,挖掘潛在信息并識別異常,為工業數據的異常檢測開辟了有效的新路徑。
3、因此,我們提出了一種穩定且適應不同規模和復雜度數據集的無監督學習模型,旨在有效應對上述挑戰,提供更加靈活和高效的異常檢測解決方案,以滿足現代工業系統的需求。
技術實現思路
1、基于上述狀況,本發明的主要目的是為了提出一種多元時間序列異常檢測方法,并提出了相應的裝置、設備及計算機可讀存儲介質,旨在解決上述技術問題。
2、第一方面,為實現上述目的,本發明提供一種多元時間序列異常檢測方法,所述方法包括以下步驟:
3、1.通過神經網絡的融合,集合它們的優勢協同實現對多元時序數據的異常檢測,其中,gru網絡、注意力網絡、e網絡、d1網絡和d2網絡是用于異常檢測系統的子神經網絡;
4、2.通過gru網絡獲取當前時序數據x的隱藏狀態信息;
5、3.將采樣點的狀態值輸入到注意力網絡,依信息重要程度賦予不同的權重,進而提取時序特征;
6、4.將采樣點時序特征的狀態值輸入到編碼器e網絡,計算采樣點的低維均值和方差;
7、5.將上述結果存儲到潛在空間,得到數據的潛在分布,并從其中進行采樣;
8、6.將采樣結果輸入到解碼器d1和d2網絡,對應得到預測值和,此為第一階段;
9、7.為更好的檢測不明顯異常,采用對抗訓練的方式,針對所得到的預測值重復上述操作,經過gru網絡、注意力網絡、e網絡和d2網絡,生成新的預測值,此為第二階段;
10、8.依據兩階段產出的預測值和與觀測值之間的均方誤差,計算異常分數,判斷目標數據是否異常,超過設定閾值的即為異常。
11、9.所述兩階段訓練即對抗訓練方式,具體過程還包括;
12、(1)所述的神經網絡在訓練時采用兩階段訓練方式所對應的損失函數有不同的訓練目標,第一階段旨在訓練v1和v2網絡良好的重構能力,第二階段旨在讓v1網絡的預測值與觀測值之間的均方誤差最小,旨在讓v2網絡的預測值與觀測值之間的均方誤差最大;
13、(2)訓練時使用的損失函數是兩階段訓練的復合式損失函數,將d1網絡和d2網絡分為兩個子神經網絡v1和v2,共享gru網絡、注意力網絡和e網絡。其中,v1網絡的訓練損失函數為,v2網絡的訓練損失函數為;
14、(3)其中是的權重,控制對觀測值進行重構的生成效果;
15、(4)于損失函數中引入了兩個kl散度,確保訓練過程中重構誤差與潛在空間分布之間達成更加平衡態。
16、其中為訓練輪數。隨著訓練次數的增加,第二階段產生的損失權重逐漸增加,訓練過程逐漸側重于v1網絡和v2網絡的對抗性學習。
17、10.所述兩階段產出的預測值判斷異常,還包括:
18、(1)上面所述的神經網絡在異常檢測時的異常分數;
19、(2)其中用于平衡v1網絡和v2網絡的權重,以此控制異常檢測靈敏度,適配不同需求。
20、第二方面,為實現上述目的,本發明還提供一種多元時間序列異常檢測的裝置,包括:
21、1.特征提取模塊,用于獲取實時檢測到的時序數據,通過gru網絡計算當前時間點的隱藏狀態向量,預測下一時間點的隱藏狀態向量;注意力網絡對gru網絡輸出的采樣數據的隱狀態計算權重,提取時序特征;
22、2.數據重構模塊,用于對特征提取模塊輸出的采樣數據的隱狀態信息運用編碼器網絡和解碼器網絡進行重構,生成預測值。
23、3.異常檢測模塊,用于通過比較采樣點的觀測值與數據重構模塊得到的預測值來判斷是否存在異常。
24、第三方面,為實現上述目的,本發明還提供一種多元時間序列異常檢測的硬件設備,包括:
25、1.存儲器,用于存放代碼;
26、2.處理器,用于調用所述存儲器存儲的計算機可讀代碼,實現所述的方法。
27、3.一種計算機可讀存儲介質,其特征在于,所述計算機可讀存儲介質上存儲有計算機可讀指令,用于執行計算機可讀指令時,調用處理器執行所述的方法。
28、與現有技術相比,本發明有益效果如下:
29、1.通過神經網絡的融合,集合它們的優勢協同實現對多元時序數據的異常檢測。該方法可以在進行隨機性的具有時序依賴關系的建模,學習的數據更具有魯棒性。并通過引入的對抗性訓練得到良好重建。
30、2.在該方法的損失函數中引入kl散度,保證模型在訓練過程中更加關注重構誤差與潛在空間分布之間的平衡,從而在保證良好重構能力的同時提高了模型的泛化能力。
31、3.提出了一種新穎的多元時間序列異常檢測方法.該方法具有自調節能力,捕獲的時序特征更具有魯棒性,幫助模型獲取更好的穩定性,提高泛化能力。
1.一種多元時間序列異常檢測方法,其特征在于,包括:
2.根據權利要求1的方法,其特征在于,上面所述的神經網絡在訓練時采用兩階段訓練方式所對應的損失函數有不同的訓練目標,第一階段旨在訓練v1和v2網絡良好的重構能力,第二階段旨在讓v1網絡的預測值與觀測值之間的均方誤差最小,旨在讓v2網絡的預測值與觀測值之間的均方誤差最大。
3.根據權利要求1-2的方法,其特征在于,訓練時使用的損失函數是復合式損失函數,將d1網絡和d2網絡分為兩個子神經網絡v1和v2,共享gru網絡、注意力網絡和e網絡。其中,v1網絡的訓練損失函數為,v2網絡的訓練損失函數為。
4.根據權利要求3的方法,其中是的權重,控制對觀測值進行重構的生成效果。
5.根據權利要求3的方法,于損失函數中引入了兩個kl散度,確保訓練過程中重構誤差與潛在空間分布之間達成更加平衡態。
6.根據權利要求3的方法,其中為訓練輪數。隨著訓練次數的增加,第二階段產生的損失權重逐漸增加,訓練過程逐漸側重于v1網絡和v2網絡的對抗性學習。
7.根據權利要求1的方法,其特征在于,上面所述的神經網絡在異常檢測時的異常分數。
8.根據權利要求6所述的方法,用于平衡v1網絡和v2網絡的權重,以此控制異常檢測靈敏度,適配不同需求。
9.一種多元時間序列異常檢測的裝置,其特征在于,包括:
10.一種多元時間序列異常檢測的硬件設備,其特征在于,包括: