本發明屬于飛行試驗數據處理與監控,具體涉及一種航空飛行數據異常實時修復方法。
背景技術:
1、通過飛行數據實時監測試驗機安全狀態、評估任務執行情況是提升試飛效率、保障試飛安全的重要技術手段。對于飛行試驗領域來講,飛行試驗任務分析與安全預警建立在遙測數據可用性和高質量的基礎上,而受到傳感器異常、遙測信號干擾等因素影響,遙測數據會出現嚴重偏離參數真值的現象,極易造成虛警,影響監控效果,甚至造成決策失誤。因此,飛行數據異常修復在飛行試驗領域的重要性不可忽視,直接關系到飛行安全、飛行效率以及數據的準確性。
2、目前國內對于飛行數據的異常修復主要依靠事后數據處理,通常采用自動或者手動的方式,結合各專業的特定規則進行數據檢測,將檢測出異常的數據,采取剔除或修正的方式對數據進行清洗;對于實時監控而言,大多只做到異常檢測階段,并在前端監控界面以狀態燈方式或其他可視化方式提醒監控人員當前數據不可靠,個別監控終端采用簡單門限法對異常值進行剔除,針對單變量參數瞬時異常采用上一時刻值填充進行修復,對于較為復雜的異常類型,實時修復方法涉及較少。
3、基于此,有必要提供一種新的飛行數據異常實時修復方法,解決單變量/多關聯變量瞬時偏離趨勢及短時持續性缺失等異常問題,在考慮場景實時性要求的前提下,保證異常數據的修復效果。
技術實現思路
1、本發明目的在于提供一種航空飛行數據異常實時修復方法,在飛行試驗實時監控場景下針對不同特征的異常數據進行修復,以保證監控數據用于后續任務分析和安全預警的可靠性。
2、本發明的技術方案是:根據本發明的第一方面,提出一種航空飛行數據異常實時修復方法,其特征在于,包括如下步驟:
3、步驟一:以固定時間采樣的飛行時序數據為輸入,首先對數據進行標準歸一化處理,以消除數據的量綱和尺度差異,進行數據的預處理;
4、步驟二:根據飛行時序數據的采樣點數識別當前飛行數據異常類型;實時統計1s內數據的實際采樣點數,若實際采樣點數小于90%的周期采樣點數,則認為該飛行時序數據為持續性缺失的異常數據;若實際采樣點數大于等于90%的周期采樣點數小于周期采樣點數,認為該飛行時序數據為瞬時偏離趨勢的異常數據;
5、步驟三:對于瞬時偏離趨勢的異常飛行數據,采用k近鄰修復方法完成異常數據修復;
6、步驟四:對于持續性缺失的異常飛行數據,采用timegan模型完成異常數據修復;
7、步驟五:對步驟三、步驟四得到的修復飛行數據進行完整性驗證。
8、在一個可能的實施例中,在所述步驟一中,數據預處理的具體過程包括:假設原始數據為x={x1,x2,......,xn},采用如下公式(1)進行數據預處理:
9、
10、其中,μx和σx分別表示數據集x的均值和標準差。
11、在一個可能的實施例中,在所述步驟3中,具體包括如下步驟:
12、構建knn模型,確定k值;對于瞬時偏離趨勢的異常飛行數據中的每個異常點,對其前序鄰居進行相似度計算;選取相似度最高的k個樣本,作為該異常點的最近鄰;利用k個最近鄰的已知值,通過加權平均來估計瞬時偏離趨勢的異常飛行數據。
13、在一個可能的實施例中,k值設定為周期采樣點的倍數。
14、在一個可能的實施例中,具體采用公式(2)歐式距離來衡量該異常點與其他樣本點之間的相似度;
15、
16、其中,du,i為歐式距離,||·||為2范數。
17、在一個可能的實施例中,相似度最高的k個樣本,作為該異常點xu的最近鄰yu={yu1,yu2,…,yuk}。
18、
19、其中,表示取前k個最小值,du為異常點xu與前序鄰居的歐式距離集合;
20、
21、其中,xu′為異常點xu的修復值,wu,k為第k個鄰居的加權值,可通過公式(5)計算得到;
22、
23、在一個可能的實施例中,在所述步驟四中,具體包括如下步驟:
24、構建一個timegan模型的生成器,在生成器內部,使用rnn單元構建一個多層的循環神經網,以便將隨機噪聲映射到生成數據的潛在表示;
25、為了使timegan適應時序數據,將時間信息t與隨機噪聲向量z一起作為生成器輸入,經過一個全連接層,將其維度映射為hidden_dim,使用sigmoid激活函數,生成器返回生成的潛在空間表示e;
26、生成器的訓練損失被設計為最小化生成的數據與真實數據之間的差異,希望生成的數據能夠逼近真實數據的分布,具體為采用對抗性損失作為生成器的損失函數,如式(6)所示;
27、
28、其中,lgs表示生成器的對抗性損失,z表示從先驗分布pz中抽取的隨機噪聲,g(z)表示生成器生成的序列,d是判別器;
29、構建一個timegan模型的判別器,利用rnn單元構建多層循環神經網絡,對輸入的潛在表示進行處理;通過全連接層將輸出維度映射為1,以進行二元分類,判斷輸入是真實數據還是生成數據,最終判別器返回分類結果;
30、使用生成器輸出e和預處理后的正常飛行數據作為判別器輸入,判別器的訓練損失包括真實數據的損失和生成數據的損失,具體如式(7)所示;
31、
32、其中,lds表示判別器的對抗性損失,z表示從先驗分布pz中抽取的隨機噪聲,g(z)表示生成器生成的序列,d是判別器,x是正常飛行時序數據;
33、訓練過程交替訓練生成器和判別器,利用反向傳播和優化器不斷更新參數,通過最小化兩個損失函數,使得生成器和判別器在不斷地學習和適應中。
34、在一個可能的實施例中,將帶有異常索引的飛行時序數據xl作為訓練好的timegan模型的判別器輸入,計算原始數據x與生成數據e的kl散度,若kl散度小于0.1,則認為生成數據與原始數據分布相似度基本一致,采用生成數據異常索引位置的數值填充原始數據中的缺失值
35、
36、其中,dkl(p||q)表示kl散度,p(x)表示原始數據x的概率分布,q(e)表示生成數據e的概率概率分布。
37、本申請的有益效果在于:
38、1.在飛行試驗實時監控領域,首次采用深度學習算法進行數據異常修復,解決以往傳統方法無法獲取數據特征,僅根據異常數據局部的正常數據進行修復效果欠佳的問題。
39、2.采用k近鄰修復方法,可以處理具備趨勢變化規律參數的瞬時跳變問題,且該方法簡單易于實現,在飛行數據實時處理階段同時兼顧了實時性和算法效果。
40、3.基于timegan模型的飛行數據異常修復方法,融合了無監督生成對抗網絡(gan)的靈活性和有監督的自回歸模型的條件概率原理,確保了時序數據異常修復的效果,同時引入內在網絡,提高了模型的有效性,降低了參數空間的維度。
1.一種航空飛行數據異常實時修復方法,其特征在于,包括如下步驟:
2.根據權利要求1所述的一種航空飛行數據異常實時修復方法,其特征在于,在所述步驟一中,數據預處理的具體過程包括:假設原始數據為x={x1,x2,......,xn},采用如下公式(1)進行數據預處理:
3.根據權利要求1所述的一種航空飛行數據異常實時修復方法,其特征在于,在所述步驟3中,具體包括如下步驟:
4.根據權利要求3所述的一種航空飛行數據異常實時修復方法,其特征在于,k值設定為周期采樣點的倍數。
5.根據權利要求3所述的一種航空飛行數據異常實時修復方法,其特征在于,具體采用公式(2)歐式距離來衡量該異常點與其他樣本點之間的相似度;
6.根據權利要求5所述的一種航空飛行數據異常實時修復方法,其特征在于,相似度最高的k個樣本,作為該異常點xu的最近鄰yu={yu1,yu2,…,yuk}。
7.根據權利要求1所述的一種航空飛行數據異常實時修復方法,其特征在于,在所述步驟四中,具體包括如下步驟:
8.根據權利要求7所述的一種航空飛行數據異常實時修復方法,其特征在于,將帶有異常索引的飛行時序數據xl作為訓練好的timegan模型的判別器輸入,計算原始數據x與生成數據e的kl散度,若kl散度小于0.1,則認為生成數據與原始數據分布相似度基本一致,采用生成數據異常索引位置的數值填充原始數據中的缺失值