本發(fā)明涉及安全監(jiān)測技術(shù)領(lǐng)域，特別是一種南水北調(diào)工程安全數(shù)據(jù)異常模式發(fā)現(xiàn)方法及系統(tǒng)。

背景技術(shù)：

南水北調(diào)中線干線工程是緩解京、津、冀、豫等北部地區(qū)水資源短缺緊張，優(yōu)化我國水資源配置的一項戰(zhàn)略性基礎設施工程。該工程南起湖北丹江口水庫，直達北京的團城湖和天津市外環(huán)河，工程全長1432km，是世界上最大的跨流域調(diào)水工程。南水北調(diào)中線干線工程沿線地質(zhì)及氣象條件的復雜性使南水北調(diào)工程安全受到嚴峻挑戰(zhàn)。為保障工程安全，目前南水北調(diào)工程沿線已布設傳感器六萬多個，用于實時采集工程安全數(shù)據(jù)，達到全時段、全方位了解工程安全的目的。然而，傳感器采集的海量數(shù)據(jù)同樣存在數(shù)據(jù)量大但信息量小的問題，如何從海量數(shù)據(jù)中分析挖掘出有價值信息，并預測數(shù)據(jù)變化趨勢，對保證南水北調(diào)中線干線工程安全具有重要意義。

目前，在利用多傳感器對南水北調(diào)中線干線進行工程安全數(shù)據(jù)采集、分析、預警和決策的工作中還存在一些問題，包括：

1)在傳感和通信系統(tǒng)中，工作環(huán)境的復雜性導致監(jiān)測數(shù)據(jù)存在大量缺失及異常現(xiàn)象；

2)傳統(tǒng)的基于水利工程機理分析的模型能夠針對簡單狀況下的工程實體進行機理分析，但在分析處理復雜問題時有一定的局限性。同時，機理模型在使用過程中通常需要對數(shù)據(jù)有一定的要求或假設，而模型本身也必須有明確的數(shù)學形式。但真實世界數(shù)據(jù)的分布通常較為復雜，很難做出任何假定。

3)傳統(tǒng)數(shù)理統(tǒng)計方法通過對工程安全數(shù)據(jù)的分析，能夠得到工程安全數(shù)據(jù)的產(chǎn)生機理，但對監(jiān)測數(shù)據(jù)本身沒有預測能力。

從以上存在的實際問題出發(fā)，本發(fā)明選取南水北調(diào)中線干線中的典型建筑物為研究對象，針對同一建筑物的多類型傳感器探測數(shù)據(jù)，針對多類型，多維度南水北調(diào)工程安全監(jiān)測數(shù)據(jù)，進行數(shù)據(jù)預處理、數(shù)據(jù)建模、數(shù)據(jù)預測和工程安全數(shù)據(jù)預警等問題進行研究。

技術(shù)實現(xiàn)要素：

鑒于此，本發(fā)明提供一種南水北調(diào)工程安全數(shù)據(jù)異常模式發(fā)現(xiàn)方法及系統(tǒng)，圍繞傳感器安全閾值確定、監(jiān)測數(shù)據(jù)預測和異常模式發(fā)現(xiàn)機制構(gòu)建三個方面，展開基于“自助法”的傳感器安全閾值計算、基于機器學習和多模型方法的監(jiān)測數(shù)據(jù)預測、基于智能信息處理的異常模式發(fā)現(xiàn)機制構(gòu)建的研究，為南水北調(diào)工程安全異常模式發(fā)現(xiàn)提供科學的理論依據(jù)和輔助決策。

為了達到上述目的，本發(fā)明是通過以下技術(shù)方案實現(xiàn)的：

本發(fā)明提供一種南水北調(diào)工程安全數(shù)據(jù)異常模式發(fā)現(xiàn)方法，包括：將傳感器進行分組；確定每個傳感器的安全閾值；確定每組傳感器的既定閥值；判斷任一傳感器收到數(shù)據(jù)是否超出該傳感器的安全閾值：若不超過安全閾值，則記錄該數(shù)據(jù)；若超過安全閾值，則判斷該傳感器為發(fā)生異常，并進行下一步；判斷該傳感器所在組內(nèi)所發(fā)生異常的傳感器比率是否超過既定閥值：若超過既定閥值，則進行報警；若不超過既定閥值，則對該傳感器數(shù)據(jù)進行預測，并重新確定該傳感器的安全閾值。

進一步地，將傳感器進行分組，包括：根據(jù)傳感器的時空序列對傳感器進行自動聚類分組。

進一步地，確定每個傳感器的安全閾值，包括：對每個傳感器的數(shù)據(jù)樣本進行抽樣；對抽樣樣本進行計算得到各個傳感器的置信區(qū)間，即傳感器的安全閾值。

進一步地，確定每組傳感器的既定閥值，包括：預先設定每組傳感器中發(fā)生異常的傳感器的比例上限，超出上限即超出既定閥值。

進一步地，重新確定該傳感器的安全閾值，包括：建立該傳感器與該傳感器所在組傳感器的數(shù)據(jù)的非線性回歸模型；利用非線性回歸模型對該傳感器的數(shù)據(jù)進行預測；根據(jù)預測結(jié)果重新確定該傳感器的安全閾值。

進一步地，重新確定該傳感器的安全閾值之后，還包括：根據(jù)重新確定的傳感器安全閾值對該傳感器所收到的數(shù)據(jù)進行判斷：若不超過新的安全閾值，則記錄該數(shù)據(jù)；若超過新的安全閾值，則判斷該傳感器為發(fā)生異常，并在該傳感器所在組內(nèi)進行判斷是否超出既定閥值。

本發(fā)明還提供一種南水北調(diào)工程安全數(shù)據(jù)異常模式發(fā)現(xiàn)系統(tǒng)，包括：多個傳感器，用于收集工程安全數(shù)據(jù)；傳感器分組模塊，用于將傳感器進行分組；安全閾值確定模塊，用于確定每個傳感器的安全閾值；既定閥值確定模塊，用于確定每組傳感器的既定閥值；第一判斷模塊，用于判斷傳感器收到數(shù)據(jù)是否超出該傳感器的安全閾值；第二判斷模塊，用于判斷每組傳感器內(nèi)所發(fā)生異常的傳感器比率是否超過既定閥值。

進一步地，所述傳感器分組模塊根據(jù)傳感器的時空序列對傳感器進行自動聚類分組。

進一步地，還包括：安全閾值重新確定模塊，用于利用非線性回歸模型對該傳感器的數(shù)據(jù)進行預測，并根據(jù)預測結(jié)果重新確定該傳感器的安全閾值。

本發(fā)明提供一種南水北調(diào)工程安全數(shù)據(jù)異常模式發(fā)現(xiàn)方法，具有如下有益效果：

本發(fā)明方法將機器學習、復雜系統(tǒng)參數(shù)估計、時-空序列挖掘方法交叉聚集于“時空序列智能聚類”、“時空序列參數(shù)預測”、“時空序列異常模式發(fā)現(xiàn)”等復雜前沿科學問題，最終完成南水北調(diào)工程安全異常模式預警。既體現(xiàn)了現(xiàn)代機器學習方法與復雜系統(tǒng)參數(shù)估計的深度交叉和融合，更是試圖通過現(xiàn)代計算機智能方法解決時空序列的精確預測與序列異常模式發(fā)現(xiàn)的大膽嘗試，本發(fā)明方法的優(yōu)點主要體現(xiàn)在以下幾個方面：

1.基于時空序列挖掘理論，研究時空序列自適應分割方法和序列聚類方法，完成監(jiān)測傳感器的自動分組；

2.擺脫傳統(tǒng)機理模型在數(shù)據(jù)處理之前需要建立多個假設和精確數(shù)據(jù)模型的約束，拓寬水利信息數(shù)據(jù)處理方法。僅關(guān)注原始監(jiān)測數(shù)據(jù)本身的數(shù)據(jù)特點，利用高維數(shù)據(jù)回歸分析理論和現(xiàn)代機器學習方法，構(gòu)建時空序列參數(shù)間的關(guān)聯(lián)模型，達到對時空序列參數(shù)精確預測的目標；

3.深化現(xiàn)代智能信息處理方法融合復雜系統(tǒng)參數(shù)估計技術(shù)，構(gòu)建時空序列異常模式發(fā)現(xiàn)方法，完成對南水北調(diào)工程安全及時預警的目標。

南水北調(diào)工程安全數(shù)據(jù)異常模式發(fā)現(xiàn)系統(tǒng)的有益效果與南水北調(diào)工程安全數(shù)據(jù)異常模式發(fā)現(xiàn)方法類似，不再贅述。

附圖說明

圖1為本發(fā)明實施例所提供的南水北調(diào)工程安全數(shù)據(jù)異常模式發(fā)現(xiàn)方法的流程示意圖；

圖2為本發(fā)明實施例所提供的南水北調(diào)工程安全數(shù)據(jù)異常模式發(fā)現(xiàn)系統(tǒng)的結(jié)構(gòu)框架圖。

具體實施方式

為使本發(fā)明實施例的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例是本發(fā)明一部分實施例，而不是全部的實施例。基于本發(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

以下結(jié)合具體情況說明本發(fā)明的示例性實施例：

本發(fā)明提供一種南水北調(diào)工程安全數(shù)據(jù)異常模式發(fā)現(xiàn)方法，主要包括以下步驟：

將傳感器進行分組；

確定每個傳感器的安全閾值；

確定每組傳感器的既定閥值；

判斷任一傳感器收到數(shù)據(jù)是否超出該傳感器的安全閾值：若不超過安全閾值，則記錄該數(shù)據(jù)；若超過安全閾值，則判斷該傳感器為發(fā)生異常，并進行下一步；

判斷該傳感器所在組內(nèi)所發(fā)生異常的傳感器比率是否超過既定閥值：若超過既定閥值，則進行報警；若不超過既定閥值，則對該傳感器數(shù)據(jù)進行預測，并重新確定該傳感器的安全閾值。

請參考圖1，圖1為本發(fā)明實施例所提供的南水北調(diào)工程安全數(shù)據(jù)異常模式發(fā)現(xiàn)方法的流程示意圖；本實施例提供一種南水北調(diào)工程安全數(shù)據(jù)異常模式發(fā)現(xiàn)方法，具體包括以下步驟：

步驟s101、根據(jù)傳感器的時空序列對傳感器進行自動聚類分組。基于時空序列挖掘理論，研究時空序列自適應分割方法和序列聚類方法，對監(jiān)測傳感器進行自動分組。

步驟s102、確定每個傳感器的安全閾值。對每個傳感器的數(shù)據(jù)樣本進行抽樣；對抽樣樣本進行計算得到各個傳感器的置信區(qū)間，即傳感器的安全閾值。

在本實施例中，針對南水北調(diào)工程安全監(jiān)測數(shù)據(jù)，利用“自助法”對數(shù)據(jù)樣本進行有放回的隨機抽樣100次，每次抽樣樣本規(guī)模為單個傳感器監(jiān)測總數(shù)據(jù)量的60%，然后對100個抽樣樣本進行計算得到各個傳感器的置信區(qū)間，建立傳感器安全閾值區(qū)間，為下一步的數(shù)據(jù)異常模式發(fā)現(xiàn)提供判斷依據(jù)。

作為一種可實施方式，在計算置信區(qū)間時，置信度選取為95%。

步驟s103、確定每組傳感器的既定閥值。預先設定每組傳感器中發(fā)生異常的傳感器的比例上限，超出上限即超出既定閥值。

步驟s104、判斷任一傳感器收到數(shù)據(jù)是否超出該傳感器的安全閾值：若不超過安全閾值，則記錄該數(shù)據(jù)，即按正常數(shù)據(jù)處理；若超過安全閾值，則判斷該傳感器為發(fā)生異常，并進行下一步；

步驟s105、判斷該傳感器所在組內(nèi)所發(fā)生異常的傳感器比率是否超過既定閥值：若超過既定閥值，則進行報警；若不超過既定閥值，則進行下一步。

步驟s106、建立該傳感器與該傳感器所在組傳感器的數(shù)據(jù)的非線性回歸模型；

步驟s107、利用非線性回歸模型對該傳感器的數(shù)據(jù)進行預測；

步驟s108、根據(jù)預測結(jié)果重新確定該傳感器的安全閾值。

步驟s109、根據(jù)重新確定的傳感器安全閾值對該傳感器所收到的數(shù)據(jù)進行判斷：若不超過新的安全閾值，則記錄該數(shù)據(jù)；若超過新的安全閾值，則判斷該傳感器為發(fā)生異常，并在該傳感器所在組內(nèi)進行判斷是否超出既定閥值。

利用“自助法”得到各個傳感器的安全閾值；當有新的數(shù)據(jù)來臨，首先判斷是否超出了傳感器安全閾值，如果沒有，則按照正常數(shù)據(jù)處理，如果超出了安全閾值，則選擇與當前傳感器聚類為同組的傳感器組進行考察；對于相關(guān)傳感器組，如果該時間段內(nèi)，該組中發(fā)生異常的傳感器比率大于既定閥值，則進行工程級報警；如果該事件段內(nèi)相關(guān)傳感器組中發(fā)生異常的傳感器比率小于既定閥值，則利用機器學習方法建立當前傳感器與相關(guān)傳感器組之間的非線性回歸模型，并利用傳感器組的監(jiān)測數(shù)據(jù)對當前傳感器數(shù)據(jù)進行預測，并生成該時刻下的數(shù)據(jù)安全空間；在新的安全區(qū)間下，如果該傳感器的當前監(jiān)測值存在于新的安全區(qū)間中，則作為正常數(shù)據(jù)處理，否則進行傳感器級別報警。

本發(fā)明實施例還提供一種南水北調(diào)工程安全數(shù)據(jù)異常模式發(fā)現(xiàn)系統(tǒng)，包括：

多個傳感器，用于收集工程安全數(shù)據(jù)；

傳感器分組模塊，用于將傳感器進行分組；

安全閾值確定模塊，用于確定每個傳感器的安全閾值；

既定閥值確定模塊，用于確定每組傳感器的既定閥值；

第一判斷模塊，用于判斷傳感器收到數(shù)據(jù)是否超出該傳感器的安全閾值；

第二判斷模塊，用于判斷每組傳感器內(nèi)所發(fā)生異常的傳感器比率是否超過既定閥值。

進一步地，所述傳感器分組模塊根據(jù)傳感器的時空序列對傳感器進行自動聚類分組。

進一步地，還包括：

安全閾值重新確定模塊，用于利用非線性回歸模型對該傳感器的數(shù)據(jù)進行預測，并根據(jù)預測結(jié)果重新確定該傳感器的安全閾值。

最后，還需要說明的是，在本文中，諸如第一和第二等之類的關(guān)系術(shù)語僅僅用來將一個實體或者操作與另一個實體或操作區(qū)分開來，而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關(guān)系或者順序。而且，術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設備所固有的要素。在沒有更多限制的情況下，由語句“包括一個……”限定的要素，并不排除在包括所述要素的過程、方法、物品或者設備中還存在另外的相同要素。

以上對本發(fā)明所提供的具體實施方式進行了詳細介紹，本文中應用了具體個例對本發(fā)明的原理及實施方式進行了闡述，以上實施例的說明只是用于幫助理解本發(fā)明的方法及其核心思想；同時，對于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā)明的思想，在具體實施方式及應用范圍上均會有改變之處，綜上所述，本說明書內(nèi)容不應理解為對本發(fā)明的限制。