本發明涉及信號處理領域,具體為基于通信網絡的時間序列數據預處理系統及方法。
背景技術:
1、通信網絡是由多個通信節點和連接節點的通信鏈路組成的系統,目的是實現數據信息在不同節點之間的傳輸和交換。在通信網絡中,常用二進制時間序列傳輸信號,時間序列是按照時間順序排列的一系列數據點,反映了信息隨時間的變化情況,對時間序列進行處理有助于提高數據質量,優化節點間的資源分配。
2、由于信號在傳輸過程中容易混入噪聲,使得數字化取樣時,還原出的時間序列信號內部存在誤碼,影響信號傳輸精度。由于通信網絡中的狀態碼、指令語句等具有相同的表達形式,因此可以通過信號分析濾除這些誤碼,然而受限于時間序列的高度不穩定性,現有處理技術難以準確區分錯誤信息。
3、此外,通信網絡中的各節點由不同規格的計算機構成,實質上具有不同的硬件參數,對于時間序列信號的處理能力和適應能力都存在差異,如果不對時間序列進行預先處理,很容易發生節點堵塞現象,影響通信網絡的運行效率。
技術實現思路
1、本發明的目的在于提供基于通信網絡的時間序列數據預處理系統及方法,以解決上述背景技術中提出的問題。
2、為了解決上述技術問題,本發明提供如下技術方案:基于通信網絡的時間序列數據預處理系統,包括:信號監聽模塊、波頻分析模塊、標準擬合模塊、序列處理模塊和節點調度模塊;
3、所述信號監聽模塊用于在通信網絡的節點服務器中載入監聽控件,獲取各通信網絡節點的輸入數據和輸出數據,并將通信數據以時間序列展開,在節點的輸入輸出端口處設置信息處理裝置或信號傳輸通路,以存儲展開的時間序列,并對時間序列進行運算分析;
4、所述波頻分析模塊用于采用可變窗口的加窗變換處理展開的時間序列,根據相關系數最高時的窗口間隔確定時間序列的時頻窗口,按照時頻窗口切割序列,得到子序列,對各子序列與前序子序列進行無量綱化折線變換,根據子序列間的信息分布,計算各子序列的構成差、構成比和t型關聯系數;
5、所述標準擬合模塊用于按照子序列間的t型關聯系數計算各子序列與其他子序列的關聯度,保留所有關聯度小于閾值的序列集合得到第一參考集合,在第一參考集合中,再舍棄序列數量小于閾值的集合,得到第二參考集合,對于每一個第二參考集合中的全部子序列進行差分擬合,輸出每個第二參考集合對應的標準化序列和觀測誤差區間;
6、所述序列處理模塊用于獲取后序輸入或輸出序列,按照時頻窗口切割序列,分離出后序子序列,計算后序子序列與各標準化序列的關聯度,當關聯度位于誤差區間內時,對后序序列進行標準化處理,使后序序列與標準化擬合序列一致后輸出,否則重復時間窗口切割,并將切割結果融合進第一參考集合中;
7、所述節點調度模塊用于獲取通信網絡中各節點的輸入及輸出的子序列數量,根據輸入輸出子序列數量的比例確定節點的運算速度,按照節點的運算速度對通信網絡進行任務化節點管理,使各節點的輸入輸出序列數保持統一比例,以穩定通信網絡的數據處理效率。
8、進一步的,所述信號監聽模塊包括:端口控件單元和中央處理單元;
9、所述端口控件單元設置在節點服務器的輸入輸出端口中,用于監聽輸入輸出信號的時間序列;
10、所述中央處理單元用于通過終端數據運算芯片或反饋通路,為時間序列分析提供算力支持。
11、進一步的,所述波頻分析模塊包括:加窗變換單元、時頻切割單元和構成分析單元;
12、所述加窗變換單元用于按照數據信息熵選用窗口函數,以窗口函數為基礎對時間序列作離散小波變換;
13、所述時頻切割單元用于計算離散小波變換函數取最大值時窗口函數的時延,以時頻窗口切割序列,得到子序列;
14、所述構成分析單元用于根據子序列間的信息分布,計算各子序列的構成差、構成比和t型關聯系數函數。
15、進一步的,所述標準擬合模塊包括:關聯分組單元和差分擬合單元;
16、所述關聯分組單元用于對各子序列間的t型關聯系數進行關聯度計算,按照計算結果對子序列進行分組;
17、所述差分擬合單元用于對分組結果進行篩選,去除無效分組和非顯著分組,得到第二參考集合。
18、進一步的,所述序列處理模塊包括:信號過濾單元和序列融合單元;
19、所述信號過濾單元用于切割后序子序列,將后序子序列按照對應的標準序列信息進行過濾;
20、所述序列融合單元用于融合過濾后的后序子序列,還原為時間序列后送入通信節點進行處理。
21、進一步的,所述節點調度模塊包括:節點測試單元、任務管理單元和效率穩定單元;
22、所述節點測試單元用于按照通信節點中輸入子序列和輸出子序列信息量的比例,計算通信節點的信息處理速度;
23、所述任務管理單元用于按照待傳輸信號的數據量和各節點的信息處理速度規劃最佳任務分配方式;
24、所述效率穩定單元用于實時計算通信網絡的整體效率,實時上傳通信網絡輸入輸出時間序列的信息量。
25、基于通信網絡的時間序列數據預處理方法,包括以下步驟:
26、步驟s1.在節點服務器端口監聽輸入輸出信號,將信號以時間序列形式展開,計算時間序列的信息熵,按照信息熵選擇窗口函數,以窗口函數為基頻對時間序列作離散小波變換,得到離散小波變換函數;
27、步驟s2.計算離散小波變換函數取最大值時窗口函數的時延,記為時頻窗口,以時頻窗口為切割時間序列,得到固定碼元長度的子序列,對各子序列進行無量綱化折線變換,計算各子序列的構成差、構成比和t型關聯系數;
28、步驟s3.對各子序列與其他子序列間的t型關聯系數進行計算,將所有相互間關聯度小于閾值的子序列分為一類,得到第一參考集合,舍棄其中元素數量小于閾值的集合,得到第二參考集合;
29、步驟s4.對各參考集合中的子序列疊加取樣,得到標準化序列和誤差區間,按時頻窗口切割后序時間序列,計算后序時間序列的子序列與各標準化序列的t型關聯系數,當關聯度位于誤差區間內時,將各后序子序列進行標準化處理;
30、步驟s5.以通信節點中輸入子序列和輸出子序列的信息量比例,表示通信節點的信息處理速度,按照待傳輸信號的數據量和各節點的信息處理速度進行任務分配,使通信網絡的整體效率最高。
31、進一步的,步驟s1包括:
32、步驟s11.在通信網絡的節點服務器中載入監聽控件,監聽輸入輸出信號,通過終端數據運算芯片或反饋通路,將輸入輸出信號傳輸到處理芯片內;
33、步驟s12.在處理芯片內將監聽到的輸入輸出信號展開為時間序列,所述時間序列為有限長度序列,且序列中的元素均為二進制,根據時間序列的長度計算信息熵,按照信息熵從預載入的函數庫中選擇窗口函數;
34、步驟s13.以窗口函數為基頻對時間序列作離散小波變換,變換函數為:
35、;
36、其中,f(a,b)為離散小波變換函數,a為尺度參數,b為時延參數,t0為時間序列的取樣間隔,δ(k)為窗口函數,e(k)為時間序列中的第k個元素值,n為時間序列中的元素數量,k為順序標號。
37、進一步的,步驟s2包括:
38、步驟s21.將尺度參數限定在窗口函數的一個周期長度范圍內,計算離散小波變換函數的最大值,輸出函數取最大值時時延參數b的大小,記為時頻窗口;
39、步驟s22.利用時頻窗口切割時間序列,使每個子序列中含有m個元素,若存在長度不足m的序列,則用低電平信號補足,按照時間順序對子序列編號,按編號降序確定各子序列的前序序列,初始子序列以末尾子序列為前序序列;
40、對每個子序列進行無量綱化折線變換,計算各子序列的構成差、構成比和t型關聯系數:
41、;
42、其中,z代表子序列與前序序列的構成差,z1(x)代表前序子序列中第x個元素與第x+1個元素的差,z2(x)代表當前子序列中第x個元素與第x+1個元素的差,s代表子序列與前序序列的構成比,min和max分別代表取最大值和取最小值函數,r代表t型關聯系數。
43、進一步的,步驟s3包括:
44、步驟s31.計算所有子序列與其他序列間的t型關聯系數,將子序列分為一組,使組內每兩個序列相互間的關聯系數均小于閾值,將所有分組存入集合中,得到第一參考集合;
45、步驟s32.篩除第一參考集合中所有包含序列數量小于閾值的分組,得到第二參考集合。
46、進一步的,步驟s4包括:
47、步驟s41.對于第二參考集合中的每一組,計算組內的所有子序列中每一位元素的平均值,若平均值大于取樣標準,則編譯為高電平信號,若平均值小于取樣標準,則編譯為低電平信號,獲取所有編譯后的信號,組合為標準化序列,誤差區間為[-σ(x=1,m)|z(x)-z0(x)|,σ(x=1,m)|z(x)-z0(x)|],其中z(x)代表標準化序列中第x個元素,z0(x)代表組內的所有子序列第x位元素的平均值;
48、步驟s42.通信節點中傳輸后序時間序列時,將后序時間序列按照時頻窗口切割,得到后序時間序列的子序列,計算各后序時間序列的子序列與標準化序列間的t型關聯系數,若關聯度位于誤差區間內,則用標準化序列替代后序時間序列的子序列,還原后輸出。
49、進一步的,步驟s5包括:
50、步驟s51.按照通信節點中輸入子序列和輸出子序列信息量的比例,確定通信節點的信息處理速度,在通信網絡中對各節點的速度進行標識;
51、步驟s52.計算待處理數據的信息量,選用調度算法在節點間分配流量,所述調度算法包括:動態加權調度、混合調度、神經網絡調度和批處理調度。
52、與現有技術相比,本發明所達到的有益效果是:
53、本發明通過將通信數據以時間序列展開,采用可變窗口的加窗變換,確定時間序列的時頻窗口,按照時頻窗口切割序列,對各序列與前序序列進行無量綱化折線變換,技術序列的t型關聯系數,可以識別數據中的長期趨勢、周期性變化和季節性模式,可以更準確地預測時間序列的循環模式,提高數據的完整性和質量。
54、本發明按照t型關聯系數計算關聯度,保留所有關聯度小于閾值的序列集合,當后序輸入位于標準化序列的誤差區間內時,對后序序列進行標準化預處理后輸出,通過平滑技術識別并去除數據中的異常噪聲,使時間序列更清晰、更具可解釋性。
55、本發明根據各節點的輸入輸出標準化序列數,根據輸入輸出的比例確定節點的運算速度,對通信網絡進行任務化節點管理,使各節點的輸入輸出序列數保持統一比例,以穩定通信網絡的數據處理效率,更好地理解通信網絡的動態信息處理狀態,提高通信網絡的整體信息處理效率。