本文件涉及數據處理,尤其涉及一種異常數據處理方法和裝置。
背景技術:
1、隨著數據處理技術的不斷發展和應用場景的不斷增多,通過大數據處理系統管理和分析海量數據變得越來越重要,通過數據采集、數據處理、數據存儲等多個環節,提供高效、準確的數據服務。
2、目前,大部分大數據處理系統針對異常數據進行數據處理時,主要依賴于預設的規則和手動干預,比如針對不符合數據庫字段約束的異常數據,會不斷重啟嘗試對這些異常數據進行處理,或者直接將異常數據丟棄;然而隨著數據量的快速增長和數據處理復雜性的增加,一方面不斷重啟處理異常數據可能會導致數據處理的延遲,另一方面直接丟棄數據可能會導致有價值的數據丟失,影響數據統計的準確性,因此,如何在不影響數據處理效率的情況下有效處理異常數據,成為數據處理技術領域亟待解決的問題。
技術實現思路
1、本說明書一個實施例的目的是提供一種異常數據處理方法和裝置,以提高對異常數據進行數據處理的可控性和靈活性。
2、為解決上述技術問題,本說明書一個實施例是這樣實現的:
3、第一方面,本說明書一個實施例提供了一種異常數據處理方法,包括:
4、對異常數據進行解析獲得業務日志數據和數據異常類型;
5、將所述異常數據寫入所述數據異常類型對應的組裝模板進行消息組裝獲得數據處理消息;
6、調用消息發送平臺接口將所述數據處理消息發送至檢測終端;
7、若獲取到接口調用返回的針對所述異常數據的數據處理指令,根據所述數據處理指令的指令類型對所述異常數據進行數據處理;所述數據處理指令由所述檢測終端提交。
8、第二方面,本說明書一個實施例提供了另一種異常數據處理方法,包括:
9、獲取異常數據的數據處理消息并展示;所述數據處理消息通過將異常數據寫入數據異常類型對應的組裝模板進行消息組裝獲得;
10、在所述數據處理消息配置的響應控件被觸發后生成數據處理指令;
11、進行所述數據處理指令的發送處理;所述數據處理指令用于對所述異常數據基于指令類型進行數據處理。
12、第三方面,本說明書一個實施例提供了一種異常數據處理裝置,包括:
13、數據解析模塊,用于對異常數據進行解析獲得業務日志數據和數據異常類型;
14、消息組裝模塊,用于將所述異常數據寫入所述數據異常類型對應的組裝模板進行消息組裝獲得數據處理消息;
15、消息發送模塊,用于調用消息發送平臺接口將所述數據處理消息發送至檢測終端;
16、數據處理模塊,用于若獲取到接口調用返回的針對所述異常數據的數據處理指令,根據所述數據處理指令的指令類型對所述異常數據進行數據處理;所述數據處理指令由所述檢測終端提交。
17、第四方面,本說明書一個實施例提供了另一種異常數據處理裝置,包括:
18、消息獲取模塊,用于獲取異常數據的數據處理消息并展示;所述數據處理消息通過將異常數據寫入數據異常類型對應的組裝模板進行消息組裝獲得;
19、指令生成模塊,用于在所述數據處理消息配置的響應控件被觸發后生成數據處理指令;
20、指令發送模塊,用于進行所述數據處理指令的發送處理;所述數據處理指令用于對所述異常數據基于指令類型進行數據處理。
21、第五方面,本說明書又一個實施例提供了一種異常數據處理設備,包括:存儲器、處理器和存儲在所述存儲器上并可在所述處理器上運行的計算機可執行指令,所述計算機可執行指令被所述處理器執行時實現如上述第一方面所述的異常數據處理方法的步驟。
22、第六方面,本說明書又一個實施例提供了另一種異常數據處理設備,包括:存儲器、處理器和存儲在所述存儲器上并可在所述處理器上運行的計算機可執行指令,所述計算機可執行指令被所述處理器執行時實現如上述第二方面所述的異常數據處理方法的步驟。
23、第七方面,本說明書再一個實施例提供了一種計算機可讀存儲介質,所述計算機可讀存儲介質用于存儲計算機可執行指令,所述計算機可執行指令被處理器執行時實現如上述第一方面所述的異常數據處理方法的步驟。
24、第八方面,本說明書再一個實施例提供了另一種計算機可讀存儲介質,所述計算機可讀存儲介質用于存儲計算機可執行指令,所述計算機可執行指令被處理器執行時實現如上述第二方面所述的異常數據處理方法的步驟。
25、第九方面,本說明書再一個實施例提供了一種計算機程序產品,所述計算機程序產品包括異常數據處理程序,所述異常數據處理程序被處理器執行實現如上述第一方面所述的異常數據處理方法的步驟。
26、第十方面,本說明書再一個實施例提供了另一種計算機程序產品,所述計算機程序產品包括異常數據處理程序,所述異常數據處理程序被處理器執行實現如上述第二方面所述的異常數據處理方法的步驟。
27、本實施例提供的一種異常數據處理方法,針對進行數據檢測獲得的異常數據,首先對異常數據進行解析獲得業務日志數據和數據異常類型,通過確定異常數據的數據異常類型,為后續數據處理提供基礎,其次將異常數據寫入數據異常類型對應的組裝模板進行消息組裝獲得數據處理消息,通過基于組裝模板進行消息組裝確保了數據處理消息的標準化和一致性,然后調用消息發送平臺接口將數據處理消息發送至檢測終端,若獲取到接口調用返回的針對異常數據的數據處理指令,根據數據處理指令的指令類型對異常數據進行數據處理,通過讓檢測終端可根據具體情況選擇合適的數據處理方式,提高了數據處理過程的可控性和靈活性,同時通過根據數據處理指令型對異常數據進行數據處理,確保了異常數據不會被直接丟棄,保留了數據的完整性。
28、本實施例提供的另一種異常數據處理方法,在異常數據處理過程中,獲取異常數據的數據處理消息并展示,以使檢測人員可看到異常數據的數據異常類型,并基于數據異常類型做出對應的數據處理決定,在數據處理消息配置的響應控件被觸發后生成數據處理指令,對生成的數據處理指令進行發送處理,以基于數據處理指令的指令類型對異常數據進行數據處理,通過基于檢測人員的操作生成對應的數據處理指令,提高了數據處理過程的靈活性和準確性,同時也提升了對異常數據的處理效率。
1.一種異常數據處理方法,其特征在于,所述方法包括:
2.根據權利要求1所述的異常數據處理方法,所述異常數據在進行數據檢測后獲得;
3.根據權利要求1所述的異常數據處理方法,所述根據所述數據處理指令的指令類型對所述異常數據進行數據處理,包括:
4.根據權利要求3所述的異常數據處理方法,所述數據處理消息配置有至少一個數據處理控件;所述數據處理指令在觸發所述數據處理控件后生成。
5.根據權利要求4所述的異常數據處理方法,所述基于所述數據處理指令對應的數據處理方式對所述異常數據進行數據處理,包括:
6.根據權利要求1所述的異常數據處理方法,所述數據處理消息配置有文本輸入控件;所述數據處理指令在識別基于所述文本輸入控件輸入的文本后生成。
7.根據權利要求6所述的異常數據處理方法,所述根據所述數據處理指令的指令類型對所述異常數據進行數據處理,包括:
8.根據權利要求6所述的異常數據處理方法,所述獲取到所述檢測終端基于所述指令確認控件提交的確認指令后根據所述數據處理指令對所述異常數據進行數據處理,包括:
9.根據權利要求1所述的異常數據處理方法,所述將所述異常數據寫入所述數據異常類型對應的組裝模板進行消息組裝獲得數據處理消息步驟執行之后,且所述調用消息發送平臺接口將所述數據處理消息發送至檢測終端步驟執行之前,還包括:
10.一種異常數據處理方法,其特征在于,所述方法包括:
11.根據權利要求10所述的異常數據處理方法,所述在所述數據處理消息配置的響應控件被觸發后生成數據處理指令,包括:
12.根據權利要求10所述的異常數據處理方法,所述在所述數據處理消息配置的響應控件被觸發后生成數據處理指令,包括:
13.根據權利要求12所述的異常數據處理方法,所述進行所述數據處理指令的發送處理步驟執行之后,還包括:
14.一種異常數據處理裝置,其特征在于,所述裝置包括:
15.一種異常數據處理裝置,其特征在于,所述裝置包括:
16.一種異常數據處理設備,其特征在于,包括存儲器和處理器,所述存儲器上存儲有計算機可執行指令,所述計算機可執行指令在上述處理器上運行時,能夠實現上述權利要求1-13任一項所述的方法的步驟。
17.一種計算機可讀存儲介質,該計算機可讀存儲介質中存儲有計算機可執行指令,其特征在于,所述計算機可執行指令在被處理器執行時,能夠實現上述權利要求1-13任一項所述的方法的步驟。
18.一種計算機程序產品,其特征在于,所述計算機程序產品包括異常數據處理程序,所述異常數據處理程序被處理器執行時,能夠實現上述權利要求1-13任一項所述的方法的步驟。