本發明涉及數據安全,尤其涉及一種基于數據業務流程的安全監控實現方法及系統。
背景技術:
1、隨著信息化系統的發展。在各行各業的業務處理過程中,數據不斷匯聚,大型的數據中心不斷被建設起來。在業務規模不斷增大、數據處理規模逐漸龐大、數據處理鏈路不斷變長、以及業務頻繁變更的情況下,數據處理鏈路也變得越來越復雜。
2、面對上述情況,如何在數據匯聚、治理、共享、開放的龐大數據處置鏈路中,快速發現故障的位置。并讓系統能夠自動跟蹤該故障的責任主體。是首要問題。
3、針對上述問題,現階段在數據鏈路發生問題后,往往通過手工的方式進行日志追溯,或者查看接口傳參以及埋點日志尋找問題的根源,這樣一方面會帶來較大的工作量,也不容易發現問題的根源。
技術實現思路
1、針對現有技術中存在的問題,本發明實施例提供一種基于數據業務流程的安全監控實現方法及系統。
2、本發明實施例提供一種基于數據業務流程的安全監控實現方法,所述方法包括:
3、采集業務處理的系統數據,基于所述系統數據設定系統性能指標,生成所述系統性能指標對應的業務規則庫;
4、對所述業務處理涉及的業務流轉節點進行埋點,通過所述業務規則庫對埋點日志進行數據解析,確定所述埋點日志中的關鍵屬性,并生成所述關鍵屬性對應的動態閾值,對所述業務規則庫進行更新;
5、通過更新后的業務規則庫對所述埋點日志進行篩選,對不符合規則的數據進行故障標志,并設定所述故障標志的復檢周期與告警機制;
6、構建所述埋點日志的調用鏈,并基于所述調用鏈生成對應的圖形化展示結果。
7、在其中一個實施例中,所述方法還包括:
8、所述業務流轉節點進行埋點時,增加事件模型,所述事件模型包括權限認證及日志記錄事項;
9、所述權限認證包括配置自定義用戶、建立權限service業務層、用戶授權、查詢驗證。
10、在其中一個實施例中,所述方法還包括:
11、所述事件模型包括用戶類模型和事件類模型;
12、所述用戶類模型記錄當前用戶屬性以及用戶權限,對所述用戶權限進行驗證,并將所述驗證結果記錄于對應的埋點日志中;
13、所述事件類模型統計所述系統數據的各項性能指標,并記錄于埋點日志中。
14、在其中一個實施例中,所述方法還包括:
15、接口調用量、接口耗時、異常狀態、服務器連接狀態以及權限校驗失敗率。
16、在其中一個實施例中,所述方法還包括:
17、記錄所述埋點日志時,收集traceid以及span,將所述traceid下的span按時間順序排列,形成時間軸,結合每個span之間的父子關系,構建所述埋點日志的調用鏈。
18、在其中一個實施例中,所述方法還包括:
19、接口調用耗時、接口服務器連接狀態位、接口調用狀態位、接口當日調用量、數據庫訪問異常狀態位、權限校驗次數、數據交換量以及服務器連接狀態。
20、本發明實施例提供一種基于數據業務流程的安全監控實現系統,所述系統包括:
21、規則模塊,用于采集業務處理的系統數據,基于所述系統數據設定系統性能指標,生成所述系統性能指標對應的業務規則庫;
22、埋點模塊,用于對所述業務處理涉及的業務流轉節點進行埋點,通過所述業務規則庫對埋點日志進行數據解析,確定所述埋點日志中的關鍵屬性,并生成所述關鍵屬性對應的動態閾值,對所述業務規則庫進行更新;
23、故障模塊,用于通過更新后的業務規則庫對所述埋點日志進行篩選,對不符合規則的數據進行故障標志,并設定所述故障標志的復檢周期與告警機制;
24、展示模塊,用于構建所述埋點日志的調用鏈,并基于所述調用鏈生成對應的圖形化展示結果。
25、在其中一個實施例中,所述系統還包括:
26、調用鏈模塊,用于記錄所述埋點日志時,收集traceid以及span,將所述traceid下的span按時間順序排列,形成時間軸,結合每個span之間的父子關系,構建所述埋點日志的調用鏈。
27、本發明實施例提供一種電子設備,包括處理器以及存儲器;
28、所述處理器與所述存儲器相連;
29、所述存儲器,用于存儲可執行程序代碼;
30、所述處理器通過讀取所述存儲器中存儲的可執行程序代碼來運行與所述可執行程序代碼對應的程序,以用于執行一個或多個實施例所述的方法。
31、本發明實施例提供一種非暫態計算機可讀存儲介質,其上存儲有計算機程序,該計算機程序被處理器執行時實現上述基于數據業務流程的安全監控實現方法的步驟。
32、鑒于上述,在本說明書一個或多個實施例中,采集業務處理的系統數據,基于系統數據設定系統性能指標,生成系統性能指標對應的業務規則庫;對業務處理涉及的業務流轉節點進行埋點,通過業務規則庫對埋點日志進行數據解析,確定埋點日志中的關鍵屬性,并生成關鍵屬性對應的動態閾值,對業務規則庫進行更新;通過更新后的業務規則庫對埋點日志進行篩選,對不符合規則的數據進行故障標志,并設定故障標志的復檢周期與告警機制;構建埋點日志的調用鏈,并基于調用鏈生成對應的圖形化展示結果。這樣能夠通過監控指標構建規則庫,結合埋點監控和日志解析的預警方式,快速發現當前數據鏈路故障并向相關責任人發出預警,大大提升了數據處理全鏈路的安全性和穩定性。
1.一種基于數據業務流程的安全監控實現方法,所述方法包括:
2.根據權利要求1所述的方法,其特征在于,所述對所述業務處理涉及的業務流轉節點進行埋點,包括:
3.根據權利要求2所述的方法,其特征在于,所述方法還包括:
4.根據權利要求1所述的方法,其特征在于,所述關鍵屬性,包括:
5.根據權利要求1所述的方法,其特征在于,所述構建所述埋點日志的調用鏈,包括:
6.根據權利要求1所述的方法,其特征在于,所述系統性能指標,包括:
7.一種基于數據業務流程的安全監控實現系統,其特征在于,所述系統包括;
8.根據權利要求7所述的系統,其特征在于,所述系統還包括:
9.一種電子設備,包括處理器以及存儲器;
10.一種計算機可讀存儲介質,其上存儲有計算機程序,所述計算機程序被處理器執行時實現如權利要求1-6中任一項所述的方法。