本發明涉及rpa工作流領域,尤其涉及一種用于rpa工作流中分布式跟蹤系統的尾部采樣方法。
背景技術:
1、隨著企業數字化轉型的深入,機器人流程自動化?(rpa)?技術得到了廣泛應用。rpa技術通過模擬鼠標點擊、鍵盤輸入和數據處理等人類操作來執行業務流程,能夠顯著提高業務流程的自動化程度和執行效率。rpa?技術的應用場景廣泛,涵蓋了數據錄入、文檔處理、信息提取、客戶服務、財務報表生成等多個領域,能夠使得員工從重復繁瑣的工作中解放出來,使他們能夠將更多時間和精力投入到創造性和戰略性工作中,促進企業的創新和發展。
2、在復雜的rpa系統中,利用分布式跟蹤系統,運維人員能夠對系統中的請求進行監控與分析,更好的理解和診斷系統中的性能瓶頸和故障點。然而,隨著rpa系統規模的擴大,分布式跟蹤系統會產生海量的跟蹤數據,這帶來了高昂的存儲成本。另外,這些數據中還可能包含大量重復冗余的跟蹤。如何有效的降低跟蹤數據的存儲開銷,成為一個重要的研究課題。
3、生產環境中通常選擇對跟蹤數據進行采樣,僅僅保留全部跟蹤數據的一個較小子集,從而緩解存儲壓力。然而,由于跟蹤數據存在明顯的長尾分布,部分常見類型的跟蹤占據了其中的絕大多數,而部分少見或異常的跟蹤出現的頻率極低,但對于開發和運維人員來說,這些少見的跟蹤往往更具價值,能夠幫助他們更好地理解系統運行中的邊緣案例,在異常檢測、根因定位等下游任務中能夠發揮重要作用。如果僅僅隨機的對跟蹤數據進行采樣(即頭部采樣),難以實現對低頻出現的跟蹤的覆蓋,這可能會使得采樣結果中少見的異常跟蹤被遺漏,而保留了大量重復冗余的跟蹤,從而導致系統的可觀測性降低。
4、因此,設計一種用于rpa工作流中分布式跟蹤系統的尾部采樣方法變得十分重要。這樣方法能夠實時地根據跟蹤數據的調用結構、延時、狀態碼等特征來執行采樣決策的尾部采樣方法,有針對性的保留重要的、有價值的跟蹤,減少冗余跟蹤的數量,從而優化跟蹤數據的收集質量。
5、現有的方法雖然能在一定程度上減少采樣結果中冗余跟蹤的數量、提高跟蹤的多樣性,但對于跟蹤的表征通常不準確,僅僅考慮調用關系而忽略了延時、狀態碼等屬性,對跟蹤的特征信息的利用存在遺漏。此外,異常跟蹤能夠收集產生錯誤結果或是存在性能瓶頸的請求信息,對于運維人員進行根因定位和異常檢測具有重要作用,而現有方法對于異常的跟蹤并不敏感,異常跟蹤往往會被遺漏。
技術實現思路
1、為了解決rpa系統中工作流日志數量龐大、存儲成本高以及質量不高等問題,本發明提出一種用于rpa工作流中分布式跟蹤系統的尾部采樣方法,
2、本發明提供了一種用于rpa工作流中分布式跟蹤系統的尾部采樣方法,主要包括:
3、s1:收集分布式跟蹤系統產生的跟蹤,利用變分圖自動編碼器模型對跟蹤數據進行無監督表征學習,并保存預訓練的變分圖自動編碼器模型;其中,每條數據代表請求在rpa工作流系統中的執行情況,由節點信息、父節點信息和操作執行時間組成;
4、s2:將跟蹤數據編碼成鄰接矩陣形式的圖結構數據,基于變分圖自動編碼器模型的編碼器,獲取特征向量;
5、s3:基于變分圖自動編碼器模型的解碼器,獲得重構損失,對跟蹤數據進行異常檢測,采樣所有異常跟蹤;
6、s4:采用聚類方法將正常跟蹤進行歸類并偏好采樣;
7、s5:結合異常跟蹤和正常跟蹤的采樣結果,形成最終的采樣數據集。
8、一種存儲設備,所述存儲設備存儲指令及數據用于實現一種用于rpa工作流中分布式跟蹤系統的尾部采樣方法。
9、一種用于rpa工作流中分布式跟蹤系統的尾部采樣設備,包括:處理器及存儲設備;所述處理器加載并執行所述存儲設備中的指令及數據用于實現一種用于rpa工作流中分布式跟蹤系統的尾部采樣方法。
10、本發明提供的技術方案帶來的有益效果是:本發明通過基于變分圖自動編碼器模型的表征學習提取跟蹤數據的特征,利用重構損失進行異常檢測,確保異常跟蹤全部保留,并通過聚類與特征偏好采樣策略對正常跟蹤數據進行有偏采樣,在降低海量跟蹤數據存儲成本的同時,提高采樣器對異常跟蹤的敏感性,并保證采樣結果的多樣性和可觀測性。
1.一種用于rpa工作流中分布式跟蹤系統的尾部采樣方法,其特征在于:包括:
2.如權利要求1所述的用于rpa工作流中分布式跟蹤系統的尾部采樣方法,其特征在于:步驟s1具體為:
3.如權利要求2所述的用于rpa工作流中分布式跟蹤系統的尾部采樣方法,其特征在于:變分圖自動編碼器模型使用變分下界作為損失函數:
4.如權利要求1所述的用于rpa工作流中分布式跟蹤系統的尾部采樣方法,其特征在于:步驟s2具體為:
5.如權利要求4所述的用于rpa工作流中分布式跟蹤系統的尾部采樣方法,其特征在于:步驟s3具體為:
6.如權利要求5所述的用于rpa工作流中分布式跟蹤系統的尾部采樣方法,其特征在于:步驟s4具體為:
7.一種存儲設備,其特征在于:所述存儲設備存儲指令及數據用于實現權利要求1~6任一項所述的用于rpa工作流中分布式跟蹤系統的尾部采樣方法。
8.一種用于rpa工作流中分布式跟蹤系統的尾部采樣設備,其特征在于:包括:處理器及存儲設備;所述處理器加載并執行所述存儲設備中的指令及數據用于實現權利要求1~6任一項所述的用于rpa工作流中分布式跟蹤系統的尾部采樣方法。