本發明涉及數據處理，尤其涉及一種用于app產品的埋點數據處理方法、系統、設備及介質。

背景技術：

1、在當前的移動端應用開發過程中，埋點數據的收集與分析是評估產品性能、用戶行為以及優化產品體驗的重要手段。然而，現有的移動端app上報的埋點數據普遍存在一些問題，這些問題不僅影響了數據的質量，還大大增加了測試人員的工作負擔。

2、具體而言，現有的埋點數據通常是以非結構化的數據格式上報的，這些數據中包含了大量的冗余信息和原始噪音數據。這些冗余和噪音數據的存在，不僅增加了數據處理的難度，還可能導致數據分析結果的不準確。對于測試人員來說，如果通過傳統的抓包工具(如charles)進行裝包測試，需要花費大量的時間和精力來篩選和驗證有效的埋點數據，測試時間周期長且工作重復性高，測試內容繁瑣。

3、此外，由于埋點代碼通常是開發者在代碼中手動插入的，因此在產品版本迭代過程中，很容易因為代碼修改或新增功能而導致埋點出錯。這種錯誤不僅會影響數據的準確性，還可能誤導產品決策。因此，在每個版本迭代周期中，測試人員都需要花費一定的時間對埋點數據進行回歸測試，以確保新版本的埋點數據符合預期效果。然而，傳統的回歸測試方法不僅效率低下，還容易遺漏錯誤，無法滿足快速迭代的產品開發需求。

技術實現思路

1、本發明的目的在于提供一種用于app產品的埋點數據處理方法、系統、設備及介質，實現了埋點數據的全流程自動化采集、解析、驗證和展示，大幅提高了移動app埋點測試的效率和準確性，以解決上述現有技術問題的至少之一。

2、第一方面，本發明提供了一種用于app產品的埋點數據處理方法，所述方法具體包括：

3、根據中間人代理工具攔截app產品的所有網絡請求信息，并判斷每個網絡請求信息是否為埋點請求信息，若為埋點請求信息，則將埋點請求信息轉發至django服務器；

4、基于預設的數據清洗規則，根據django服務器對埋點請求信息進行結構化處理，獲得目標埋點數據；

5、基于websocket通信技術，將所述目標埋點數據轉發到前端頁面，并在前端頁面將所述目標埋點數據進行實時展示。

6、第二方面，本發明提供了一種用于app產品的埋點數據處理系統，所述系統具體包括：

7、第一處理模塊，用于根據中間人代理工具攔截app產品的所有網絡請求信息，并判斷每個網絡請求信息是否為埋點請求信息，若為埋點請求信息，則將埋點請求信息轉發至django服務器；

8、第二處理模塊，用于基于預設的數據清洗規則，根據django服務器對埋點請求信息進行結構化處理，獲得目標埋點數據；

9、第三處理模塊，用于基于websocket通信技術，將所述目標埋點數據轉發到前端頁面，并在前端頁面將所述目標埋點數據進行實時展示。

10、第三方面，本發明提供了一種計算機設備，包括：存儲器和處理器及存儲在存儲器上的計算機程序，當所述計算機程序在處理器上被執行時，實現如上述方法中任一項所述的用于app產品的埋點數據處理方法。

11、第四方面，本發明提供了一種計算機可讀存儲介質，其上存儲有計算機程序，所述計算機程序被處理器運行時，實現如上述方法中任一項所述的用于app產品的埋點數據處理方法。

12、與現有技術相比，本發明具有以下技術效果的至少之一：

13、1、本發明實現了埋點數據的全流程自動化采集、解析、驗證和展示，大幅提高了移動app埋點測試的效率和準確性。

14、2、本發明通過中間人代理工具攔截并篩選埋點請求信息，有效避免了非埋點數據的干擾，提高了數據處理的針對性和效率。

15、3、本發明將篩選出的埋點請求信息轉發至django服務器進行進一步處理，實現了數據的集中管理和高效利用。

16、4、本發明基于websocket通信技術將處理后的目標埋點數據實時轉發到前端頁面，使得相關人員能夠實時監控數據變化，及時做出響應。

17、5、本發明通過預設的埋點請求特征規則(包括url特征、請求頻率特征和來源ip特征)準確判斷網絡請求信息是否為埋點請求，并使用ssl加密通道傳輸埋點請求信息，提高了判斷的準確性和可靠性，確保了數據傳輸的安全性，防止了數據泄露和篡改。

18、6、本發明采用正則表達式匹配并去除冗余參數，根據高斯分布噪音數據模型對第一埋點數據進行噪音過濾，通過預設的映射規則提取關鍵參數并形成目標埋點數據，有效減少了數據的冗余度，提高了數據的可用性和準確性，使得數據更加結構化、易于分析和利用。

19、7、本發明根據樸素貝葉斯分類模型對目標埋點數據進行業務類別分類，采用k-means聚類算法對用戶屬性特征進行聚類分析，在前端頁面通過可視化組件實時展示展示埋點數據，使得數據更加有序和易于理解，有助于發現用戶群體的特征和需求，為產品優化提供有力支持，相關人員能夠直觀地了解數據變化和業務趨勢。

20、8、本發明對目標埋點數據進行標注和分類處理，基于角色的訪問控制模型動態調整訪問范圍，確保了數據的安全性和合規性，同時滿足了不同人員對數據的需求。

21、9、本發明通過k-means聚類算法優化回歸測試用例，減少了冗余和重復測試，提高了測試效率和質量。

22、10、本發明采用appium自動化測試工具執行回歸測試，確保了新版本的目標埋點數據符合預期效果，降低了產品發布的風險。

23、11、本發明基于預設的埋點數據校驗規則對解碼參數值進行正確性校驗，對校驗效果進行統計分析，并設定校驗失敗率閾值觸發異常告警，有助于及時發現和解決問題，確保數據的穩定性和可靠性。

技術特征：

1.一種用于app產品的埋點數據處理方法，其特征在于，所述方法具體包括：

2.根據權利要求1所述的方法，其特征在于，所述判斷每個網絡請求信息是否為埋點請求信息，若為埋點請求信息，則將埋點請求信息轉發至django服務器，具體包括：

3.根據權利要求1所述的方法，其特征在于，所述基于預設的數據清洗規則，根據django服務器對埋點請求信息進行結構化處理，獲得目標埋點數據，具體包括：

4.根據權利要求1所述的方法，其特征在于，所述在前端頁面將所述目標埋點數據進行實時展示，具體包括：

5.根據權利要求1至4中任一項所述的方法，其特征在于，所述方法還包括：

6.根據權利要求1至4中任一項所述的方法，其特征在于，所述方法還包括：

7.根據權利要求1至4中任一項所述的方法，其特征在于，所述方法還包括：

8.一種用于app產品的埋點數據處理系統，其特征在于，所述系統具體包括：

9.一種計算機設備，其特征在于，包括：存儲器和處理器及存儲在存儲器上的計算機程序，當所述計算機程序在處理器上被執行時，實現如權利要求1至7中任一項所述的用于app產品的埋點數據處理方法。

10.一種計算機可讀存儲介質，其特征在于，其上存儲有計算機程序，所述計算機程序被處理器運行時，實現如權利要求1至7中任一項所述的用于app產品的埋點數據處理方法。

技術總結
本發明公開了一種用于APP產品的埋點數據處理方法、系統、設備及介質，所述方法具體包括：根據中間人代理工具攔截APP產品的所有網絡請求信息，并判斷每個網絡請求信息是否為埋點請求信息，若為埋點請求信息，則將埋點請求信息轉發至Django服務器；基于預設的數據清洗規則，根據Django服務器對埋點請求信息進行結構化處理，獲得目標埋點數據；基于websocket通信技術，將所述目標埋點數據轉發到前端頁面，并在前端頁面將所述目標埋點數據進行實時展示。本發明實現了埋點數據的全流程自動化采集、解析、驗證和展示，大幅提高了移動App埋點測試的效率和準確性。

技術研發人員：鄭武高,盧燕君
受保護的技術使用者：廣州盈風網絡科技有限公司
技術研發日：
技術公布日：2025/4/24