本發明屬于云計算與邊緣計算領域，具體涉及一種ceni網絡中面向深度學習負載的分布式系統性能測評方法。

背景技術：

1、隨著信息技術的不斷進步，分布式系統已經成為現代計算架構中的重要組成部分。分布式系統通過將計算任務分散到多個節點上進行處理，不僅提高了計算效率和系統的可擴展性，還增強了系統的容錯性和可靠性。如今，分布式系統廣泛應用于云計算、物聯網、大數據處理、邊緣計算等領域。這些系統涉及大量的計算節點和復雜的資源調度，因此對系統的性能和資源管理提出了更高的要求。

2、未來網絡試驗設施ceni是我國在通信與信息領域首個國家重大科技基礎設施，能夠為用戶提供低時延、低抖動、高通量、高可靠的網絡傳輸服務。ceni網絡通過部署全國范圍內的高性能網絡節點和光纖骨干鏈路，具備靈活的資源調度和先進的網絡虛擬化能力，能夠高效承載包括人工智能、深度學習、云計算、大數據分析等多類型的創新應用負載。基于ceni網絡，能夠實現跨地域、高通量分布式計算系統的構建，消除異地計算節點間的網絡傳輸瓶頸，顯著提升分布式應用的協同計算效率，為異地計算節點的連接、運作與擴展提供了關鍵的網絡支撐。

3、在分布式系統的開發和運維中，性能測試和負載測試是不可或缺的環節。然而，現有的負載測試技術存在一定的局限性，尤其是在面對現代復雜的分布式系統時。傳統的負載測評方法通常通過模擬大量用戶請求來評估系統的性能，但這些方法往往無法真實地反映系統在高并發、復雜數據傳輸和計算需求下的真實表現。例如，在需要處理大規模數據和進行復雜計算的場景下，傳統的負載測試往往無法提供足夠的測試深度和準確性，導致無法準確識別出系統中可能存在的瓶頸。

4、隨著深度學習技術的快速發展，深度學習模型在多個領域中展現了強大的應用能力，從圖像識別、語音處理到自然語言處理和推薦系統，深度學習已成為解決復雜問題的重要工具。深度學習模型的訓練和推理過程通常需要大量的計算資源，這些計算任務通常具有高并發、高數據傳輸和計算復雜的特點，對系統的計算與通信性能提出了很高的要求。

5、在云計算與邊緣計算等分布式系統中，容器化技術已經成為一種常用的部署方式。容器技術允許應用程序和其依賴的環境一起打包，保證在任何環境下都能一致地運行。容器鏡像通常包含應用程序本身以及所有必需的依賴和庫文件，這使得容器鏡像成為跨環境部署和運行應用的理想方式。然而，隨著分布式系統的規模不斷擴大，容器鏡像的分發問題也逐漸顯現出來。尤其在邊緣計算和大規模分布式系統中，容器鏡像的傳輸和分發往往受到網絡帶寬和存儲空間的限制，導致分發速度較慢，影響系統部署的效率。如何提高容器鏡像的分發效率，特別是在邊緣節點之間進行鏡像分發，成為了分布式系統中的一個重要技術挑戰。

6、此外，分布式系統中負載的變化通常是不可預測的，尤其在高負載、高并發的情況下，如何有效應對系統負載的波動成為了系統擴容的關鍵。傳統的擴容機制主要包括主動擴容和響應式擴容。主動擴容依賴于負載預測，根據歷史數據或趨勢預測負載的變化，提前增加計算資源。雖然這種方法可以保證系統在負載增加前進行資源準備，但其缺點在于預測不準確可能導致資源浪費。響應式擴容則是在負載實際達到一定閾值時，啟動擴容操作，由于擴容的反應時間較長，可能導致系統不能及時響應負載變化，性能出現波動等問題。

技術實現思路

1、本發明目的在于提出了一種ceni網絡中面向深度學習負載的分布式系統性能測評方法，根據用戶使用場景定制化深度學習測試進行，提供測試鏡像的高效壓縮與自動分發，以及漸變負載與突發性負載的自適應生成能力，并在系統基礎監控指標的基礎上，從任務完成情況、資源分配情況、負載均衡情況等多個維度，對分布式系統進行綜合評價。

2、實現本發明目的技術方案為：

3、一種ceni網絡中面向深度學習負載的分布式系統性能測評方法，包括以下步驟：

4、s1：設置深度學習模型文件，對深度學習模型文件進行解析，提取深度學習模型名稱和版本信息，并在云端選擇對應的深度學習模型，結合提取的深度學習模型名稱和版本信息構建鏡像；

5、s2：對鏡像進行動態刪減與層次壓縮，并將壓縮后的鏡像進行分布式分發；

6、s3：根據不同的測評需求，生成相應的負載；

7、s4：采集負載生成后的指標數據，基于指標數據對分布式系統性能進行綜合評估。

8、優選地，設置深度學習模型文件具體包括設置模型名稱、模型版本、運行輪次、單次處理樣本數量、樣本數據集、負載類型、周期時間、初始負載數量、負載遞增數量、突發負載數量、突發負載發生時間、總測試時間、節點數量。

9、優選地，所述負載的類型包括周期性負載，漸變負載和突發性負載；所述周期性負載是指在指定時間間隔重復運行相同數量的負載；所述漸變負載指在指定時間間隔重復運行逐漸增加數據量的負載；所述突發性負載指在限定時間間隔運行樣本數量和處理次數增加量均大于設定閾值的負載。

10、優選地，對鏡像進行動態刪減與層次壓縮的具體方法為：

11、對鏡像啟動一個臨時容器并實時監控臨時容器運行過程中文件的訪問情況；臨時容器運行結束后，將被訪問文件打包到新鏡像中；

12、將新鏡像中的所有鏡像層合并，將合并后的最終文件視圖作為新鏡像的唯一鏡像層；

13、將合并后的新鏡像劃分為可并行下載的邏輯分塊，并進行多點同步分發。

14、優選地，將合并后的新鏡像劃分為可并行下載的邏輯分塊，并進行多點同步分發的具體方法為：

15、在分布式系統節點上預先緩存鏡像層或數據塊；

16、當分布式系統節點間存在高速互聯鏈路時，讓已完成下載的節點向其他節點共享鏡像分塊。

17、優選地，根據不同的測評需求，生成相應的負載的具體方法為：

18、周期性負載生成：在分布式系統中設定計時器，啟動指定負載數量新的pod，并在新的pod中啟動容器，容器中運行有指定深度學習模型的測試負載，每當到達新的時間周期時，上一個周期未執行完成的負載不會停止運行，而是繼續執行，調度器將新啟動的指定負載數量pod分發至分布式系統節點；當分布式系統節點任務完成時，pod被銷毀，釋放所占用的計算資源，后續測試負載使用被釋放的計算資源；

19、漸變負載生成：在分布式系統中設定計時器，啟動指定初始負載數量新的pod，并在新的pod中啟動容器，容器中運行有指定深度學習模型的測試負載；每隔指定的時間周期，新啟動的深度學習模型的測試負載數量逐漸增加，且相比上個時間周期負載數量增加指定的遞增負載數量；與此同時，調度器根據節點資源占用情況選擇節點運行新增加的深度學習負載任務；

20、突發性負載生成：在分布式系統中設定計時器，啟動指定初始負載數量新的pod，并在新的pod中啟動容器，容器中運行有指定深度學習模型的測試負載。每隔指定的時間周期，發起指定初始負載數量新的pod；評測時間到達指定的突發負載發生時間，一次性發起指定突發負載數量的新的pod。

21、本發明與現有技術相比，其顯著優點為：

22、（1）本發明設計的深度學習負載部署及測試框架，能夠支持深度學習測試鏡像的高效壓縮與自動分發，以及漸變負載與突發性負載的自適應生成，突破了傳統分布式系統測試面臨的測試程序部署困難、測試測試請求形式單一的局限，具備很高的原創性。

23、（2）本發明提出的分布式系統性能綜合評價指標，能夠在系統基礎監控指標的基礎上，從任務完成情況、資源分配情況、負載均衡情況等多個維度，對分布式系統進行綜合評價，解決了單一評價指標在評判云邊混合分布式計算系統性能中的局限，具備很高的創新性。

24、（3）本發明采用的用戶可配置的定制化深度學習負載生成方法，支持用戶根據系統使用場景，對測試負載配置進行針對性調整與優化，顯著提升測試環境與生成環境的匹配度，并提供用戶自定義配置與系統默認配置相結合的方式，簡化了用戶配置難度具備很高的實用性。