本發明涉及算力資源調度,尤其涉及一種算力資源協同調度系統及方法。
背景技術:
1、通過在不同的計算單元之間合理分配和調度算力資源,能夠最大化計算效率、降低成本和提高資源利用率,對算力資源進行協同調度廣泛應用于云計算、邊緣計算、大數據處理和人工智能訓練等領域。
2、但是,在算力資源協同調度的過程中,必然會產生一定的調度開銷,調度開銷指的是為了完成資源分配和調度任務所消耗的計算資源、時間資源和網絡資源等,其中調度開銷包括但不限于調度所花費的時間、通信延遲,以及執行調度算法所需的資源占用等;過于復雜的調度方式雖然能夠很好的均衡每個計算單元的負載,但是容易產生較大的調度開銷;因此,“如何在均衡負載的同時,減少調度開銷”是本發明所需要解決的技術問題。
技術實現思路
1、本發明的目的在于提供一種算力資源協同調度系統及方法,以解決上述背景技術中提出“如何在均衡負載的同時,減少調度開銷”的問題。
2、為實現上述目的,本發明提供如下技術方案:
3、一種算力資源協同調度方法,所述方法包括:
4、s100:查找出算力單元,獲取所述算力單元的使用情況,并定義出負載,配置出每個所述算力單元的理論算力指標,創建與所述算力單元一一對應的數塊,并將所述負載上傳到對應的數塊中,計算出每個數塊的剩余算力資源;
5、s200:按照所述剩余算力資源由大到小的順序,對所有的數塊進行排序,得到可用隊列,并嵌入彈出機制;
6、s300:采集計算任務的資源需求,設置任務編號,在可用隊列中,查找出所述剩余算力資源大于資源需求的數塊,并定義為可用塊,其中所述可用塊的數量至少為一個,將所述可用塊聚類為若干個負載等級,其中所述負載等級包括:高負載等級和低負載等級,配置出每個所述負載等級所對應的權重值,其中高負載等級權重值為1,低負載等級權重為0;
7、s400:統計出所述可用塊的數量,利用所述任務編號對所述數量進行取模,得到余數,查找余數所對應的可用塊,并利用對應的權重值進行偏移,得到目標塊,激活所述彈出機制,并將計算任務上傳到被彈出的目標塊中,調整所述可用隊列的排序,并將目標塊重新推入到可用隊列中。
8、進一步的,所述s100包括:
9、對所述負載進行切分,得到若干個利用率指標,將所述利用率指標大于閾值的算力單元定義為滿載單元;
10、從所述滿載單元中,選取出可調度任務,并將所述可調度任務遷移到可用隊列中排序前列的數塊中。
11、進一步的,所述s100還包括:
12、構建所述算力單元與數塊之間的對應關系,并基于所述負載,對所述數塊進行實時更新;
13、查找出所述算力單元的屬性,經由所述對應關系,向數塊中插入由屬性生成的標簽。
14、進一步的,所述s200中的彈出機制為:當接收到所述計算任務后,從可用隊列中,選取出目標塊,并將所述目標塊從可用隊列中彈出。
15、進一步的,所述s300包括:
16、確定每個計算任務的優先級,并設置優先系數;
17、將所述優先系數大于設定值的計算任務定義為關鍵任務,將所述關鍵任務上傳到可用隊列中排序前列的數塊內。
18、進一步的,所述s300還包括:
19、確定出所述權重值的影響因素,并利用所述影響因素,對權重值進行調整,其中所述影響因素至少包括:計算任務的依賴關系和算力單元的健康度;
20、鏈接所述高負載等級和低負載等級,構建負載均衡機制,并將所述負載均衡機制嵌入到可用隊列中。
21、進一步的,所述s400包括:
22、獲取邊緣設備的使用權限,當所述數量小于閾值時,經由所述使用權限,將所述計算任務上傳到邊緣設備中;
23、向所述邊緣設備中集成任務回滾策略。
24、進一步的,所述系統包括:
25、計算模塊,用于查找出算力單元,獲取所述算力單元的使用情況,并定義出負載,配置出每個所述算力單元的理論算力指標,創建與所述算力單元一一對應的數塊,并將所述負載上傳到對應的數塊中,計算出每個數塊的剩余算力資源;
26、嵌入模塊,用于按照所述剩余算力資源由大到小的順序,對所有的數塊進行排序,得到可用隊列,并嵌入彈出機制;
27、配置模塊,用于采集計算任務的資源需求,設置任務編號,在可用隊列中,查找出所述剩余算力資源大于資源需求的數塊,并定義為可用塊,其中所述可用塊的數量至少為一個,將所述可用塊聚類為若干個負載等級,其中所述負載等級包括:高負載等級和低負載等級,配置出每個所述負載等級所對應的權重值,其中高負載等級權重值為1,低負載等級權重為0;
28、推入模塊,用于統計出所述可用塊的數量,利用所述任務編號對所述數量進行取模,得到余數,查找余數所對應的可用塊,并利用對應的權重值進行偏移,得到目標塊,激活所述彈出機制,并將計算任務上傳到被彈出的目標塊中,調整所述可用隊列的排序,并將目標塊重新推入到可用隊列中。
29、進一步的,所述計算模塊包括:
30、定義單元,用于對所述負載進行切分,得到若干個利用率指標,將所述利用率指標大于閾值的算力單元定義為滿載單元;
31、遷移單元,用于從所述滿載單元中,選取出可調度任務,并將所述可調度任務遷移到可用隊列中排序前列的數塊中;
32、更新單元,用于構建所述算力單元與數塊之間的對應關系,并基于所述負載,對所述數塊進行實時更新;
33、生成單元,用于查找出所述算力單元的屬性,經由所述對應關系,向數塊中插入由屬性生成的標簽。
34、進一步的,所述配置模塊包括:
35、設置單元,用于確定每個計算任務的優先級,并設置優先系數;
36、上傳單元,用于將所述優先系數大于設定值的計算任務定義為關鍵任務,將所述關鍵任務上傳到可用隊列中排序前列的數塊內;
37、調整單元,用于確定出所述權重值的影響因素,并利用所述影響因素,對權重值進行調整,其中所述影響因素至少包括:計算任務的依賴關系和算力單元的健康度;
38、均衡單元,用于鏈接所述高負載等級和低負載等級,構建負載均衡機制,并將所述負載均衡機制嵌入到可用隊列中。
39、與現有技術相比,本發明的有益效果是:
40、通過確定剩余算力資源,能夠實現對算力資源的動態調度,同時避免算力單元過載,提升整體算力單元的計算效率,通過創建可用隊列,能夠在執行計算任務前,快速查找出可用塊,大大減少調度計算時間,提高計算任務的分配效率,同時降低調度開銷,通過設置權重值,能夠對負載進行均衡,充分適應資源需求的動態變化,大大提高計算任務的處理效率,通過設置彈出機制,能夠快速確定出目標塊,進一步縮短任務執行時間,減少調度開銷,大大提高算力單元的處理效率。
1.一種算力資源協同調度方法,其特征在于,所述方法包括:
2.根據權利要求1所述的算力資源協同調度方法,其特征在于,所述s100包括:
3.根據權利要求1所述的算力資源協同調度方法,其特征在于,所述s100還包括:
4.根據權利要求1所述的算力資源協同調度方法,其特征在于,所述s200中的彈出機制為:當接收到所述計算任務后,從可用隊列中,選取出目標塊,并將所述目標塊從可用隊列中彈出。
5.根據權利要求4所述的算力資源協同調度方法,其特征在于,所述s300包括:
6.根據權利要求1所述的算力資源協同調度方法,其特征在于,所述s300還包括:
7.根據權利要求1所述的算力資源協同調度方法,其特征在于,所述s400包括:
8.一種算力資源協同調度系統,其特征在于,所述系統包括:
9.根據權利要求8所述的算力資源協同調度系統,其特征在于,所述計算模塊包括:
10.根據權利要求8所述的算力資源協同調度系統,其特征在于,所述配置模塊包括: