本發明涉及分散計算,特別涉及一種分散資源感知融合方法、裝置、介質、設備及產品。
背景技術:
1、分散計算是一種依托現代信息基礎設施與設備的計算范式,能夠根據實時網絡特征以自組織動態組網方式,將任務需求分散到空間位置分布的異構計算設備節點任務上,利用通信網絡路徑上的可用計算資源聯合優化計算成本和通信開銷,實現更高效率、更快速、更準確的任務處理。從技術起源看,分散計算的產生源于救援救災等任務需求,當災區現場遠離城市指揮中心時,會出現通信和計算資源有限,災區形式變化迅速、網絡連接不穩定等情況。
2、分散計算環境下單一異構計算設備感知范圍有限、感知能力較弱且各異構設備模型不同,需要將不同的異構設備融合至同一架構下合作,需要提出一種分散環境異構計算設備感知框架,讓具有不同感知算法的異構設備可以合作進行感知,在不犧牲單一設備感知能力的情況下,在邏輯上提升所有智能體的感知范圍和感知精度。
3、分散資源感知的目的是收集并整合來自不同異構數據源的計算資源信息,為分散資源調度與任務負載均衡分配模型提供關鍵的計算設備信息收集和維護功能。通過感知,單一異構計算設備可以了解每個計算設備的狀態、性能、負載等情況,從而根據需求進行任務的合理分配和調度。同時,需要建立統一的建模方法,將感知到的資源信息整合到統一的框架中,方便后續分析和處理。
技術實現思路
1、本發明的目的在于克服現有技術中的不足,提供一種分散資源感知融合方法、裝置、介質、設備及產品,能夠解決分散資源中信息碎片化和冗余問題,提高任務的處理效率。
2、為解決上述技術問題,本發明是采用下述技術方案實現的:
3、本發明提供一種分散資源感知融合方法,包括:
4、根據網絡異構計算設備的計算資源、存儲資源和通信資源進行資源建模,得到資源模型;
5、根據網絡可分任務的基本屬性、任務之間的依賴關系和任務的執行約束,利用有向無環圖進行任務建模,得到任務模型;
6、采用自底向上的分簇融合方法動態感知和調整所述資源模型中計算資源、存儲資源和通信資源的使用狀態,實現資源驅動的分散資源感知融合;
7、根據所述任務模型中的任務需求和所述資源模型中計算資源、存儲資源和通信資源的使用狀態,采用局部多跳融合方法在任務執行過程中動態感知資源,將感知到的資源進行融合,實現任務驅動的分散資源感知融合。
8、可選的,所述資源建模包括:
9、通過元組特征向量形式對每個異構計算設備的計算資源、存儲資源和通信資源進行資源表征,得到資源模型的元組定義,單個異構計算設備的資源表征為;
10、其中,表示頂點集,其中的頂點表示異構計算設備,表示邊集,邊表示兩兩異構計算設備之間的連接情況,表示異構計算設備處理任務的計算速度集合,表示異構計算設備能夠存儲的最大容量集合,表示異構計算設備的通信速度集合,表示第個異構計算設備,表示第個異構計算設備處理任務的計算速度,表示第個異構計算設備能夠存儲的最大容量,表示第個異構計算設備的通信速度。
11、可選的,所述任務建模包括:
12、(a1)根據網絡可分任務的基本屬性進行如下定義:
13、
14、其中,每個任務被劃分成有限個節點任務,表示程序的任務所存儲處理的數據量大小集合,表示程序的任務工作量集合,表示程序的任務所能接受的最大處理時間集合,表示程序的節點任務的數量,表示程序的第個節點任務所存儲處理的數據量大小,表示程序的第個節點任務的任務工作量,表示程序的第個節點任務所能接受的最大處理時間;
15、(b1)定義傳遞輸出數據量,表示相鄰的帶有順序依賴關系的節點任務之間的通信攜帶的數據信息;
16、(c1)使用有向無環圖dag對任務集合進行描述,每個任務包括若干節點任務,得到如下表達式;
17、
18、其中,表示任務圖,表示任務圖中有限個節點任務的集合,表示任務圖中有向邊的集合,表示程序的第個節點任務,表示程序中從第個節點任務到第個節點任務的有向邊,且節點任務為節點任務的父任務,節點任務的執行優先級大于節點任務;
19、綜合(a1)~(c1)中的定義和描述,得到任務模型的元組定義。
20、可選的,所述采用自底向上的分簇融合方法動態感知和調整所述資源模型中資源的使用狀態包括:
21、各異構計算設備通過定期廣播心跳包進行關聯,所述心跳包內包含各異構計算設備的資源表征;
22、根據各異構計算設備的感知范圍,將各異構計算設備分為若干簇;其中,簇內任意兩個異構計算設備的感知范圍存在重疊,彼此能夠相互感知;
23、對每個簇內的各異構計算設備的計算資源、存儲資源和通信資源,依據不同的權重進行綜合評分,將綜合評分得分值最高的異構計算設備作為該簇的簇頭設備;
24、生成或者更新所有簇的異構計算設備的資源鄰接表,直到所有異構計算設備均被感知,形成全局虛擬資源池;其中,資源鄰接表為一維數組,組內元素為當前異構計算設備可訪問的其他異構計算設備編號,表示當前異構計算設備可訪問的其他異構計算設備集合,簇頭設備的資源鄰接表保存該簇的全部異構計算設備的資源表征。
25、可選的,所述綜合評分通過如下公式計算:
26、
27、其中,表示第個異構計算設備的綜合評分得分值,表示計算資源所占的權重值,表示存儲資源所占的權重值,表示通信資源所占的權重值。
28、可選的,采用局部多跳融合方法在任務執行過程中動態感知資源,將感知到的資源進行融合,包括:
29、根據所述任務模型中的任務需求,判斷當前接收任務的異構計算設備的計算資源、存儲資源和通信資源是否滿足任務需求,滿足則直接處理;否則,觸發一跳感知范圍內的遞歸融合:
30、根據當前接收任務的異構計算設備的資源鄰接表,獲取當前接收任務的異構計算設備的一級感知設備;將當前接收任務的異構計算設備及當前接收任務的異構計算設備的一級感知設備的計算資源、存儲資源和通信資源進行一級融合,得到一級融合后資源;判斷一級融合后資源是否滿足任務需求,滿足則直接處理;否則,觸發二跳感知范圍內的遞歸融合:
31、根據當前接收任務的異構計算設備可訪問的其他異構計算設備的資源鄰接表,獲取當前接收任務的異構計算設備的二級感知設備;將當前接收任務的異構計算設備的二級感知設備的計算資源、存儲資源和通信資源,與一級融合后資源進行二級融合,得到二級融合后資源;判斷二級融合后資源是否滿足任務需求,滿足則直接處理;否則,將當前任務分配至資源模型中除當前接收任務的異構計算設備及其一級感知設備、二級感知設備外的任一異構計算設備;
32、重復上述步驟,直到任務完成,或資源模型中的所有異構計算設備均無法滿足任務需求,任務處理失敗。
33、第二方面,本發明提供一種分散資源感知融合裝置,包括:
34、資源建模模塊,用于:根據網絡異構計算設備的計算資源、存儲資源、通信資源進行資源建模,得到資源模型;
35、任務建模模塊,用于:根據網絡可分任務的基本屬性、任務之間的依賴關系和任務的執行約束,利用有向無環圖進行任務建模,得到任務模型;
36、資源驅動模塊,用于:采用自底向上的分簇融合方法動態感知和調整所述資源模型中計算資源、存儲資源和通信資源的使用狀態,實現資源驅動的分散資源感知融合;
37、任務驅動模塊,用于:根據所述任務模型中的任務需求和所述資源模型中計算資源、存儲資源和通信資源的使用狀態,采用局部多跳融合方法在任務執行過程中動態感知資源,將感知到的資源進行融合,實現任務驅動的分散資源感知融合。
38、第三方面,本發明提供一種計算機可讀存儲介質,其上存儲有計算機指令,該計算機指令被處理器執行時,實現第一方面中所述的分散資源感知融合方法的步驟。
39、第四方面,本發明提供一種計算機設備,包括:
40、存儲器,用于存儲計算機指令;
41、處理器,用于執行所述計算機指令以實現第一方面中所述的分散資源感知融合方法的步驟。
42、第五方面,本發明提供一種計算機程序產品,包括計算機指令,其特征在于,該計算機指令被處理器執行時實現第一方面中所述的分散資源感知融合方法的步驟。
43、與現有技術相比,本發明所達到的有益效果:
44、1.?本發明提供的分散資源感知融合方法,通過對設備資源和任務進行建模,使得相互獨立的資源和任務能夠進行關聯;當對任務進行分解分配時,只需要尋找滿足節點任務需求的資源向量即可,通過嵌入圖的形式能夠直觀了解資源狀態和任務分配情況;另外提出的基于資源和任務驅動的分散資源感知融合方法,能夠靈活地適應不同情況,在任務需求的情況下,資源驅動的感知融合方法能夠有效地管理計算設備的資源,構成虛擬資源池;當任務需求到達時,任務驅動的資源感知融合方法能夠對任務進行快速響應,滿足分散環境下任務對時延的高敏感性需求;
45、2.?本發明提供的分散資源感知融合裝置,通過設置資源建模模塊、任務建模模塊、資源驅動模塊和任務驅動模塊,共同實現分散資源的感知融合,能夠解決分散資源中信息碎片化和冗余問題,提高任務的處理效率,具有現實意義和良好的應用前景;
46、3.本發明提供的計算機可讀存儲介質、計算機裝置/設備/系統和計算機程序產品,可執行本發明提供的分散資源感知融合方法的步驟。