本發明涉及分布式存儲,具體為一種無人機分布式集群的數據分級存儲方法。
背景技術:
1、無人機分布式集群的應用中,如災害監測、物流配送和智慧城市管理等場景,海量數據的高效存儲與快速響應是提升系統性能的重要需求。無人機作為分布式存儲節點,具有動態性、分散性和存儲資源有限等特點,這些特性使得在動態任務需求和復雜網絡環境下,如何高效利用存儲資源成為一個重要的研究方向。
2、傳統的分布式存儲方法主要包括靜態分布存儲、集中式存儲優化和任務無關的均衡分布等策略。靜態分布存儲方法通過預定義的策略進行存儲資源分配,但在面對實時變化的任務需求時,其表現出適應性不足,容易導致存儲資源分布不均。集中式存儲優化通過統一調度存儲資源實現全局優化,但在分布式環境下,集中控制的高通信代價和潛在單點故障問題影響了該方法的可靠性。另一方面,任務無關的均衡分布策略試圖提升系統的存儲利用率,但在任務數據優先級方面考慮不足,容易引發高優先級任務響應延遲。
3、無人機分布式集群的數據存儲面臨多樣化的任務需求,例如實時任務與歷史任務對存儲資源的需求差異明顯。高優先級任務如實時視頻數據存儲通常需要較高的響應速度和可靠性,而低優先級任務如歷史數據存儲則可以適當延遲。此外,無人機節點間的通信條件,如帶寬和延遲,會隨著任務執行位置和環境變化產生波動,這進一步增加了數據遷移和存儲調整的復雜性。在此基礎上,如何高效分配和動態調整有限的存儲資源顯得尤為重要。
技術實現思路
1、針對現有技術的不足,本發明提供了一種無人機分布式集群的數據分級存儲方法,解決無人機分布式集群中存儲資源動態分配與優化的問題。
2、為實現以上目的,本發明通過以下技術方案予以實現:一種無人機分布式集群的數據分級存儲方法,包括以下步驟:
3、s1.初始化系統存儲參數,包括無人機存儲節點的容量、已用存儲量和優先級數據分布;
4、s2.采集無人機集群中的實時數據,包括節點的存儲利用率、任務數據的優先級、節點間通信條件;
5、s3.基于采集的數據計算當前系統的存儲分布均衡性;
6、s4.構建以存儲均衡性和數據遷移代價為目標的優化函數;
7、s5.通過強化學習算法生成存儲調整策略;
8、s6.根據存儲調整策略執行數據遷移,優化存儲分布;
9、s7.更新存儲狀態,并根據更新后的狀態繼續優化,形成閉環流程。
10、優選的,所述初始化系統存儲參數的步驟包括:
11、s11.確定每個存儲節點的總存儲容量和當前已用存儲量;
12、s12.將任務數據按優先級劃分為多個類別,并為每個優先級分配權重,用以表示不同優先級數據對系統的影響程度。
13、優選的,所述采集無人機集群中的實時數據的步驟包括:
14、s21.獲取每個存儲節點的存儲利用率;
15、s22.監測各節點存儲的不同優先級任務數據的分布比例;
16、s23.監控節點間的通信條件,包括通信延遲和傳輸代價。
17、優選的,所述存儲分布均衡性的計算通過對各節點不同優先級數據占比的加權處理獲得,用以量化當前存儲資源的分布狀態,并反映系統的均衡程度。
18、優選的,所述優化函數以存儲分布均衡性為基礎,同時考慮數據遷移的代價,所述數據遷移代價由遷移數據量和節點間通信代價的加權結果表示。
19、優選的,所述強化學習算法為深度q學習算法,該算法通過對當前存儲狀態、調整動作和系統反饋的獎勵值進行學習和迭代優化,以生成最優的存儲調整策略。
20、優選的,獎勵值基于存儲分布均衡性和遷移代價計算,存儲分布均衡性對獎勵值的正向影響隨系統的均衡程度提高而增大,遷移代價對獎勵值的負向影響隨遷移成本增加而增大。
21、優選的,所述數據遷移包括以下步驟:
22、s61.確定需遷移的數據量及其目標節點;
23、s62.對大數據量文件采用壓縮處理以減少傳輸開銷;
24、s63.使用斷點續傳機制確保數據遷移過程的完整性。
25、優選的,所述存儲狀態的更新包括:
26、s71.更新存儲節點的存儲利用率和任務數據的分布狀態;
27、s72.重新計算系統的存儲分布均衡性,并將新狀態作為下一輪優化的輸入。
28、優選的,所述方法通過閉環流程實現優化,所述閉環流程包括采集系統實時狀態、評估存儲均衡性、優化存儲調整策略、執行數據遷移和更新存儲狀態,以逐步提升系統的存儲資源利用效率和任務優先級匹配能力。
29、本發明提供了一種無人機分布式集群的數據分級存儲方法。具備以下有益效果:
30、1、本發明通過引入分布熵理論,量化系統存儲資源的均衡性,并結合強化學習算法動態調整存儲分布。相比傳統靜態分布方式,本發明能夠實時適應任務需求和存儲節點狀態的變化,在復雜動態環境中有效提升存儲資源利用率,確保任務數據的高效存儲和訪問。
31、2、本發明通過優先級權重的引入,在優化過程中優先考慮高優先級任務的數據存儲需求,確保關鍵任務數據被優先分配到低延遲、高可靠性的存儲節點。該機制顯著提升了系統對緊急任務和高優先級任務的響應能力,增強了整體任務執行的可靠性。
32、3、本發明通過優化目標函數,在保持存儲均衡性的同時,將數據遷移代價最小化。具體優化了遷移數據量和傳輸路徑,減少了通信帶寬的占用和傳輸時間。此外,通過壓縮技術和斷點續傳機制,進一步降低了大數據量傳輸的通信成本和能耗。
33、4、本發明基于強化學習構建了閉環優化流程,能夠自主學習和調整存儲策略,在任務需求、網絡狀態或節點存儲負載發生變化時,快速適應新的系統環境。相比依賴人工干預的傳統方法,本發明顯著提升了系統的智能化水平和運行效率。
1.一種無人機分布式集群的數據分級存儲方法,其特征在于,包括以下步驟:
2.根據權利要求1所述的一種無人機分布式集群的數據分級存儲方法,其特征在于,所述初始化系統存儲參數的步驟包括:
3.根據權利要求1所述的一種無人機分布式集群的數據分級存儲方法,其特征在于,所述采集無人機集群中的實時數據的步驟包括:
4.根據權利要求1所述的一種無人機分布式集群的數據分級存儲方法,其特征在于,所述存儲分布均衡性的計算通過對各節點不同優先級數據占比的加權處理獲得,用以量化當前存儲資源的分布狀態,并反映系統的均衡程度。
5.根據權利要求1所述的一種無人機分布式集群的數據分級存儲方法,其特征在于,所述優化函數以存儲分布均衡性為基礎,同時考慮數據遷移的代價,所述數據遷移代價由遷移數據量和節點間通信代價的加權結果表示。
6.根據權利要求1所述的一種無人機分布式集群的數據分級存儲方法,其特征在于,所述強化學習算法為深度q學習算法,該算法通過對當前存儲狀態、調整動作和系統反饋的獎勵值進行學習和迭代優化,以生成最優的存儲調整策略。
7.根據權利要求1所述的一種無人機分布式集群的數據分級存儲方法,其特征在于,獎勵值基于存儲分布均衡性和遷移代價計算,存儲分布均衡性對獎勵值的正向影響隨系統的均衡程度提高而增大,遷移代價對獎勵值的負向影響隨遷移成本增加而增大。
8.根據權利要求1所述的一種無人機分布式集群的數據分級存儲方法,其特征在于,所述數據遷移包括以下步驟:
9.根據權利要求1所述的一種無人機分布式集群的數據分級存儲方法,其特征在于,所述存儲狀態的更新包括:
10.根據權利要求1所述的一種無人機分布式集群的數據分級存儲方法,其特征在于,所述方法通過閉環流程實現優化,所述閉環流程包括采集系統實時狀態、評估存儲均衡性、優化存儲調整策略、執行數據遷移和更新存儲狀態,以逐步提升系統的存儲資源利用效率和任務優先級匹配能力。