本發明涉及空天地一體化網絡，尤其涉及一種面向空天地一體化網絡的無人機軌跡優化和任務卸載方法。

背景技術：

1、隨著互聯網技術的迅速發展，智能終端設備的任務數據量不斷增加，終端設備由于設備硬件技術等原因，無法為新興的計算密集型任務和延遲敏感性任務提供足夠的計算資源，自2008年以來，云計算已經被應用于該領域中，云計算中心依靠強大的計算能力，突破了智能設備資源限制，提供了多樣化且高效的應用程序和計算服務。然而，傳統的云計算雖能為終端用戶提供充足資源，但無法滿足應用快速響應的時延需求。因此，移動邊緣計算(mobile?edge?computing，mec)作為一種新型的技術應運而生，mec是一種將計算任務從云中心移動到邊緣設備附近進行計算的技術，實現了計算平臺和設備的緊密集成，為終端設備提供了強大的計算、儲存能力的同時，使得計算的能耗和時延較小，從而使得用戶獲得更高的服務質量(quality?of?service，qos)。

2、傳統的mec技術在偏遠山區、海洋等復雜地形難以部署，無法為終端用戶提供互聯網服務，此外，網絡基礎設施也易受地震、洪水等自然災害的破壞，導致服務中斷，因此亟需一種新型技術突破該限制。隨著近些年來各大科技公司大力發展低軌衛星相關技術，截至2024年5月，全球衛星數量已超過9000枚，其中低軌衛星占比超過90％，空天地一體化網絡(space-air-ground?integrated?network,sagin)已成為下一代移動通信網絡的熱點研究對象。融合了多種受環境限制小的移動通信設備，sagin有望突破上述技術難點，緩解現有網絡通信技術的局限性。sagin架構主要由三部分組成：由低軌衛星組成的天基網絡，由無人機(unmanned?aerial?vehicle,uav)組成的空基網絡以及由地面用戶和地面傳統通信設備組成的地基網絡。在這三部分中，sagin以地基網絡為基礎，結合衛星天基網絡覆蓋范圍廣的特點以及uav靈活部署的優勢，通過多層次網絡的深度融合來實現空、天、地三域的無縫覆蓋。因此將mec技術與sagin相融合，可利用sagin靈活部署、低成本、范圍廣以及多層網絡等優勢為終端設備提供服務。

3、目前關于mec技術在sagin中應用的研究已經取得了很多有價值的研究成果。但仍存在著一系列關鍵問題需要解決：首先，在數據傳輸時，由于網絡節點的相對移動，會產生節點之間的通信鏈路斷開現象，這會導致網絡產生服務中斷問題，從而使用戶的服務質量大大下降，目前相關研究缺乏對鏈路斷開后數據傳輸的研究，導致產生較高的延遲。其次，由于sagin網絡結構的復雜性以及移動性，現有算法難以迅速求解到一種高效的任務卸載方案，且在這一過程中，sagin中多種異構設備的協同也往往被忽視，從而導致整體系統性能下降。解決這些問題需要深入研究和創新，以提高系統的性能和效率，以滿足不斷增長的移動應用需求。

技術實現思路

1、為解決上述在sagin中的問題，本發明提出了一種面向空天地一體化網絡的無人機軌跡優化和任務卸載方法，核心是利用sagin的各層節點為地面用戶提供高效的任務卸載服務，uav負責收集用戶數據，決定在自身計算或是上傳至leo中進行計算，二者將計算后的結果再返還給地面用戶。以降低任務處理的時延和能耗。

2、本發明的技術方案如下：一種面向空天地一體化網絡的無人機軌跡優化和任務卸載方法，建立網絡模型、節點通信模型、任務卸載能耗模型和時延模型；

3、優化問題為完成任務的能耗以及平均時延最小；采用時序預測算法和多智能體深度強化學習算法求解優化問題，得到最佳軌跡優化和任務卸載策略。

4、所述網絡模型分為三層結構，地面層、空中層和太空層；

5、所述地面層包含地面用戶；

6、所述空中層主要由無人機uav構成；無人機與地面用戶建立通信鏈路，接收地面用戶上傳的任務，并根據決策將任務在自身計算或者傳遞給上層衛星計算；同時，無人機之間以及與衛星之間存在通信鏈路，以實現信息的傳輸與交互；

7、所述太空層：包括上空的多個低軌衛星leo；將基于itransformer的時序預測模型部署在其中；所述低軌衛星視為高層智能體，每隔一定時間根據觀測到的狀態信息以及基于itransformer的時序預測模型預測出的用戶分布情況進行高級決策，指導無人機的低級策略；

8、所述網絡模型包括n個地面用戶、m個無人機以及l個低軌衛星，地面用戶集合表示為其三維坐標用ln(t)＝(xn(t),yn(t),hn(t))來表示，地面用戶的坐標每一輪次開始被隨機分配，隨后在每一時隙開始時進行隨機移動，空中無人機的集合表示為其三維坐標用lm(t)＝(xm(t),ym(t),hm(t))表示，在每個時隙以速度v進行移動，負責收集地面用戶的數據，上空的低軌衛星集合用l∈l＝{1,2,...,l}來表示，其三維坐標表示為ll(t)＝(xl(t),yl(t),hl(t))，leo按照固定軌道進行移動；leo衛星進入通信窗口地面用戶才能與其建立通信。

9、所述節點通信模型中，無人機與地面用戶之間的通信鏈路為視距鏈路los或非視距鏈路nlos；los的路徑損耗為對應nlos的路徑損耗為其中βlos和βnlos分別是區分los和nlos鏈路的兩個不同的衰減因子，αmn(t)是功率增益，對于該通信鏈路的平均路徑損失定義為：

10、

11、其中，plos(t)為uav與用戶在特定網絡環境下建立los信道的概率，二者建立nlos信道的概率為pnlos(t)＝1-plos(t)；

12、將無人機與地面用戶的通信鏈路進行解耦，分離其上下行鏈路，使得每個地面用戶與不同的無人機建立上行鏈路、下行鏈路進行通信，定義一個二進制變量來表示uavm是否與用戶n關聯，表示為：

13、

14、當(·)＝d時表示該通信鏈路為下行鏈路，當(·)＝u時表示該鏈路為上行鏈路，在每個時隙內，每個用戶只允許與一個uav建立上行鏈路或下行鏈路，同時受限于uav硬件因素，每個時隙內uav最多只能與q個地面用戶建立連接；

15、考慮解耦時的信道干擾，無人機之間以及無人機和衛星之間以視距傳輸方式構建通信鏈路，因此無人機之間以及無人機和衛星之間的信息傳輸速率定義如下：

16、

17、其中bback為回程鏈路帶寬、σ2為噪聲功率、po(t)為發射功率；

18、無人機與地面用戶之間的信息傳輸速率表示為：

19、

20、為t時刻無人機m與用戶n的鏈路連接情況、b為信道帶寬、是信號和噪聲加干擾比，對于上行鏈路和下行鏈路來說，二者對應的信噪比為：

21、

22、其中，pn(t)表示用戶n的發射功率、pm(t)表示無人機m的發射功率、表示其他用戶的上行傳輸對無人機m造成的干擾、表示其他無人機下行傳輸對無人機m造成的干擾、表示無人機m的自干擾、表示其他無人機的下行傳輸對用戶n造成的干擾、表示其他用戶的上行傳輸對用戶n造成的干擾、表示用戶n的自干擾；

23、所述任務卸載能耗模型初始化時，每個地面用戶被隨機分配一定數據量的計算任務，地面用戶需要將任務上傳由上行鏈路傳輸至uav中，再由uav決定是否將任務上傳至leo衛星計算或在自身中進行計算，在整個任務計算周期內，主要考慮地面用戶和uav所消耗的能量，具體分為四個方面：

24、(1)地面用戶傳輸數據能耗：用戶需將自身數據全部傳輸至uav中，數據量大小為in，用戶上傳數據的功率定義為pn(t)，因此傳輸能耗定義為：

25、

26、其中表示上行鏈路的信息傳輸速率；

27、(2)無人機傳輸數據能耗：當與同一用戶建立上下行鏈路的uav不同時，上行鏈路的uav將數據傳輸至對應下行鏈路的uav中，或將數據轉發至leo衛星時，其發射功率定義為pm(t)，能耗為：

28、

29、由該uav進行計算，當任務計算完成，將結果返還給地面用戶的能耗為：

30、

31、im表示無人機m需要傳輸的數據量大小、表示下行鏈路的信息傳輸速率、表示無人機之間或無人機與衛星之間的信息傳輸速率；

32、(3)無人機計算任務能耗：設定無人機需要計算任務的數據量大小為tam，計算速率為計算功率為pc，計算任務的能耗定義為：

33、

34、(4)無人機飛行能耗：uav的飛行能耗相較于懸停能耗較大，因此主要考慮uav的飛行能耗，uav的飛行功率定義為pf，飛行能耗定義為：

35、

36、所述時延模型主要包含任務計算時延以及信息傳輸時延兩部分，其中任務計算時延涉及無人機計算時延以及衛星計算時延，二者定義為：信息傳輸的時延分為上行時延、下行時延以及在無人機之間和無人機與衛星之間的傳輸時延，定義為：

37、

38、其中，in表示地面用戶上傳任務量大小、im表示無人機下傳數據量大小、i'm表示無人機之間傳輸數據量大小、表示無人機向低軌衛星傳輸數據量大小；

39、因此，每個任務計算完成的周期時延定義為：

40、

41、所述時序預測算法為將地面區域劃為多個小塊，以每小塊作為單元，利用真實數據集模擬單元內地面用戶數量，將其作為歷史時序數據，通過itransformer時序預測模型進行預測；基于itransformer的時序預測模型為一種基于transformer的時序預測架構，不改變transformer的網絡架構，轉換注意力機制和前饋網絡的作用；將不同的變量分開考慮，每個變量被編碼成獨立的token，利用注意力機制建模不同變量間的相關性，利用前饋網絡建模變量的時序相關性，獲取序列時序表征；將歷史時序數據輸入，輸出未來時刻每一單元的用戶數量。

42、所述優化問題具體為：

43、通過優化uav的飛行軌跡以及卸載決策變量，得到以最小化系統任務總能耗和平均時延加權和為目標的計算卸載約束優化問題，同時確保通信資源約束、計算資源約束、leo衛星覆蓋范圍約束以及任務的最大可容忍時延約束；優化問題如下：

44、

45、約束條件為：

46、

47、其中，約束c1表示uav任一時刻的功率不能超過其最大功率；約束c2表示uav電池容量限制，約束c3表示無人機最大覆蓋范圍限制，約束c4表示任務計算容忍延遲，約束c5表示每一個用戶只與一個uav建立上行或下行連接，約束c6表示uav飛行速度限制，約束c7表示用戶和uav的瞬時功耗限制；

48、將確定的優化問題建模為一個部分可觀測馬爾可夫決策過程pomdp，簡化mdp，將其轉化為一個無模型的過程；狀態空間、動作空間和獎勵函數定義如下；

49、1)狀態空間：狀態空間包括影響智能體決策的所有網絡因素，表示為包括uav、leo、地面用戶的位置坐標，任務量大小，以及能耗；

50、2)動作空間：分別是uav飛行的動作以及與地面用戶建立連接的動作，在時隙t的動作空間表示為

51、3)獎勵函數：旨在實現目標函數的最小化，將其作為獎勵函數，定義為：

52、所述多智能體深度強化學習算法為一種基于層次學習的雙級qmix算法；包含高層決策網絡和底層決策網絡兩部分；

53、將低軌衛星視為高層決策網絡中的高層智能體，無人機視為底層決策網絡中的低層智能體；

54、所述高層決策網絡和底層決策網絡分別包含智能體的決策網絡rnn、擬合多智能體q值的mixing網絡；

55、rnn網絡循環輸入當前觀測o以及上一時刻智能體的動作at-1，輸出q值；mixing網絡輸入多個智能體的q值以及全局環境的狀態信息，輸出全局q值qtot；

56、所述mixing網絡中添加基于多頭注意力機制的編碼器，將全局環境的狀態信息進行降維處理，利用多頭注意力機制提取有效的時空特征信息，同時將所述時序預測算法預測出的結果作為高層決策網絡獎勵函數的一部分，指導智能體在策略探索初期識別具有高回報的區域，避免環境獎勵稀疏帶來的影響；所述mixing網絡的損失函數定義為：

57、

58、mixing網絡采用dqn的網絡更新方式，θ表示當前網絡參數，b表示采樣數量；其中r為獎勵函數，θ-表示目標網絡；高層決策網絡和底層決策網絡聯合學習同一任務，共用一個目標網絡來更新網絡參數；

59、高層決策網絡部署在低軌衛星上，底層決策網絡部署在無人機中；低軌衛星作為高層智能體每隔k時間根據觀測到的狀態信息以及基于itransformer的時序預測模型預測出的用戶分布情況進行一次高級決策，指導無人機接下來k步的低級策略；無人機每個時刻根據自身的觀測信息以及低軌衛星中的高層決策網絡給予的獎勵函數得到自身的動作；將高層決策網絡得到的獎勵值均分給未來k個時隙的低層決策網絡，低層決策網絡的獎勵函數表示為：

60、

61、其中rh代表高層決策網絡的獎勵函數，定義為：

62、

63、其中，表示被無人機覆蓋到的用戶數量，表示基于itransformer的時序預測模型預測的結果與真實數據的差值，j、k表示二者權重。

64、本發明的有益效果：綜上所述，本發明提供了一種全面且精準的方法來處理空天地一體化網絡中的無人機飛行軌跡和任務卸載決策問題。本發明通過優化無人機的飛行軌跡和卸載策略，并不斷地學習和適應環境，使得無人機能夠根據地面用戶的分布、任務的需求變化以及網絡的狀態等因素，動態地調整自己的飛行軌跡以及卸載策略，這種方法不僅可以滿足特定區域用戶的計算需求，而且通過設計的算法使得無人機和衛星的卸載策略具有高度的協同性，顯著提升了整體網絡的性能，更好的滿足了用戶對于高能效和低時延的需求。