本技術(shù)涉及通信，尤其涉及一種帶內(nèi)測(cè)量方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、帶內(nèi)測(cè)量是一種混合測(cè)量方法，能夠更精細(xì)地測(cè)量網(wǎng)絡(luò)拓?fù)浜途W(wǎng)絡(luò)性能，通過(guò)路徑中間交換節(jié)點(diǎn)對(duì)數(shù)據(jù)包依次插入元數(shù)據(jù)的方式，實(shí)現(xiàn)了對(duì)網(wǎng)絡(luò)狀態(tài)的采集。帶內(nèi)網(wǎng)絡(luò)遙測(cè)系統(tǒng)由遙測(cè)服務(wù)器和具備帶內(nèi)網(wǎng)絡(luò)遙測(cè)功能的交換機(jī)共同構(gòu)成。帶內(nèi)網(wǎng)絡(luò)遙測(cè)的數(shù)據(jù)包處理流程如下：

2、數(shù)據(jù)報(bào)文到達(dá)交換節(jié)點(diǎn)時(shí)，帶內(nèi)網(wǎng)絡(luò)遙測(cè)模塊鏡像出該報(bào)文，根據(jù)遙測(cè)任務(wù)的需要插入帶內(nèi)網(wǎng)絡(luò)遙測(cè)int（in-band?network?telemetry）頭部；報(bào)文轉(zhuǎn)發(fā)到帶內(nèi)網(wǎng)絡(luò)遙測(cè)系統(tǒng)最后一跳時(shí)，交換設(shè)備匹配int頭部并提取全部遙測(cè)信息；遙測(cè)服務(wù)器解析遙測(cè)報(bào)文內(nèi)的遙測(cè)信息，上報(bào)給上層遙測(cè)應(yīng)用程序，進(jìn)行網(wǎng)絡(luò)監(jiān)測(cè)、效能分析及故障定位。

3、相關(guān)技術(shù)中，帶內(nèi)測(cè)量方案一般是針對(duì)衛(wèi)星節(jié)點(diǎn)定期發(fā)送固定的探針報(bào)文，實(shí)現(xiàn)衛(wèi)星節(jié)點(diǎn)的帶內(nèi)測(cè)量，帶內(nèi)測(cè)量靈活性較差。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)提供了一種帶內(nèi)測(cè)量方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，用以解決相關(guān)技術(shù)的帶內(nèi)測(cè)量方案靈活性較差的問(wèn)題。

2、第一方面，本技術(shù)提供了一種帶內(nèi)測(cè)量方法，所述方法包括：

3、向至少一個(gè)第一衛(wèi)星發(fā)送第一探針報(bào)文，獲取所述至少一個(gè)第一衛(wèi)星的第一網(wǎng)絡(luò)狀態(tài)信息；

4、基于所述至少一個(gè)第一衛(wèi)星的第一網(wǎng)絡(luò)狀態(tài)信息，生成至少一個(gè)第二衛(wèi)星對(duì)應(yīng)的第二探針報(bào)文；

5、向所述至少一個(gè)第二衛(wèi)星發(fā)送對(duì)應(yīng)的第二探針報(bào)文，獲取所述至少一個(gè)第二衛(wèi)星的第二網(wǎng)絡(luò)狀態(tài)信息。

6、在一種可選的實(shí)施方式中，所述方法包括：

7、將所述至少一個(gè)第一衛(wèi)星的第一網(wǎng)絡(luò)狀態(tài)信息輸入強(qiáng)化學(xué)習(xí)模型，基于所述強(qiáng)化學(xué)習(xí)模型，生成至少一個(gè)第二衛(wèi)星對(duì)應(yīng)的第二探針報(bào)文。

8、在一種可選的實(shí)施方式中，所述方法還包括：

9、將所述至少一個(gè)第一衛(wèi)星的第一網(wǎng)絡(luò)狀態(tài)信息輸入強(qiáng)化學(xué)習(xí)模型，基于所述強(qiáng)化學(xué)習(xí)模型確定至少一個(gè)探測(cè)路徑；

10、所述方法包括：

11、向所述至少一個(gè)探測(cè)路徑中的至少一個(gè)第二衛(wèi)星發(fā)送對(duì)應(yīng)的第二探針報(bào)文。

12、在一種可選的實(shí)施方式中，所述方法包括：

13、基于第一頻率向所述至少一個(gè)第一衛(wèi)星發(fā)送第一探針報(bào)文；

14、基于第二頻率向所述至少一個(gè)第二衛(wèi)星發(fā)送對(duì)應(yīng)的第二探針報(bào)文；

15、其中，所述第二頻率小于所述第一頻率。

16、在一種可選的實(shí)施方式中，所述方法還包括：

17、將所述至少一個(gè)第一衛(wèi)星的第一網(wǎng)絡(luò)狀態(tài)信息輸入強(qiáng)化學(xué)習(xí)模型，基于所述強(qiáng)化學(xué)習(xí)模型確定所述至少一個(gè)第二衛(wèi)星對(duì)應(yīng)的所述第二頻率。

18、在一種可選的實(shí)施方式中，所述方法包括：

19、基于所述強(qiáng)化學(xué)習(xí)模型確定所述至少一個(gè)第二衛(wèi)星的網(wǎng)絡(luò)狀態(tài)信息對(duì)應(yīng)的位圖信息；

20、向所述至少一個(gè)第二衛(wèi)星發(fā)送攜帶所述位圖信息的對(duì)應(yīng)的第二探針報(bào)文；其中，所述位圖信息用于指示測(cè)量網(wǎng)絡(luò)狀態(tài)信息。

21、在一種可選的實(shí)施方式中，所述向至少一個(gè)第一衛(wèi)星發(fā)送第一探針報(bào)文包括：

22、針對(duì)所述至少一個(gè)第一衛(wèi)星，確定與所述第一衛(wèi)星距離最近的目標(biāo)信關(guān)站；

23、通過(guò)所述目標(biāo)信關(guān)站向所述第一衛(wèi)星發(fā)送所述第一探針報(bào)文。

24、在一種可選的實(shí)施方式中，獲取所述至少一個(gè)第一衛(wèi)星的第一網(wǎng)絡(luò)狀態(tài)信息包括：

25、針對(duì)所述至少一個(gè)第一衛(wèi)星，獲取所述目標(biāo)信關(guān)站至所述第一衛(wèi)星的路徑上的至少一個(gè)第一衛(wèi)星的第一網(wǎng)絡(luò)狀態(tài)信息。

26、在一種可選的實(shí)施方式中，獲取所述至少一個(gè)第二衛(wèi)星的第二網(wǎng)絡(luò)狀態(tài)信息包括：

27、針對(duì)所述至少一個(gè)探測(cè)路徑，確定所述探測(cè)路徑上的至少一個(gè)第二衛(wèi)星的第二網(wǎng)絡(luò)狀態(tài)信息；其中，所述探測(cè)路徑上的第二衛(wèi)星對(duì)應(yīng)的第二頻率相同。

28、在一種可選的實(shí)施方式中，基于所述強(qiáng)化學(xué)習(xí)模型確定至少一個(gè)探測(cè)路徑包括：

29、所述強(qiáng)化學(xué)習(xí)模型用于確定衛(wèi)星的下一跳衛(wèi)星，所述至少一個(gè)探測(cè)路徑包括所述衛(wèi)星和所述下一跳衛(wèi)星；其中，所述強(qiáng)化學(xué)習(xí)模型用于針對(duì)所述衛(wèi)星，確定所述衛(wèi)星和至少一個(gè)下一跳連接的候選衛(wèi)星的條件概率；將條件概率最大的候選衛(wèi)星確定為所述衛(wèi)星的下一跳衛(wèi)星。

30、在一種可選的實(shí)施方式中，確定所述至少一個(gè)下一跳連接的候選衛(wèi)星的過(guò)程包括：

31、根據(jù)所述衛(wèi)星的第一網(wǎng)絡(luò)狀態(tài)信息，確定與所述衛(wèi)星相鄰且正常通信的至少一個(gè)衛(wèi)星，將該至少一個(gè)衛(wèi)星確定為至少一個(gè)候選衛(wèi)星。

32、在一種可選的實(shí)施方式中，所述強(qiáng)化學(xué)習(xí)模型的訓(xùn)練過(guò)程包括：

33、針對(duì)至少一個(gè)樣本路徑中的至少一個(gè)第一衛(wèi)星，根據(jù)當(dāng)前迭代訓(xùn)練過(guò)程中該第一衛(wèi)星的網(wǎng)絡(luò)狀態(tài)信息對(duì)應(yīng)的位圖信息和權(quán)重值，以及探針報(bào)文的發(fā)送頻率，確定該第一衛(wèi)星對(duì)應(yīng)的第一獎(jiǎng)勵(lì)值；根據(jù)該樣本路徑中的至少一個(gè)第一衛(wèi)星對(duì)應(yīng)的第一獎(jiǎng)勵(lì)值，確定該樣本路徑對(duì)應(yīng)的第二獎(jiǎng)勵(lì)值；根據(jù)所述至少一個(gè)樣本路徑對(duì)應(yīng)的最小的第二獎(jiǎng)勵(lì)值對(duì)所述強(qiáng)化學(xué)習(xí)模型的梯度、所述網(wǎng)絡(luò)狀態(tài)信息對(duì)應(yīng)的位圖信息和權(quán)重值，以及探針報(bào)文的發(fā)送頻率進(jìn)行更新；重復(fù)迭代訓(xùn)練至所述強(qiáng)化學(xué)習(xí)模型訓(xùn)練完成。

34、在一種可選的實(shí)施方式中，所述根據(jù)當(dāng)前迭代過(guò)程中該第一衛(wèi)星的網(wǎng)絡(luò)狀態(tài)信息對(duì)應(yīng)的位圖信息和權(quán)重值，以及探針報(bào)文的發(fā)送頻率，確定該第一衛(wèi)星對(duì)應(yīng)的第一獎(jiǎng)勵(lì)值包括：

35、根據(jù)當(dāng)前迭代過(guò)程中該第一衛(wèi)星的網(wǎng)絡(luò)狀態(tài)信息對(duì)應(yīng)的位圖信息和權(quán)重值，確定第一子獎(jiǎng)勵(lì)值和探針報(bào)文所占的資源信息；

36、根據(jù)所述探針報(bào)文所占的資源信息和所述探針報(bào)文的發(fā)送頻率，確定第二子獎(jiǎng)勵(lì)值；

37、根據(jù)所述第一子獎(jiǎng)勵(lì)值和所述第二子獎(jiǎng)勵(lì)值，確定該第一衛(wèi)星對(duì)應(yīng)的第一獎(jiǎng)勵(lì)值。

38、在一種可選的實(shí)施方式中，所述方法還包括：

39、根據(jù)帶內(nèi)測(cè)量的遙測(cè)需求確定對(duì)應(yīng)的關(guān)聯(lián)網(wǎng)絡(luò)狀態(tài)信息；

40、根據(jù)所述關(guān)聯(lián)網(wǎng)絡(luò)狀態(tài)信息，確定第一衛(wèi)星的網(wǎng)絡(luò)狀態(tài)信息對(duì)應(yīng)的初始位圖信息和初始權(quán)重值。

41、第二方面，本技術(shù)提供了一種帶內(nèi)測(cè)量裝置，所述裝置包括：

42、第一獲取模塊，用于向至少一個(gè)第一衛(wèi)星發(fā)送第一探針報(bào)文，獲取所述至少一個(gè)第一衛(wèi)星的第一網(wǎng)絡(luò)狀態(tài)信息；

43、確定模塊，用于基于所述至少一個(gè)第一衛(wèi)星的第一網(wǎng)絡(luò)狀態(tài)信息，生成至少一個(gè)第二衛(wèi)星對(duì)應(yīng)的第二探針報(bào)文；

44、第二獲取模塊，用于向所述至少一個(gè)第二衛(wèi)星發(fā)送對(duì)應(yīng)的第二探針報(bào)文，獲取所述至少一個(gè)第二衛(wèi)星的第二網(wǎng)絡(luò)狀態(tài)信息。

45、在一種可選的實(shí)施方式中，所述確定模塊，具體用于將所述至少一個(gè)第一衛(wèi)星的第一網(wǎng)絡(luò)狀態(tài)信息輸入強(qiáng)化學(xué)習(xí)模型，基于所述強(qiáng)化學(xué)習(xí)模型，生成至少一個(gè)第二衛(wèi)星對(duì)應(yīng)的第二探針報(bào)文。

46、在一種可選的實(shí)施方式中，所述確定模塊，還用于將所述至少一個(gè)第一衛(wèi)星的第一網(wǎng)絡(luò)狀態(tài)信息輸入強(qiáng)化學(xué)習(xí)模型，基于所述強(qiáng)化學(xué)習(xí)模型確定至少一個(gè)探測(cè)路徑；

47、所述確定模塊，具體用于向所述至少一個(gè)探測(cè)路徑中的至少一個(gè)第二衛(wèi)星發(fā)送對(duì)應(yīng)的第二探針報(bào)文。

48、在一種可選的實(shí)施方式中，所述第一獲取模塊，具體用于基于第一頻率向所述至少一個(gè)第一衛(wèi)星發(fā)送第一探針報(bào)文；

49、所述第二獲取模塊，具體用于基于第二頻率向所述至少一個(gè)第二衛(wèi)星發(fā)送對(duì)應(yīng)的第二探針報(bào)文；

50、其中，所述第二頻率小于所述第一頻率。

51、在一種可選的實(shí)施方式中，所述確定模塊，還用于將所述至少一個(gè)第一衛(wèi)星的第一網(wǎng)絡(luò)狀態(tài)信息輸入強(qiáng)化學(xué)習(xí)模型，基于所述強(qiáng)化學(xué)習(xí)模型確定所述至少一個(gè)第二衛(wèi)星對(duì)應(yīng)的所述第二頻率。

52、在一種可選的實(shí)施方式中，所述確定模塊，還用于基于所述強(qiáng)化學(xué)習(xí)模型確定所述至少一個(gè)第二衛(wèi)星的網(wǎng)絡(luò)狀態(tài)信息對(duì)應(yīng)的位圖信息；

53、所述第二獲取模塊，具體用于向所述至少一個(gè)第二衛(wèi)星發(fā)送攜帶所述位圖信息的對(duì)應(yīng)的第二探針報(bào)文；其中，所述位圖信息用于指示測(cè)量網(wǎng)絡(luò)狀態(tài)信息。

54、在一種可選的實(shí)施方式中，所述第一獲取模塊，具體用于針對(duì)所述至少一個(gè)第一衛(wèi)星，確定與所述第一衛(wèi)星距離最近的目標(biāo)信關(guān)站；通過(guò)所述目標(biāo)信關(guān)站向所述第一衛(wèi)星發(fā)送所述第一探針報(bào)文。

55、在一種可選的實(shí)施方式中，所述第一獲取模塊，具體用于針對(duì)所述至少一個(gè)第一衛(wèi)星，獲取所述目標(biāo)信關(guān)站至所述第一衛(wèi)星的路徑上的至少一個(gè)第一衛(wèi)星的第一網(wǎng)絡(luò)狀態(tài)信息。

56、在一種可選的實(shí)施方式中，所述第二獲取模塊，具體用于針對(duì)所述至少一個(gè)探測(cè)路徑，確定所述探測(cè)路徑上的至少一個(gè)第二衛(wèi)星的第二網(wǎng)絡(luò)狀態(tài)信息；其中，所述探測(cè)路徑上的第二衛(wèi)星對(duì)應(yīng)的第二頻率相同。

57、在一種可選的實(shí)施方式中，所述強(qiáng)化學(xué)習(xí)模型用于確定衛(wèi)星的下一跳衛(wèi)星，所述至少一個(gè)探測(cè)路徑包括所述衛(wèi)星和所述下一跳衛(wèi)星；其中，所述強(qiáng)化學(xué)習(xí)模型用于針對(duì)所述衛(wèi)星，確定所述衛(wèi)星和至少一個(gè)下一跳連接的候選衛(wèi)星的條件概率；將條件概率最大的候選衛(wèi)星確定為所述衛(wèi)星的下一跳衛(wèi)星。

58、在一種可選的實(shí)施方式中，所述確定模塊，具體用于根據(jù)所述衛(wèi)星的第一網(wǎng)絡(luò)狀態(tài)信息，確定與所述衛(wèi)星相鄰且正常通信的至少一個(gè)衛(wèi)星，將該至少一個(gè)衛(wèi)星確定為至少一個(gè)候選衛(wèi)星。

59、在一種可選的實(shí)施方式中，所述裝置還包括：

60、訓(xùn)練模塊，用于針對(duì)至少一個(gè)樣本路徑中的至少一個(gè)第一衛(wèi)星，根據(jù)當(dāng)前迭代訓(xùn)練過(guò)程中該第一衛(wèi)星的網(wǎng)絡(luò)狀態(tài)信息對(duì)應(yīng)的位圖信息和權(quán)重值，以及探針報(bào)文的發(fā)送頻率，確定該第一衛(wèi)星對(duì)應(yīng)的第一獎(jiǎng)勵(lì)值；根據(jù)該樣本路徑中的至少一個(gè)第一衛(wèi)星對(duì)應(yīng)的第一獎(jiǎng)勵(lì)值，確定該樣本路徑對(duì)應(yīng)的第二獎(jiǎng)勵(lì)值；根據(jù)所述至少一個(gè)樣本路徑對(duì)應(yīng)的最小的第二獎(jiǎng)勵(lì)值對(duì)所述強(qiáng)化學(xué)習(xí)模型的梯度、所述網(wǎng)絡(luò)狀態(tài)信息對(duì)應(yīng)的位圖信息和權(quán)重值，以及探針報(bào)文的發(fā)送頻率進(jìn)行更新；重復(fù)迭代訓(xùn)練至所述強(qiáng)化學(xué)習(xí)模型訓(xùn)練完成。

61、在一種可選的實(shí)施方式中，所述訓(xùn)練模塊，具體用于根據(jù)當(dāng)前迭代過(guò)程中該第一衛(wèi)星的網(wǎng)絡(luò)狀態(tài)信息對(duì)應(yīng)的位圖信息和權(quán)重值，確定第一子獎(jiǎng)勵(lì)值和探針報(bào)文所占的資源信息；根據(jù)所述探針報(bào)文所占的資源信息和所述探針報(bào)文的發(fā)送頻率，確定第二子獎(jiǎng)勵(lì)值；根據(jù)所述第一子獎(jiǎng)勵(lì)值和所述第二子獎(jiǎng)勵(lì)值，確定該第一衛(wèi)星對(duì)應(yīng)的第一獎(jiǎng)勵(lì)值。

62、在一種可選的實(shí)施方式中，所述訓(xùn)練模塊，還用于根據(jù)帶內(nèi)測(cè)量的遙測(cè)需求確定對(duì)應(yīng)的關(guān)聯(lián)網(wǎng)絡(luò)狀態(tài)信息；根據(jù)所述關(guān)聯(lián)網(wǎng)絡(luò)狀態(tài)信息，確定第一衛(wèi)星的網(wǎng)絡(luò)狀態(tài)信息對(duì)應(yīng)的初始位圖信息和初始權(quán)重值。

63、第三方面，本技術(shù)提供了一種電子設(shè)備，包括處理器、通信接口、存儲(chǔ)器和通信總線，其中，處理器，通信接口，存儲(chǔ)器通過(guò)通信總線完成相互間的通信；

64、存儲(chǔ)器，用于存放計(jì)算機(jī)程序；

65、處理器，用于執(zhí)行存儲(chǔ)器上所存放的程序時(shí)，實(shí)現(xiàn)所述的方法。

66、第四方面，本技術(shù)提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)內(nèi)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)所述的方法。

67、第五方面，本技術(shù)提供了一種計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品包括可執(zhí)行程序，該可執(zhí)行程序被處理器執(zhí)行實(shí)現(xiàn)所述的方法。

68、本技術(shù)中，首先向衛(wèi)星網(wǎng)絡(luò)中的至少一個(gè)第一衛(wèi)星發(fā)送第一探針報(bào)文，基于第一探針報(bào)文獲取至少一個(gè)第一衛(wèi)星的第一網(wǎng)絡(luò)狀態(tài)信息。第一網(wǎng)絡(luò)狀態(tài)信息包括衛(wèi)星負(fù)載、隊(duì)列長(zhǎng)度、擁塞狀態(tài)、端口數(shù)據(jù)包丟失率、端口時(shí)間戳、端口數(shù)據(jù)包計(jì)數(shù)等性能指標(biāo)信息。然后基于至少一個(gè)第一衛(wèi)星的第一網(wǎng)絡(luò)狀態(tài)信息，生成至少一個(gè)第二衛(wèi)星對(duì)應(yīng)的第二探針報(bào)文。進(jìn)而向至少一個(gè)第二衛(wèi)星發(fā)送對(duì)應(yīng)的第二探針報(bào)文，獲取至少一個(gè)第二衛(wèi)星的第二網(wǎng)絡(luò)狀態(tài)信息。本技術(shù)提供了一種兩種不同的探針報(bào)文結(jié)合實(shí)現(xiàn)帶內(nèi)測(cè)量的方案，并且第二種探針報(bào)文是基于第一種探針報(bào)文獲取的至少一個(gè)第一衛(wèi)星的第一網(wǎng)絡(luò)狀態(tài)信息生成的。相較于相關(guān)技術(shù)針對(duì)衛(wèi)星節(jié)點(diǎn)定期發(fā)送固定的探針報(bào)文，實(shí)現(xiàn)衛(wèi)星節(jié)點(diǎn)的帶內(nèi)測(cè)量的方案，提高了帶內(nèi)測(cè)量的靈活性和針對(duì)性。