本技術(shù)涉及數(shù)據(jù)處理、人工智能領(lǐng)域，尤其涉及一種基于transformer編碼器的信源數(shù)估計(jì)方法及系統(tǒng)。

背景技術(shù)：

1、深度學(xué)習(xí)網(wǎng)絡(luò)對高維輸入特征具有強(qiáng)大的學(xué)習(xí)能力，相比于傳統(tǒng)算法，更易提取時(shí)間序列電磁頻譜樣本信號(hào)的關(guān)聯(lián)特征。基于深度學(xué)習(xí)的信源數(shù)估計(jì)方法一般分為兩步，第一步為自適應(yīng)提取信號(hào)所含特征，第二步為利用分類器進(jìn)行估計(jì)。該方法針對采樣數(shù)，噪聲環(huán)境和信道傳輸?shù)韧饨鐝?fù)雜環(huán)境有更高的魯棒性，在低信噪比和低采樣數(shù)下的性能優(yōu)于傳統(tǒng)算法，在實(shí)際的通信信號(hào)傳輸中具有更高的穩(wěn)定性。基于深度學(xué)習(xí)的混疊信號(hào)源數(shù)目估計(jì)模型的設(shè)計(jì)主要包含網(wǎng)絡(luò)輸入特征選取和源數(shù)目網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)兩個(gè)部分。

2、(1)網(wǎng)絡(luò)輸入特征選取

3、在網(wǎng)絡(luò)輸入特征選取中，傳入深度學(xué)習(xí)模型的混疊調(diào)制信號(hào)特征主要有iq序列、瞬時(shí)相位和頻率以及信號(hào)相關(guān)圖像數(shù)據(jù)。為了最大限度保留觀測信號(hào)的原始特征，利用深度學(xué)習(xí)模型提取高維特征的強(qiáng)大能力，iq信號(hào)常被用于模型的輸入特征，在無線電通信的許多領(lǐng)域，研究人員設(shè)計(jì)深度學(xué)習(xí)網(wǎng)絡(luò)證明了在iq信號(hào)數(shù)據(jù)集上的可行性，并針對復(fù)數(shù)域特征提取問題提出了諸多可解釋理論。此外，由于瞬時(shí)相位特征具有較強(qiáng)的魯棒性，先通過集合經(jīng)驗(yàn)?zāi)B(tài)對信號(hào)進(jìn)行分解，再根據(jù)希爾伯特黃變換提取到信號(hào)的瞬時(shí)相位特征也常被用于深度學(xué)習(xí)網(wǎng)絡(luò)的輸入。隨著深度學(xué)習(xí)網(wǎng)絡(luò)在計(jì)算機(jī)視覺取得突破性進(jìn)展，研究人員為利用其強(qiáng)大的圖像特征提取能力，使用通過傅里葉變換、小波變換和短時(shí)傅里葉變換等信號(hào)處理算法生成的時(shí)頻圖以及信號(hào)星座圖傳入網(wǎng)絡(luò)模型。

4、(2)混疊信號(hào)源數(shù)目估計(jì)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

5、應(yīng)用于源數(shù)目估計(jì)問題的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)主要有以下幾種：

6、第一種是卷積神經(jīng)網(wǎng)絡(luò)(convolutional?neural?network，cnn)，cnn具備對不同類別數(shù)據(jù)樣本特征學(xué)習(xí)和數(shù)據(jù)分析的能力，在特征提取、映射過程中利用了局部感知、權(quán)值共享和下采樣三大特性而區(qū)別于普通神經(jīng)網(wǎng)絡(luò)。shrinivas?mahajan等人使用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了混疊源數(shù)目的準(zhǔn)確估計(jì)，證明了在低信噪比情況下，使用深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行混疊信源數(shù)目估計(jì)是可行有效的方法。john?rogers等人通過堆疊更多層數(shù)改進(jìn)了網(wǎng)絡(luò)，在不同混疊信源數(shù)下進(jìn)行了仿真分析，估計(jì)結(jié)果遠(yuǎn)優(yōu)于傳統(tǒng)算法。在卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)方面，zhu?yanmin等人提出了一種一維卷積殘差網(wǎng)絡(luò)結(jié)構(gòu)，當(dāng)混疊源數(shù)目小于等于7個(gè)時(shí)，估計(jì)準(zhǔn)確率相比于cnn提高了8％。

7、第二種是循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent?neural?network，rnn)，rnn可以提取到序列之間的相關(guān)特征，主要用于處理變長的輸入序列，在語音識(shí)別和自然語言處理等序列建模領(lǐng)域應(yīng)用廣泛。soumitro?chakrabarty等人提出了雙向長短時(shí)記憶網(wǎng)絡(luò)架構(gòu)(long?short-term?memory，lstm)用于估計(jì)混疊源數(shù)目，當(dāng)最大混疊數(shù)為10時(shí)，該方法平均絕對誤差小于0.4。為了降低lstm復(fù)雜性，提高網(wǎng)絡(luò)收斂速度，許多學(xué)者將cnn和lstm進(jìn)行了組合，即卷積-lstm-全連接神經(jīng)網(wǎng)絡(luò)(convolutional，long?short-term?memory，fully?connected?deepneural?network，cldnn)，利用cnn強(qiáng)大的特征預(yù)處理能力對lstm網(wǎng)絡(luò)的特征輸入進(jìn)行降維處理，縮短訓(xùn)練時(shí)間，并通過lstm網(wǎng)絡(luò)提取數(shù)據(jù)時(shí)序特征。

8、傳統(tǒng)的信源數(shù)估計(jì)算法通過接收信號(hào)矩陣來估計(jì)信源數(shù)目，由于單通道接收信號(hào)和陣列信號(hào)的區(qū)別，傳統(tǒng)算法不能直接用于單通道觀測信號(hào)的信源數(shù)估計(jì)。此外，在實(shí)際無線通信中，使用高階調(diào)制信號(hào)可提高信號(hào)傳輸速率，充分利用信道容量，但由于其冗余位變少，歐式距離變小，導(dǎo)致抗干擾能力較差。現(xiàn)有的混疊源數(shù)目估計(jì)算法大多針對低階混疊調(diào)制信號(hào)設(shè)計(jì)，在高階混疊信號(hào)源數(shù)目估計(jì)中性能較差，當(dāng)混疊信號(hào)存在多種高階調(diào)制信號(hào)時(shí)，相鄰源數(shù)目之間易出現(xiàn)估計(jì)混淆。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例提供一種基于transformer編碼器的信源數(shù)估計(jì)方法及系統(tǒng)，利用復(fù)值卷積重構(gòu)和transformer編碼器模塊能夠有效提高高階混疊調(diào)制信號(hào)的估計(jì)準(zhǔn)確率，提高了模型估計(jì)準(zhǔn)確率。

2、本技術(shù)實(shí)施例提供一種基于transformer編碼器的信源數(shù)估計(jì)方法，包括：

3、獲取輸入的iq數(shù)據(jù)；

4、對所獲取的iq數(shù)據(jù)通過復(fù)值卷積殘差預(yù)處理，以獲取高階混疊調(diào)制信號(hào)的空間關(guān)聯(lián)特征；

5、將預(yù)處理后的信號(hào)，使用transformer編碼器，以提取預(yù)處理后信號(hào)的時(shí)序特征；

6、分離出分類向量，以執(zhí)行高階混疊源信號(hào)數(shù)目估計(jì)。

7、可選的，對所獲取的iq數(shù)據(jù)通過復(fù)值卷積殘差預(yù)處理包括：

8、將所獲取的iq數(shù)據(jù)分解為實(shí)部和虛部；

9、使用兩組不同參數(shù)的卷積核和優(yōu)化梯度，對iq信號(hào)的實(shí)部和虛部分別進(jìn)行空間特征提取；

10、對提取到的空間特征進(jìn)行拼接。

11、可選的，將所獲取的iq數(shù)據(jù)分解為實(shí)部和虛部包括：

12、將所獲取的iq數(shù)據(jù)定義為xn滿足：

13、xn＝in+jqn

14、上式中，in代表輸入數(shù)據(jù)xn的同相分量，jqn代表輸入數(shù)據(jù)的正交分量；定義濾波因子為w(n)：

15、wn＝an+jbn

16、對iq數(shù)據(jù)進(jìn)行復(fù)數(shù)域卷積計(jì)算：

17、

18、將卷積結(jié)果分解為實(shí)部和虛部兩部分為：

19、

20、可選的，使用兩組不同參數(shù)的卷積核和優(yōu)化梯度，對iq信號(hào)的實(shí)部和虛部分別進(jìn)行空間特征提取包括：

21、使用神經(jīng)元對iq數(shù)據(jù)xn進(jìn)行特征映射：

22、

23、上式中，f(g)為激活函數(shù)，y為神經(jīng)元的輸出，

24、其損失值滿足：

25、loss＝(y-y')2

26、＝(re(y)-re(y'))2+(im(y)-im(y'))2

27、利用隨機(jī)梯度下降優(yōu)化法對參數(shù)wn進(jìn)行權(quán)值更新：

28、

29、通過兩組不同參數(shù)的卷積核，以分別表示參數(shù)的實(shí)部和虛部與iq信號(hào)的卷積運(yùn)算，以分別進(jìn)行空間特征提取。

30、可選的，還包括在數(shù)據(jù)輸入與網(wǎng)絡(luò)最后一層輸出之間引入殘差結(jié)構(gòu)，所述殘差結(jié)構(gòu)包括恒等映射層y＝x。

31、可選的，將預(yù)處理后的信號(hào)，使用transformer編碼器，以提取預(yù)處理后信號(hào)的時(shí)序特征包括：

32、將輸入的數(shù)據(jù)進(jìn)行切片，以轉(zhuǎn)換為patch序列；

33、通過線性壓平層對patch序列進(jìn)行降維，以生成特征向量token；

34、對特征向量token進(jìn)行位置信息嵌入，并添加分類向量class_token作為新的分類依據(jù)；

35、將分類向量class_token拼接到transformer編碼器的輸入。

36、可選的，對特征向量token進(jìn)行位置信息嵌入包括：

37、利用三角函數(shù)來表示不同特征向量的相對位置關(guān)系以執(zhí)行位置編碼，其中將位置嵌入向量表示為：

38、

39、其中，pos表示特征位置，i表示特征維度，dmodel表示嵌入編碼維度，pe表示位置嵌入特征向量；

40、基于位置編碼的結(jié)果執(zhí)行位置信息嵌入。

41、本技術(shù)實(shí)施例還提出一種基于transformer編碼器的信源數(shù)估計(jì)系統(tǒng)，包括處理器和存儲(chǔ)器，所述存儲(chǔ)器上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如前述的方法的步驟。

42、本技術(shù)實(shí)施例利用復(fù)值卷積重構(gòu)和transformer編碼器模塊能夠有效提高高階混疊調(diào)制信號(hào)的估計(jì)準(zhǔn)確率，在低信噪比下仍能達(dá)到較高的準(zhǔn)確率，相比于現(xiàn)有經(jīng)典深度學(xué)習(xí)算法，本技術(shù)的方法未消耗過多計(jì)算資源，并且提高了模型估計(jì)準(zhǔn)確率。

43、上述說明僅是本技術(shù)技術(shù)方案的概述，為了能夠更清楚了解本技術(shù)的技術(shù)手段，而可依照說明書的內(nèi)容予以實(shí)施，并且為了讓本技術(shù)的上述和其它目的、特征和優(yōu)點(diǎn)能夠更明顯易懂，以下特舉本技術(shù)的具體實(shí)施方式。