本發明屬于人工智能神經網絡，特別涉及一種從卷積神經網絡到圖神經網絡的算法模型遷移方法。

背景技術：

1、圖(graph)作為非歐幾里得結構的一個子集，廣泛應用于多個領域的數據表示中，包括社交網絡、神經科學、物理系統和知識圖譜等。有趣的是，圖像和文本都可以被視為圖結構的特例。圖像可以被視為規則化的二維圖結構，而文本則可以看作規則化的一維圖結構。然而，由于應用場景和技術發展的限制，圖神經網絡(graph?neural?networks,gnns)的出現比卷積神經網絡(convolutional?neural?networks,cnns)在圖像處理上的迅速崛起以及循環神經網絡(recurrent?neural?networks,rnns)在文本處理上的興起要晚得多。gnns的概念被提出時，卷積神經網絡模型已經面臨許多挑戰并取得了顯著的成功。

2、為了加速gnns的發展，許多優秀的卷積神經網絡模型被考慮遷移到圖神經網絡領域。例如，szegedy等人引入了inception架構，以捕捉圖像中的多尺度特征。在此基礎上，rossi等人開發了可擴展的inception圖網絡(scalable?inception?graph?network,sign)模型，該模型在特征提取方面表現出很強的競爭力，并在節點分類任務中取得了優異的成績。同樣，u-net的編碼器-解碼器架構在卷積神經網絡中各種像素級預測任務中取得了成功。考慮到類似的思路在gnns中仍然缺乏，gao等人設計了graph?u-net，結合了u-net架構的架構和圖的特性。實驗結果表明，graph?u-net在圖級和節點級分類任務中表現出色。

3、跨領域遷移有效促進了gnns的發展。然而，以上所有模型都是理念的遷移。盡管許多圖神經網絡被提出用于各種場景，包括譜圖神經網絡、異構圖神經網絡、知識圖神經網絡和時空圖神經網絡，它們的信息聚合過程并沒有卷積的優勢。其中一些工作使用歸一化的鄰接矩陣來引導信息聚合，但它們的圖信息聚合過程并不可學習。而另一些工作通過注意力機制計算信息聚合強度，計算復雜度較高，且更容易導致過擬合問題。在cnn的卷積操作中，卷積核的權重通過反向傳播算法直接調整，使模型能夠適應不同任務并提取所需特征。此外，卷積核在整個輸入圖像上共享參數，這意味著相同的濾波器在不同位置提取特定特征，從而提高了cnn的泛化能力。引入可學習且參數共享的卷積算子可以有效提高圖信息聚合過程的靈活性和泛化能力，并促進模型遷移的效果。

4、跨領域模型遷移的一種潛在解決方案是對齊cnn和gnn的數據表示，使得可以直接在圖相關任務中使用卷積算子。這種方法繞過了數據類型之間結構差異帶來的挑戰，簡化了遷移過程。gao等人提出了大規模可學習圖卷積網絡(lgcn)作為對齊圖和圖像數據的一種方法。lgcn將節點視為像素，并根據數值排序選擇相鄰節點，有效地將圖數據轉換為類似二維網格的結構，從而允許對一般圖執行有序的卷積操作。盡管這確保了有序卷積，但擦除節點和忽略邊緣會導致信息丟失，可能無法達到預期的遷移效果。

5、需要注意的是，圖像像素并不等同于圖節點。對于圖像來說，像素之間的連接僅限于距離相鄰，并且沒有額外的信息。任務所需的信息是在相鄰像素之間組成的，這需要卷積在感受域內對所有像素加權以進行過濾。相反，圖中的邊有明確的關系，使用隨機初始化的可學習權重對已知關系進行局部信息的無差別聚合可能會導致過擬合到訓練數據，并忽視圖邊緣的關系和強度屬性。將卷積從cnn遷移到gnn的關鍵挑戰在于找到適合圖的卷積單元。

6、圖神經網絡(gnn)作為機器學習領域的后起之秀，被廣泛應用于關系數據模型，并在圖任務中取得了出色的表現。圖神經網絡不斷接收來自計算機視覺和自然語言處理等其他領域的成熟模型，推動了圖算法的發展。然而，由于不同領域的數據結構各不相同，模型的跨領域遷移必須經歷漫長的拆解和重構過程，可能無法獲得理想的結果。

技術實現思路

1、本發明提出一種從卷積神經網絡到圖神經網絡的算法模型遷移方法，將傳統卷積中的網格數據與中的不規則數據對齊，使得應用于網格數據的卷積算子能直接應用于圖中，進一步推動卷積在圖上的遷移應用，解決了上述問題。

2、本發明的技術方案是這樣實現的：

3、一種從卷積神經網絡到圖神經網絡的算法模型遷移方法，包括以下內容：

4、(1)在圖上進行卷積：定義了k階鄰居集合，其中k階鄰居表示通過k跳能夠到達目標節點的節點集合，將像素和鄰居集合視作等價的卷積單元，實現卷積神經網絡向圖的遷移應用；

5、(2)進行鄰居級卷積：

6、l階鄰居級圖卷積的過程如下：

7、

8、其中,表示節i和節點j之間k階關聯分數，θk代表第k階鄰居的可學習權重，nk(i)代表節點i的第k階鄰居集，xj代表的是節點j的節點特征，代表的是經過l階鄰居級圖卷積更新的節點i的特征；

9、l階鄰居級卷積定義如下：

10、

11、其中，σ(·)是激活函數，w是可學習的權重矩陣，用于提取和壓縮節點特征，x代表所有節點的特征矩陣，代表k階的鄰接矩陣；

12、c通道圖卷積算子的過程如下：

13、convg(x,l,c)＝concatenation(convg1(x,l),convg2(x,l),…,convgc(x,l))；

14、其中，convg(x,l,c)是一個基本的鄰居級圖卷積模塊，可以擴展到各種圖模型中。

15、可選的，通過卷積橋構建了圖inception架構，稱為grainc模型，將inception架構從卷積神經網絡遷移到圖神經網絡的步驟如下：

16、s1、用convg(l＝0)替換1x1卷積，以提取和壓縮節點的固有特征；

17、s2、用一階鄰居級卷積convg(l＝1)替代3x3卷積；

18、s3、用三階鄰居級卷積convg(l＝3)替代5x5卷積；

19、s4、去除最大池化分支，確保節點鄰域特征不會直接被顯著特征覆蓋；

20、s5、得到grainc模型。

21、4、可選的，通過卷積橋構建了圖u-net架構，稱為grau-net模型，將u-net架構從卷積神經網絡遷移到圖神經網絡，遷移的步驟如下：

22、s6、保留了u-net的四階段編碼器結構、四階段解碼器結構以及每個階段之間的跳躍連接；

23、s7、在每個階段的卷積層中，采用了二階鄰居級卷積convg(l＝2)替代標準的33x3卷積，以便從圖中提取局部信息；

24、s8、在池化層中，使用了top-k池化方法替代了u-net架構中使用的傳統最大池化技術；

25、s9、在每次下采樣操作之前，記錄圖結構，以便在解碼階段進行圖上采樣；

26、s10、得到grau-net模型。

27、采用了上述技術方案后，本發明的有益效果是：

28、本發明為了輔助卷積神經網絡向圖神經網絡的有效跨領域遷移，提出了一種新穎的圖與圖像數據對齊策略，命名為卷積橋。基于卷積橋，引入了鄰居級圖卷積，命名為convg。convg是首個將鄰居集作為卷積單元的工作，它展現了傳統卷積的顯著特性并滿足圖的特性。實驗表明，convg在圖任務中具有可解釋性、可擴展性和有效性。基于convg，本發明從cnn中為節點級任務遷移了inception架構，并為圖級任務遷移了u-net架構，分別命名為grainc和grau-net。與之前的遷移模型和當前主流模型相比，本發明的方法具備先進的性能，強有力地證明了本發明遷移方法的有效性。

29、本發明提出了“卷積橋”的創新概念，這是一種旨在優化從卷積神經網絡到圖神經網絡的跨域遷移過程的重要機制。該橋有效地對齊了卷積神經網絡和圖神經網絡之間的數據結構，促進了基于卷積神經網絡的模型向圖領域的無縫遷移。通過這一策略，本發明成功地將inception架構和u-net架構從卷積神經網絡遷移到圖神經網絡，創造了grainc模型和grau-net模型。grainc模型和grau-net模型表現出顯著的競爭力，特別是在密集圖數據集上。這些模型始終超越先進的對手，提供了卷積橋有效性的強有力證據。