本發(fā)明屬于隱私計算和數(shù)據(jù)安全領(lǐng)域，具體涉及到基于深度圖相似性學習的個性化聯(lián)邦圖學習方法及系統(tǒng)。

背景技術(shù)：

1、圖神經(jīng)網(wǎng)絡(luò)能夠從現(xiàn)實世界的復(fù)雜圖結(jié)構(gòu)數(shù)據(jù)中進行特征提取并學習嵌入表示，在各個領(lǐng)域有著豐富的應(yīng)用。圖神經(jīng)網(wǎng)絡(luò)模型的訓練需要大數(shù)據(jù)作為基本條件，然而隨著社會對于個人隱私和數(shù)據(jù)安全的愈發(fā)重視，國內(nèi)外陸續(xù)出臺各項隱私相關(guān)的法律法規(guī)，加強了對于數(shù)據(jù)隱私的監(jiān)管力度，特別是對于圖數(shù)據(jù)這樣的結(jié)構(gòu)化數(shù)據(jù)。對于個人來說，大數(shù)據(jù)通常包含著個人身份、興趣愛好、地理位置等敏感信息，一旦泄露可能會帶來安全隱患；對于企業(yè)來說，數(shù)據(jù)是其命脈之一，經(jīng)營數(shù)據(jù)通常涉及到商業(yè)機密，一旦泄露可能對企業(yè)經(jīng)營會造成毀滅性的打擊。因此，現(xiàn)實中的圖數(shù)據(jù)通常分布在多方數(shù)據(jù)持有者自身手中，出于對隱私問題的考慮，無法直接將其集中起來進行存儲和利用，從而形成了很多的“數(shù)據(jù)孤島”，使得圖數(shù)據(jù)流通和價值釋放難以實現(xiàn)。

2、隱私計算技術(shù)的出現(xiàn)為數(shù)據(jù)安全流通提供了解決方案，它能夠保證我們的數(shù)據(jù)“可用不可見”，在被外部使用的同時又不會被直接觀察到。其中，聯(lián)邦學習是隱私計算的關(guān)鍵技術(shù)之，它是一種分布式學習范式，通過聯(lián)合多個數(shù)據(jù)持有者即參與方，協(xié)同地進行模型訓練，來實現(xiàn)“數(shù)據(jù)不動模型動”的基本思想。進一步地，通過在圖神經(jīng)網(wǎng)絡(luò)的訓練上引入聯(lián)邦學習框架，能夠?qū)崿F(xiàn)在分布式存儲圖數(shù)據(jù)的前提下協(xié)同訓練圖模型。同時，聯(lián)邦學習也能夠充分利用和發(fā)揮終端設(shè)備的算力，減輕服務(wù)端的計算成本和數(shù)據(jù)存儲需求。然而，在現(xiàn)實生活中，不同參與方的本地數(shù)據(jù)分布通常不一致，即存在數(shù)據(jù)異質(zhì)性問題，這使得聯(lián)邦平均式訓練得到的全局共享模型無法適用于參與方本地數(shù)據(jù)。此外，分布式存儲的圖數(shù)據(jù)在拓撲結(jié)構(gòu)和特征信息方面具有天然的異質(zhì)性，因此數(shù)據(jù)異質(zhì)性問題在聯(lián)邦圖學習場景下更為突出，導(dǎo)致了聯(lián)邦學習訓練時的嚴重模型差異，從而降低全局模型對于本地數(shù)據(jù)的有效性。

3、為了解決聯(lián)邦圖學習場景中數(shù)據(jù)異質(zhì)性導(dǎo)致全局模型效用低的問題，現(xiàn)有的解決方案分為兩類：一類是全局模型法，即基于所有參與方的圖數(shù)據(jù)來訓練全局共享的圖模型，常見策略是重構(gòu)損失函數(shù)、重新設(shè)計加權(quán)聚合系數(shù)和模型插值方法；另一類是個性化模型法，即為每個參與方訓練個性化模型，常見策略是參與方聚類，即具有相似數(shù)據(jù)分布的參與方分到同組內(nèi)共享模型。然而，現(xiàn)有的方案雖然在一定程度上能夠緩解上述問題，但全局模型法的研究大多缺乏對圖數(shù)據(jù)拓撲結(jié)構(gòu)和節(jié)點特征信息的綜合考慮，且個性化模型的研究方案也有類似局限性，大部分基于聚類方法，思路相對單一。根據(jù)聯(lián)邦圖學習場景中訓練數(shù)據(jù)類型的特殊性，需要更多地考慮參與方本地圖數(shù)據(jù)的結(jié)構(gòu)特性來構(gòu)建定制化本地模型，從而更好地適配于本地數(shù)據(jù)。

技術(shù)實現(xiàn)思路

1、鑒于上述現(xiàn)有技術(shù)中存在的問題，提出了本發(fā)明。

2、為解決上述技術(shù)問題，本發(fā)明提供如下技術(shù)方案，基于深度圖相似性學習的個性化聯(lián)邦圖學習方法，包括：收集本地圖數(shù)據(jù)，通過橫向聯(lián)邦平均式學習得到無監(jiān)督圖編碼器；將本地圖數(shù)據(jù)輸入到無監(jiān)督圖編碼器，計算稠密向量；將稠密向量輸入中心服務(wù)器計算相似度，構(gòu)建個性化模型；根據(jù)個性化模型對參與方進行聯(lián)邦迭代訓練。

3、作為本發(fā)明所述的基于深度圖相似性學習的個性化聯(lián)邦圖學習方法的一種優(yōu)選方案，其中：所述收集本地圖數(shù)據(jù)包括，參與方ci對本地圖節(jié)點的特征和鄰接信息進行提取和整合，數(shù)據(jù)表示為，

4、gi＝[vi,ei]

5、其中，gi表示為參與方本地數(shù)據(jù)，vi表示為節(jié)點集，ei表示為邊集。

6、作為本發(fā)明所述的基于深度圖相似性學習的個性化聯(lián)邦圖學習方法的一種優(yōu)選方案，其中：所述無監(jiān)督圖編碼器包括，參與方基于本地數(shù)據(jù)圖數(shù)據(jù)通過聯(lián)邦平均式學習的方式訓練無監(jiān)督編碼器，得到包含全局信息的圖編碼器。

7、作為本發(fā)明所述的基于深度圖相似性學習的個性化聯(lián)邦圖學習方法的一種優(yōu)選方案，其中：所述計算稠密向量包括，各個參與方將本地圖數(shù)據(jù)輸入到無監(jiān)督圖編碼器進行稠密向量的計算，表示為，

8、μi＝f(gi)

9、其中，μi表示為稠密向量，gi表示為參與方本地數(shù)據(jù)，f表示為無監(jiān)督圖編碼器。

10、作為本發(fā)明所述的基于深度圖相似性學習的個性化聯(lián)邦圖學習方法的一種優(yōu)選方案，其中：所述將稠密向量輸入中心服務(wù)器計算相似度包括，計算相似度表示為，

11、

12、其中，s(i,j)為參與方ci和參與方cj之間的相似度。

13、作為本發(fā)明所述的基于深度圖相似性學習的個性化聯(lián)邦圖學習方法的一種優(yōu)選方案，其中：所述個性化模型包括，中心服務(wù)器在每輪迭代基于均勻化標簽分布的策略選擇本輪參與訓練的參與方集合，服務(wù)器計算參與方個性化模型的加權(quán)聚合系數(shù)，表示為，

14、

15、其中，αij為加權(quán)聚合系數(shù)，s(i,j)為參與方ci和參與方cj之間的相似度；

16、對參與方的個性化模型參數(shù)進行聚合計算，表示為，

17、

18、其中，θi為參與方ci的個性化模型，θj為參與方cj的個性化模型；

19、作為本發(fā)明所述的基于深度圖相似性學習的個性化聯(lián)邦圖學習方法的一種優(yōu)選方案，其中：所述根據(jù)個性化模型對參與方進行聯(lián)邦迭代訓練包括，將計算參與方相似度和對參與方個性化模型進行聚合計算作為一個訓練輪次，服務(wù)器在每個輪次的結(jié)束對學習終止條件進行檢測，若達到終止條件，則服務(wù)器向參與方發(fā)起學習終止的廣播，判定本次訓練結(jié)束，若未達到中止條件，則繼續(xù)進行迭代訓練。

20、作為本發(fā)明所述的基于深度圖相似性學習的個性化聯(lián)邦圖學習系統(tǒng)的一種優(yōu)選方案，其中：包括，數(shù)據(jù)收集模塊、向量計算模塊、構(gòu)建模型模塊、迭代訓練模塊；

21、所述數(shù)據(jù)收集模塊，收集本地圖數(shù)據(jù)，通過橫向聯(lián)邦平均式學習得到無監(jiān)督圖編碼器；

22、所述向量計算模塊，將本地圖數(shù)據(jù)輸入到無監(jiān)督圖編碼器，計算稠密向量；

23、所述構(gòu)建模型模塊，將稠密向量輸入中心服務(wù)器計算相似度，構(gòu)建個性化模型；

24、所述迭代訓練模塊，根據(jù)個性化模型對參與方進行聯(lián)邦迭代訓練。

25、一種計算機設(shè)備，包括存儲器和處理器，所述存儲器存儲有計算機程序，其特征在于，所述處理器執(zhí)行所述計算機程序時實現(xiàn)基于深度圖相似性學習的個性化聯(lián)邦圖學習方法中任一項所述的方法的步驟。

26、一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行時實現(xiàn)基于深度圖相似性學習的個性化聯(lián)邦圖學習方法中任一項所述的方法的步驟。

27、本發(fā)明的有益效果：本發(fā)明公開的基于深度圖相似性學習的個性化聯(lián)邦圖學習方法，旨在為存在數(shù)據(jù)異質(zhì)性的參與方提供個性化模型，使其能夠適配于本地圖數(shù)據(jù)。本框架包含基于深度圖相似度學習的個性化參數(shù)聚合機制和基于均勻化標簽分布的參與方選擇機制兩個核心部分組成。前者通過協(xié)同訓練一個無監(jiān)督的圖編碼器，而后基于參與方本地圖數(shù)據(jù)生成低維稠密向量，中心服務(wù)器根據(jù)各個參與方發(fā)送來的向量計算兩兩參與方之間的相似度，通過歸一化的加權(quán)聚合方式，為各個聯(lián)邦參與方計算個性化模型參數(shù)并進行分發(fā)和更新，使得參與方實際得到的模型能夠適配于本地數(shù)據(jù)。后者是對聯(lián)邦學習訓練過程中的參與方選擇過程進行優(yōu)化，在保留隨機性的前提下，基于參與方的樣本數(shù)量和標簽分布情況來選取參與本輪訓練的參與方集合，使得實際參與訓練的數(shù)據(jù)分布盡可能均勻，信息的表征更加全面，從而提升模型的普適性和泛化性。