本發明屬于分布式機器學習，具體涉及一種聯邦學習中客戶端數據標簽不平衡檢測方法及系統。

背景技術：

1、聯邦學習是一種分布式機器學習框架，允許多個客戶端在不直接交換數據的情況下共同訓練一個模型。每個客戶端在自己的局部數據上進行模型訓練，然后將更新的模型參數或梯度發送到一個中央服務器進行聚合。這種學習模式保證了數據隱私，同時允許利用分布在全球各地的大規模數據集的優勢。

2、然而，聯邦學習面臨的一個主要問題是客戶端持有的數據的非獨立同分布，尤其是樣本標簽分布的不平衡。在實際應用中，客戶端持有的數據集往往呈現出某些類別的樣本數量遠多于其他類別，或某些類別的樣本幾乎不存在。這種標簽不平衡現象可能導致模型在訓練過程中偏向于多數類，從而忽視那些較少出現的類別，最終影響模型的泛化能力和整體性能。

3、因此，對本領域而言，亟需設計一種能夠有效識別客戶端數據分布偏移的方法來解決上述技術問題。具體而言，通過實時監測數據分布偏移，可以幫助了解客戶端數據的分布特征，確保聯邦學習系統能夠公平地處理不同類型的數據，避免因偏移未被發現而導致模型性能下降，從而提高模型的整體準確性和泛化能力。基于此，本發明提供了一種聯邦學習中客戶端數據標簽不平衡檢測方法及系統。

技術實現思路

1、針對上述現狀，本發明提供了一種聯邦學習中客戶端數據標簽不平衡檢測方法及系統，以有效識別來自不同客戶端的數據分布偏移，即數據標簽不平衡問題。為此，本發明結合生成對抗網絡、深度神經網絡和待訓練的聯邦學習模型，構建了一個綜合性的解決方案。

2、為實現上述目的，本發明首先利用生成對抗網絡建立具有數據分布偏移已知的數據集；其次，在服務器端利用這些數據集和待訓練的聯邦學習模型進行獨立的聯邦學習訓練，并收集待訓練的聯邦學習模型的參數信息和數據分布偏移標簽；最后，利用這些模型參數和數據分布偏移標簽，驅動深度神經網絡進行訓練，從而得到能夠識別數據分布偏移的深度神經網絡模型。本發明具體的技術方案如下：

3、一種聯邦學習中客戶端數據標簽不平衡檢測方法，主要步驟包括數據集預處理階段、虛擬聯邦學習模型訓練階段、數據集構建階段、標簽偏移識別深度神經網絡模型訓練階段、模型部署階段，具體如下：

4、(1)數據集預處理階段

5、使用聯邦學習中服務器持有的驗證數據集和生成對抗網絡來生成各種標簽分布偏移已知的數據集。

6、(2)虛擬聯邦學習模型訓練階段

7、以上一步得到的虛擬客戶端數據集及其已知的數據集分布類型驅動待學習的聯邦學習模型進行訓練；此時，每一個虛擬客戶端待學習的模型都初始化同一個模型m0。

8、(3)特征向量數據集制作階段

9、訓練結束后，提取模型參數作為特征，虛擬客戶端數據集分布類型作為標簽，構成用于訓練客戶端數據集分布類型的新的數據集。

10、(4)標簽偏移識別的深度神經網絡模型訓練階段

11、使用上一步得到的數據集，驅動標簽偏移識別深度神經網絡模型m1，開展深度神經網絡模型學習。

12、(5)模型部署階段

13、完成標簽偏移識別深度神經網絡模型訓練后，將模型部署到實際的聯邦學習服務器中。

14、在實際的聯邦學習訓練過程中，對于新加入的客戶端，將其模型初始化為m0；然后按照與虛擬聯邦學習模型訓練階段中相同的配置，讓真實客戶端使用其私有數據集進行模型訓練，服務器接受其上傳的模型參數；最后服務器提取其上傳的模型參數，輸入上一步中訓練好的模型m1，得到客戶端的數據集標簽偏移分布類型。

15、優選的，步驟(1)具體如下：根據需要的客戶端的標簽分布偏移設置，從服務器持有的驗證數據集中隨機抽樣出對應的數據樣本；將此樣本輸入給由深度神經網絡構成的生成器g和判別器d的生成對抗網絡，生成一個新的數據樣本；最終得到數量足夠且數據樣本標簽已知的虛擬客戶端數據集。

16、優選的，階段(1)數據集預處理和生成對抗網絡生成階段具體如下：

17、對于給定的服務器驗證數據集,根據每個標簽i從數據集中提取單標簽數據集di。每個數據集僅包含標簽為i的樣本，即：

18、

19、其中，xj表示第j個數據樣本，yj表示其對應的標簽，i是標簽。以這些單標簽數據d1,d2,…,dn為基礎，通過生成對抗網絡對這些數據集進行擴充，使得每個單標簽數據集的樣本量足夠大以適應模型訓練。

20、具體而言，本發明構建一個深度神經網絡作為生成器g，用于從每個單標簽數據集中學習數據特征。生成器g的輸入是來自單標簽數據集di的樣本，通過該輸入生成與原始數據集特征相似(可以根據設定閾值判斷)的新樣本。生成器基于目標數據集的特性生成具有類似特征(可以根據設定閾值判斷)的樣本。

21、生成器的損失函數定義為：

22、其中，e表示生成圖像分布與真實圖像分布之間差異的期望，xi′是生成器g生成的樣本集，d(xi′)是判別器判定該樣本集是否為真實的概率。生成器通過最小化這個損失函數來提高生成樣本的質量。

23、生成的新樣本集g(di)會添加到原始數據集中，以擴充樣本量。這意味著，生成器試圖欺騙判別器，讓判別器d認為生成的樣本來自于真實數據，從而逐步提升生成樣本的真實性。

24、判別器d接收來自兩種來源的數據：一部分來自真實的單標簽數據集di,另一部分來自生成器生成的新樣本集g(di)。判別器的目標是將真實數據與生成的數據區分開來。判別器的損失函數定義為：

25、

26、判別器試圖最大化對真實數據的判斷準確性，同時最小化對生成數據的誤判。在生成對抗網絡工作的過程中，生成器和判別器交替進行優化以提升數據質量。判別器執行步驟如下：

27、1.從真實單標簽數據集di中隨機采樣一批次的真實樣本，記為xi。

28、2.使用生成器，從對應的單標簽數據集xi中生成樣本，記為xi′。

29、3.計算判別器的損失函數：

30、

31、其中，m為數據量。

32、4.使用梯度下降法最小化判別器的損失函數，更新判別器參數：

33、

34、其中，η為設定的學習率。

35、生成器執行步驟如下：

36、1.生成器生成樣本xi′,并通過判別器計算這些樣本的真實性得分。

37、2.計算生成器的損失函數：

38、

39、3.使用梯度下降法最小化生成器的損失函數，更新生成器參數：

40、

41、交替進行判別器和生成器的更新，直到生成的樣本滿足設定的預期目標，例如生成器和判別器損失函數收斂至穩定值，進行下一個單標簽數據集的訓練,直到所有類別的數據集都訓練完成。

42、優選的，階段(2)模型訓練階段具體如下：

43、在得到的每個數據集中取相同數量的樣本，形成新的數據集

44、首先，從基礎數據集中確定主類數據的比例，以生成具有不同數據分布偏移特性的新數據集。

45、在服務器端設立初始全局模型m0。根據前一步生成的n個數據分布偏移數據集為每個數據集配置獨立的訓練任務。

46、每個數據集將單獨使用初始化模型m0進行訓練，設置每個數據集的本地迭代更新次數e以及學習率η，并為每個訓練任務使用相同的訓練模型結構、損失函數和優化算法。這些參數在各數據集間保持一致，以確保模型的訓練過程具有可比性和一致性。在這一過程中的所有設置與訓練都在服務器中進行。

47、在配置完成后，服務器啟動所有獨立的訓練任務。

48、每個數據集進行獨立的迭代更新。對于每個數據集，在每輪訓練中，首先通過模型f(xi；θt)對輸入樣本xi進行前向傳播計算預測值θt是第t輪迭代時的模型參數，包括權重wt和偏置bt。

49、接下來，根據真實標簽yi和預測值計算損失函數lt,公式如下：

50、

51、其中，m為樣本數量，采用交叉熵損失函數。損失函數的梯度lt通過反向傳播算法計算得到：

52、

53、然后，使用學習率η對模型參數θt進行更新：

54、

55、其中，wt+1和bti1是第t+1輪迭代后的模型權重和偏置。在每輪迭代中，模型參數θt不斷更新，經過多個前向傳播和后向傳播的循環逐漸優化模型性能。最終在達到預定的訓練輪次t后，記錄下模型的最終參數θt。

56、該過程重復進行，每個數據集獨立完成訓練，直到所有數據集的模型參數都達到預期性能要求。

57、優選的，階段(3)特征向量數據集制作階段具體如下：

58、訓練完成后，服務器收集每個數據集訓練后的模型參數信息θn，它包括權重w和偏置。使用收集到的模型參數展平構建特征向量。每個特征向量vi包含來自特定數據集的模型參數θn，形成后續學習任務的輸入特征。

59、每個特征向量vn配備一個標簽ln，該標簽結合數據集的數據分布偏移配置進行定義。標簽格式為“數據分布偏移”，其中數據分布偏移部分表示數據集中各標簽的比例。

60、模型參數向量vn和標簽ln形成樣本對<vn,ln>。將所有生成的特征向量vn和對應的標簽ln整合成最終的訓練數據集，并以csv格式存儲。每一行代表一個樣本，包含一系列的特征值和一個標簽。公式如下：

61、csv_row＝{vn,ln}

62、特征向量由模型參數數據構成，每個特征代表模型在特定數據集上的參數值。最終的數據集文件將存儲在服務器或云存儲系統中，用于后續的模型訓練或分析。

63、對收集的模型參數數據進行驗證，檢查數據完整性和準確性。刪除任何異常值或損壞的數據點，確保每個特征向量vn都完整無誤，且標簽ln正確反映了數據分布偏移配置。

64、通過使用多個不同分布偏移的數據集多次進行如上所示的訓練過程，生成足量的樣本數據集，為后續的分類或回歸任務提供充足的訓練數據。

65、優選的，步驟(4)中，m1采用多層感知機結構，采用交叉熵損失函數進行訓練，優化模型以精確預測標簽分布分類。

66、優選的，階段(4)標簽偏移識別模型訓練階段具體如下：

67、使用準備好的樣本進行數據分布偏移檢測模型的訓練，選擇深度神經網絡作為訓練模型，具體采用多層感知機結構，包括一個輸入層，若干隱藏層，以及一個輸出層。

68、輸入層的維度與特征向量的維度相匹配，隱藏層使用relu激活函數增加非線性處理能力，輸出層的激活函數選擇softmax函數。

69、具體訓練過程如下：

70、將每個數據集中的特征向量輸入深度神經網絡進行訓練，模型在每次迭代中計算每個特征向量的線性組合結果z，該值用于預測數據集的數據分布偏移程度。

71、計算并應用均方誤差損失函數來評估模型的預測準確性，損失函數公式為：

72、

73、其中，y是實際的標簽值，是模型的預測值，n是樣本數量。

74、使用反向傳播算法自動計算損失函數關于每個權重的梯度，然后應用梯度下降法來更新網絡的權重和偏置。每個權重的更新公式為：

75、

76、其中，η表示學習率，是損失函數對權重的梯度。此訓練過程重復進行，直至達到預定的訓練輪次或模型性能達到滿意程度。

77、在訓練完成后，從中央服務器收集并反饋訓練過程中的重要信息，包括全局模型在訓練集和驗證集上的性能。

78、模型性能評估包括計算準確率、召回率和f1分數，以確保模型整體性能的全面評估。

79、根據評估結果，調整網絡結構和超參數，或重新獲取更多梯度下降樣本，重新訓練模型以優化性能。

80、優選的，階段(5)模型部署階段具體如下：

81、在完成標簽偏移識別深度神經網絡模型的訓練和驗證后，模型被部署到實際的聯邦學習服務器中，對于新加入的客戶端，首先將其本地模型初始化為初始模型m0。

82、客戶端使用其私有數據集進行模型訓練，訓練過程遵循與階段(2)訓練中相同的參數設置。完成訓練后，客戶端將其本地訓練得到的模型參數上傳到聯邦學習服務器。

83、服務器接收客戶端上傳的模型參數，并結合之前步驟中訓練的模型m1進行分析。通過提取客戶端上傳的相關模型參數，服務器能夠識別并推測客戶端數據集的標簽偏移分布類型。部署的模型分析接收到的梯度數據，預測數據集的偏移程度。模型的預測結果指導客戶端調整其數據采集或訓練策略，可以起到減少數據偏移，提高模型的整體訓練效果和準確性的效果。

84、本發明還公開了一種聯邦學習環境下的客戶端數據標簽不平衡檢測系統，用于執行上述的方法，其包括如下模塊：

85、數據集預處理模塊：使用聯邦學習中服務器持有的驗證數據集和生成對抗網絡來生成各種標簽分布偏移已知的數據集；此模塊對服務器持有的驗證數據集進行預處理，整理出僅有單標簽的多個數據集。

86、生成對抗網絡模塊：根據客戶端的標簽分布偏移設置，從服務器持有的驗證數據集中隨機抽樣出對應的數據樣本；將此數據樣本輸入由深度神經網絡構成的生成器g和判別器d構成的生成對抗網絡，生成新的數據樣本；最終得到設定數量且數據樣本標簽已知的虛擬客戶端數據集；本模塊中，生成對抗網絡包含一個生成器和一個判別器，用于生成具有指定特性的數據樣本。

87、模型訓練模塊：以得到的虛擬客戶端數據集及其已知的數據集分布類型驅動待學習的聯邦學習模型進行訓練；每一個虛擬客戶端待學習的模型都初始化同一個模型m0；本模塊中，在服務器端進行各數據集的獨立訓練任務管理，負責組織和協調整個訓練流程。該模塊的主要職責包括模型的初始化、訓練任務的分配、以及每個數據集訓練完成后的模型參數收集，并處理與訓練相關的所有協調工作，確保最終生成的模型參數能夠用于后續的分析和應用。

88、標簽偏移檢測與特征向量生成模塊：模型訓練模塊執行訓練結束后，提取模型參數作為特征，虛擬客戶端數據集分布類型作為標簽，構成用于訓練客戶端數據集分布類型的新的數據集；根據在模型訓練過程中收集的模型參數信息，本模塊生成特征向量，并結合數據集的實際標簽偏移情況以及迭代的輪次，為每個向量分配相應的標簽。

89、深度神經網絡訓練模塊：使用標簽偏移檢測與特征向量生成模塊得到的數據集，驅動標簽偏移識別深度神經網絡模型m1，開展深度神經網絡模型學習；本模塊使用前階段生成的特征向量和標簽，訓練深度神經網絡來識別數據中的標簽偏移。深度神經網絡模型采用多層感知機結構，利用均方誤差損失函數進行訓練，優化模型以精確預測標簽偏移情況。

90、模型部署模塊：完成標簽偏移識別深度神經網絡模型的訓練后，將模型部署到實際聯邦學習生產環境中。部署的模型可以實時監測客戶端的數據集標簽偏移情況。

91、本發明利用生成對抗網絡和抽樣技術建立具有數據分布偏移的數據集，并在服務器端對這些數據集進行獨立訓練，收集訓練后的模型參數信息。通過這些模型參數，結合深度神經網絡進行進一步的訓練，從而構建能夠準確識別數據分布偏移的模型。

92、本發明結合了生成對抗網絡、深度神經網絡和聯邦學習框架，提供了一種聯邦學習環境下的客戶端數據標簽不平衡檢測方法及系統，以有效識別和處理來自多個數據源的數據分布偏移問題。

93、本發明致力于檢測聯邦學習環境中的數據標簽不平衡問題，并準確展示數據的實際分布情況。本發明設計可與其他數據預處理或模型調整技術結合，形成一個更為全面的策略。具體來說，本發明可指導實施數據重采樣或模型權重調整等調整措施，有效對抗由數據偏移引起的問題。這種針對性的訓練策略加強了模型處理來自多源非均勻數據的能力，從而提高了模型在實際應用中的準確性和公平性。