本發明屬于數據驅動，尤其涉及一種基于多任務學習的不平衡回歸問題解決方法。

背景技術：

1、在現代工業生產中，數據驅動決策已成為提升效率和降低成本的重要手段。然而，回歸分析作為一種關鍵的統計工具，常常面臨數據不平衡的問題，這會導致模型在某些重要類別的預測精度下降，從而影響整個系統的性能。例如，在質量控制和設備故障預測等應用中，少數類別的樣本往往承載了關鍵信息，而多數類別的樣本則可能占據數據集的絕大部分。這種不平衡現象使傳統回歸模型難以有效學習少數類別的特征，從而導致決策失誤。因此，開發能夠有效處理不平衡回歸問題的新方法具有重要的實際意義。

2、不平衡數據下的回歸任務面臨以下獨特挑戰：

3、1）缺乏明確的類別邊界：與分類任務不同，回歸任務處理的是連續目標值，沒有清晰的類邊界，導致數據模式的學習受到影響。

4、2）采樣與增強方法的局限性：直接重采樣和常用的數據增強方法可能會破壞回歸任務中的特征與目標變量的關系，導致模型無法準確捕捉真實數據模式。

5、4）過擬合問題：連續目標值使模型容易對稀疏區域的噪聲和特定模式過擬合，降低模型的泛化能力。

6、5）計算復雜性：雖然集成方法對回歸任務表現良好，但其高計算需求限制了在工業應用中的使用，因此需要更高效的方法來處理不平衡數據。

7、針對上述挑戰，本發明提出了一種基于多任務學習的不平衡回歸問題解決方法。

技術實現思路

1、本發明的目的在于提供一種基于多任務學習的不平衡回歸問題解決方法，旨在解決上述背景技術中提出的問題。

2、為實現上述目的，本發明提供如下技術方案：

3、一種基于多任務學習的不平衡回歸問題解決方法，包括以下步驟：

4、步驟s1、多任務學習模型設計：在硬參數共享框架下，設計多任務學習網絡架構，定義共享基礎網絡，共享基礎網絡用于提取輸入數據的共性特征，在數據稀缺的情況下，輔助任務引入與主任務不同的梯度信息；設計任務特定層，任務特定層用于處理與主任務和輔助任務相關的特定信息，捕捉每個任務的個性化特征；

5、步驟s2、損失函數與優化策略：定義主任務和輔助任務的總損失函數，包括主任務的損失和所有輔助任務的損失，并通過各自的權重進行平衡；

6、步驟s3、自適應損失函數：通過自適應梯度縮放和動態調整損失函數權重，在訓練過程中優化主任務的學習效果。

7、進一步的，所述多任務學習網絡架構中，模型參數分為共享參數和特定任務參數，共享參數用于學習所有任務的一般特征，特定任務參數用于捕捉每個任務的個性化特征；

8、共享基礎網絡接收輸入 x，并通過共享參數進行處理，生成一個共享特征；共享基礎網絡的定義如下：

9、式1：；

10、其中表示共享基礎網絡；表示共享參數；表示共享特征；

11、每個任務的頂層網絡都建立在共享特征之上，具體表示為：

12、式2：；

13、其中表示任務 i的預測值；表示任務 t的網絡；表示特定任務參數。

14、進一步的，所述主任務和輔助任務的總損失函數為：

15、式3：；

16、其中是主任務和輔助任務的總損失函數；是主任務的損失；是第 i個輔助任務的損失；分別是主任務和輔助任務的權重；在訓練過程中，模型通過考慮所有任務的損失來優化共享參數和特定任務參數；

17、在訓練過程中，模型參數通過使用學習率進行梯度下降來更新：

18、式4：；

19、其中表示第 t+1次迭代的模型參數；表示第 t次迭代的模型參數； t表示第 t次迭代；是總損失相對于模型參數的梯度：

20、式5：；

21、其中，表示相對于參數的梯度； k是第 k個輔助任務。

22、進一步的，所述自適應梯度縮放的具體方式如下：

23、在每次迭代中，計算主任務和每個輔助任務的損失函數相對于共享參數的梯度；

24、設主任務的梯度為：

25、式6：；

26、其中表示主任務的梯度；表示相對于參數的梯度；

27、對于第 i個輔助任務，梯度為：

28、式7：；

29、其中表示第 i個輔助任務的梯度；

30、對于每個任務，計算梯度的l2范數，以測量其大小：

31、式8：；

32、式9：；

33、其中表示主任務梯度；表示輔助任務 i的梯度；

34、根據每個任務的梯度l2范數，計算每個任務的縮放因子：

35、式10：；

36、其中表示第一個輔助任務的梯度；表示第k個輔助任務的梯度；表示任務 i的梯度；

37、將每個任務的梯度乘以其對應的縮放因子和當前損失權重：

38、式11：；

39、其中表示任務 i調整后的梯度；

40、在應用縮放因子和權重后，通過反向傳播更新模型參數：

41、式12：；

42、其中，是主任務和所有輔助任務的梯度加權和。

43、進一步的，所述動態調整損失函數的具體方式如下：

44、在訓練初期，所有任務的權重設置為相似值，以促進共同特征的學習；隨著訓練的深入，主任務的權重逐漸增加，輔助任務的權重逐步降低；在最后一個周期，主任務的權重達到1，輔助任務的權重降至0。

45、與現有技術相比，本發明的有益效果是：

46、1、本發明通過多任務學習框架，有效利用輔助任務的知識，顯著提升主任務在不平衡數據條件下的預測準確性。

47、2、本發明利用輔助任務提供的額外信息和約束，使得模型在數據稀缺的區域能夠更好地學習，從而緩解不平衡數據帶來的挑戰。

48、3、本發明結合自適應梯度縮放與動態調整損失函數權重，有效平衡了不同任務在訓練過程中的梯度貢獻，提高了訓練過程的穩定性和收斂速度。

49、4、本發明在訓練后可以修剪輔助任務分支，使模型大小與單任務學習模型大小相當。這種精簡能力確保了多任務學習方法在實際應用中的高效性和資源友好性，適合在資源受限的環境中部署。

技術特征：

1.一種基于多任務學習的不平衡回歸問題解決方法，其特征在于，包括以下步驟：

2.根據權利要求1所述的基于多任務學習的不平衡回歸問題解決方法，其特征在于，所述多任務學習網絡架構中，模型參數分為共享參數和特定任務參數，共享參數用于學習所有任務的一般特征，特定任務參數用于捕捉每個任務的個性化特征；

3.根據權利要求1所述的基于多任務學習的不平衡回歸問題解決方法，其特征在于，所述主任務和輔助任務的總損失函數為：

4.根據權利要求3所述的基于多任務學習的不平衡回歸問題解決方法，其特征在于，所述自適應梯度縮放的具體方式如下：

5.根據權利要求1所述的基于多任務學習的不平衡回歸問題解決方法，其特征在于，所述動態調整損失函數的具體方式如下：

技術總結
本發明適用于數據驅動技術領域，提供了一種基于多任務學習的不平衡回歸問題解決方法。本發明通過多任務學習框架，有效利用輔助任務的知識，顯著提升主任務在不平衡數據條件下的預測準確性；利用輔助任務提供的額外信息和約束，使得模型在數據稀缺的區域能夠更好地學習，從而緩解不平衡數據帶來的挑戰；結合自適應梯度縮放與動態調整損失函數權重，有效平衡了不同任務在訓練過程中的梯度貢獻，提高了訓練過程的穩定性和收斂速度；在訓練后，本發明支持修剪輔助任務分支，使模型大小與單任務學習模型大小相當。這種精簡能力確保了多任務學習方法在實際應用中的高效性和資源友好性，適合在資源受限的環境中部署。

技術研發人員：胡云峰,劉宏,孫耀,趙封鑫,張沖,程震,許可,宮洵
受保護的技術使用者：吉林大學
技術研發日：
技術公布日：2025/4/28