本發(fā)明涉及深度學習輕量化領域，特別是涉及一種基于深度學習無需真實樣本參與的模型剪枝方法。

背景技術：

1、在深度學習的實際應用中，存在大量場景需要將模型部署到運算資源、存儲資源受限的硬件上運行。在這種情況下，需要使用輕量化模型，以更小的參數(shù)量、更快的速度完成任務。模型剪枝是模型輕量化的一個重要途徑，其核心思想在于選取信息量高的神經(jīng)元、刪除信息量低的神經(jīng)元。目前的模型剪枝算法對數(shù)據(jù)集具有較強的依賴性，在多數(shù)情況下需要使用真實樣本參與模型驗證過程，或將其他高性能模型的知識作為指導信息，進而判斷關鍵神經(jīng)元。然而，如果在訓練數(shù)據(jù)集不可獲取、無參考模型的情況下，就無法正常進行模型剪枝。對此需要零樣本模型剪枝方法，然而目前的零樣本模型剪枝方法主要基于模型權重系數(shù)，無法分析出神經(jīng)元對具體類別的影響程度。

技術實現(xiàn)思路

1、本發(fā)明的目的在于填補零樣本、基于類別的模型剪枝方法的缺失而提出的一種深度學習模型剪枝方法。技術方案如下：

2、一種深度學習模型剪枝方法：

3、(1)準備一個待剪枝的圖像分類模型m；

4、(2)創(chuàng)建初始隨機圖像，對其進行歸一化，得到初始的深度夢；將初始的深度夢輸入模型m，獲取各個神經(jīng)元的輸出均值o和分類概率向量p；

5、(3)利用分類概率向量p、目標神經(jīng)元輸出均值、神經(jīng)元所屬卷積層的其他神經(jīng)元的輸出均值共同設置損失函數(shù)l，然后利用損失函數(shù)對深度夢進行多輪優(yōu)化，最后進行去歸一化，得到最終的深度夢；將得到的深度夢重新輸入模型m，得到目標類別的預測概率py；

6、(4)根據(jù)目標類別的預測概率py與預設的一個概率閾值pt判斷神經(jīng)元是否對目標類別有著重要意義，從而判斷是否對該神經(jīng)元進行剪枝。

7、本發(fā)明的有益效果是：

8、(1)本發(fā)明是一種零樣本模型剪枝方法，無需真實圖像參與、無需其他模型指引即可判斷關鍵神經(jīng)元。

9、(2)本發(fā)明可運用于多種模型，不依賴于模型結構。

10、(3)本方法經(jīng)過大量的實驗并進行了驗證，有效地提高了方法可靠性。

技術特征：

1.一種深度學習模型剪枝方法，其特征在于，評估模型信息差異的步驟包括：

2.如權利要求1所述的一種深度學習模型剪枝方法，其特征在于：所述步驟(4)中深度夢獲取方法：

3.如權利要求1所述的一種深度學習模型剪枝方法，其特征在于：所述步驟(6)中判斷神經(jīng)元是否為關鍵神經(jīng)元方法：

技術總結
本發(fā)明涉及一種基于深度學習無需真實樣本參與的模型剪枝方法，可解決目前零樣本、基于類別的模型剪枝方法的缺失問題。包括下列步驟：首先準備一個圖像分類模型，然后創(chuàng)建初始隨機圖像，對其進行歸一化之后輸入模型，獲取各個神經(jīng)元的輸出均值和分類概率向量。利用分類概率向量、目標神經(jīng)元輸出均值、神經(jīng)元所屬卷積層的其他神經(jīng)元的輸出均值共同設置損失函數(shù)，然后對深度夢進行多輪優(yōu)化，最后去歸一化得到最終的深度夢。最后將深度夢輸入模型，得到目標類別的預測概率，根據(jù)預測概率與預設的概率閾值判斷神經(jīng)元是否對目標類別有著重要意義，從而判斷是否進行剪枝。本發(fā)明無需真實樣本參與即可判斷神經(jīng)元重要程度，從而進行模型剪枝。

技術研發(fā)人員：肖帥,張茁,李昊宇,奚萌,溫家寶,楊嘉琛
受保護的技術使用者：天津大學
技術研發(fā)日：
技術公布日：2025/4/28