本發明涉及計算機視覺，尤其是涉及一種基于擴散概率模型的圖像生成方法、電子設備、存儲介質。

背景技術：

1、擴散概率模型作為一種前沿的生成模型，近年來在數據生成領域展現了巨大的潛力。它能夠從給定的數據集中學習數據的分布特性，并生成與該數據分布相符的新數據。擴散概率模型的訓練過程，通常涉及一個逐步向數據添加噪聲的過程，直至數據變得幾乎無法從中提取有用信息，然后再學習一個逆向過程，即從噪聲中逐步恢復出原始數據。這種獨特的訓練方式使得擴散概率模型能夠捕捉到數據中的復雜結構和高階統計特性。

2、然而，盡管擴散概率模型在理論上具有強大的生成能力，但在實際應用中，其生成效果仍然存在一定的不足。特別是在圖像生成領域，生成的圖片中往往存在物體形變、物體關鍵部位缺失、關鍵特征生成錯誤等問題。這些問題嚴重影響了生成圖片的質量和實用性

3、為了改善擴散概率模型的生成效果，現有的方法通常采用增加網絡深度、擴大網絡規模的方式。然而，這種方法雖然在一定程度上能夠提高生成質量，但同時也帶來了極大的計算復雜度。傳統的計算資源已經難以滿足這種大規模網絡的訓練需求，導致模型在實際應用中的部署和推理成本高昂。

技術實現思路

1、本發明的目的就是為了克服上述現有技術存在的缺陷而提供一種基于擴散概率模型的圖像生成方法、電子設備、存儲介質，以解決或部分解決現有方法中生成圖像存在的物體形變、關鍵部位缺失的問題。

2、本發明的目的可以通過以下技術方案來實現：

3、本發明的一個方面，提供了一種基于擴散概率模型的圖像生成方法，利用預訓練好的擴散概率模型生成圖像，其中，所述擴散概率模型的訓練過程包括如下步驟：

4、獲取原始訓練樣本，利用圖像特征提取網絡提取得到圖像特征向量；

5、基于所述圖像特征向量，利用帶溫度的softmax層得到類別向量；

6、基于隨機采樣的噪聲等級，對所述原始訓練樣本進行加噪，得到加噪訓練樣本；

7、基于所述加噪訓練樣本、所述噪聲等級和所述類別向量，利用去噪神經網絡得到預測樣本；

8、基于所述原始訓練樣本和預測樣本，通過計算訓練誤差，更新所述圖像特征提取網絡和所述去噪神經網絡，實現擴散概率模型的訓練。

9、作為優選的技術方案，所述的圖像特征向量采用下式計算：

10、f＝featureexactor(x0；w2)

11、其中，f是圖像特征向量，featureexactor()表示圖像特征提取網絡，x0表示輸入的原始訓練樣本，w2表示可訓練的圖像特征提取網絡的權重。

12、作為優選的技術方案，所述的類別向量采用下式計算：

13、

14、其中，ci為類別向量c的第i個元素，fi表示圖像特征向量f的第i個元素，t為預設的溫度，k為預設的類別數量。

15、作為優選的技術方案，所述的加噪訓練樣本采用下式獲?。?/p>

16、

17、其中，xt是加噪訓練樣本，x0是所述原始訓練樣本，t為在區間內隨機采樣的噪聲等級，z表示隨機采樣的與所述原始訓練樣本同維度的標準多維高斯噪聲。

18、作為優選的技術方案，所述的預測樣本采用下式獲取：

19、

20、其中，為預測樣本，d()表示去噪神經網絡，xt、t、c、w1分別表示加噪訓練樣本、在區間內隨機采樣的噪聲等級、類別向量和可訓練的去噪神經網絡權重。

21、作為優選的技術方案，所述的訓練誤差采用下式計算：

22、

23、其中，l為訓練誤差，mse()為均方誤差函數，表示預測樣本，x0表示原始訓練樣本。

24、作為優選的技術方案，所述的原始訓練樣本的生成過程包括如下步驟：

25、獲取圖像數據，通過大小調整將圖片處理為預設大小，構建訓練樣本。

26、作為優選的技術方案，所述擴散概率模型的訓練過程還包括如下步驟

27、重復進行多次訓練，直至達到預設的訓練次數上限。

28、作為優選的技術方案，利用預訓練好的擴散概率模型生成圖像的過程包括如下步驟：

29、隨機采樣一個大小為預設的類別數量的獨熱向量，在多步的去噪過程中，每一步都將所述獨熱向量輸入所述去噪神經網絡，實現圖像生成。

30、優選的，多步去噪過程按如下方式進行迭代：

31、

32、其中，t為預設的迭代次數，i＝t,t-1,…,1，d()表示去噪神經網絡，g表示大小為預設類別數量的獨熱向量，w1為去噪神經網絡的權重，初始的yt為隨機采樣的標準多維高斯噪聲，經過t步迭代后得到的y0即為最終生成的圖像。

33、本發明的另一個方面，提供了一種電子設備，包括：一個或多個處理器以及存儲器，所述存儲器內儲存有一個或多個程序，所述一個或多個程序包括用于執行前述基于擴散概率模型的圖像生成方法的指令。

34、本發明的另一個方面，提供了一種計算機可讀存儲介質，包括供電子設備的一個或多個處理器執行的一個或多個程序，所述一個或多個程序包括用于執行前述基于擴散概率模型的圖像生成方法的指令。

35、與現有技術相比，本發明至少具有以下有益效果：

36、生成圖片與特定類別的特性更加匹配：本發明通過在擴散概率模型的訓練過程中引入了可訓練的類別信息，通過類別向量的引導，使得生成的圖像更符合特定類別的特性，有效解決了現有方法中生成圖像存在的物體形變、關鍵部位缺失等問題，同時不需要圖像數據集本身具有類別信息，減小了數據獲取的難度。

技術特征：

1.一種基于擴散概率模型的圖像生成方法，其特征在于，利用預訓練好的擴散概率模型生成圖像，其中，所述擴散概率模型的訓練過程包括如下步驟：

2.根據權利要求1所述的一種基于擴散概率模型的圖像生成方法，其特征在于，所述的圖像特征向量采用下式計算：

3.根據權利要求1所述的一種基于擴散概率模型的圖像生成方法，其特征在于，所述的類別向量采用下式計算：

4.根據權利要求1所述的一種基于擴散概率模型的圖像生成方法，其特征在于，所述的加噪訓練樣本采用下式獲?。?/p>

5.根據權利要求1所述的一種基于擴散概率模型的圖像生成方法，其特征在于，所述的預測樣本采用下式獲取：

6.根據權利要求1所述的一種基于擴散概率模型的圖像生成方法，其特征在于，所述的訓練誤差采用下式計算：

7.根據權利要求1所述的一種基于擴散概率模型的圖像生成方法，其特征在于，所述的原始訓練樣本的生成過程包括如下步驟：

8.根據權利要求1所述的一種基于擴散概率模型的圖像生成方法，其特征在于，所述利用預訓練好的擴散概率模型生成圖像的過程包括如下步驟：

9.一種電子設備，其特征在于，包括：一個或多個處理器以及存儲器，所述存儲器內儲存有一個或多個程序，所述一個或多個程序包括用于執行如權利要求1-8任一所述基于擴散概率模型的圖像生成方法的指令。

10.一種計算機可讀存儲介質，其特征在于，包括供電子設備的一個或多個處理器執行的一個或多個程序，所述一個或多個程序包括用于執行如權利要求1-8任一所述基于擴散概率模型的圖像生成方法的指令。

技術總結
本發明涉及一種基于擴散概率模型的圖像生成方法、電子設備、存儲介質，利用預訓練好的擴散概率模型生成圖像，擴散概率模型的訓練過程包括如下步驟：獲取原始訓練樣本，利用圖像特征提取網絡提取得到圖像特征向量；基于所述圖像特征向量，利用帶溫度的softmax層得到類別向量；基于隨機采樣的噪聲等級，對所述原始訓練樣本進行加噪，得到加噪訓練樣本；基于所述加噪訓練樣本、所述噪聲等級和所述類別向量，利用去噪神經網絡得到預測樣本；基于所述原始訓練樣本和預測樣本，通過計算訓練誤差，更新所述圖像特征提取網絡和所述去噪神經網絡，實現擴散概率模型的訓練。與現有技術相比，本發明具有生成圖片與特定類別的特性更加匹配等優點。

技術研發人員：張晗,張軼飛,陽展韜,程帆
受保護的技術使用者：上海交通大學
技術研發日：
技術公布日：2025/4/28