本發明涉及醫療圖像處理，具體涉及一種基于高斯混合模型的病理切片虛擬染色圖像生成方法。

背景技術：

1、近年來，病理切片虛擬染色領域廣泛采用了基于生成對抗網絡(gan)和cyclegan等方法，將h&e染色組織切片轉換為多種染色圖像。然而，這些深度學習方法仍存在一些明顯的不足。首先，這些模型的訓練通常需要大量標注數據，數據收集和標注成本高昂，限制了其廣泛應用。其次，gan和cyclegan的訓練與推理過程消耗大量計算資源。此外，這些模型結構復雜，訓練過程不透明，導致其解釋和調試變得困難。最后，gan和cyclegan對新數據和未知環境的適應性較差，常需頻繁調整和再訓練以應對新的任務，從而增加了開發和應用的成本。

2、高斯混合模型(gmm,gaussian?mixture?model)是一種廣泛應用于數據分析和模式識別的概率模型，通過將數據表示為多個高斯分布的線性組合，能夠有效捕捉數據的復雜結構和多模態特性。此外，gmm基于概率框架，能夠提供數據生成過程的明確描述。近年來更是在圖像處理、語音識別和生物醫學等領域中扮演著重要角色。采用gmm進行虛擬染色具有諸多優點：

3、(1)對訓練數據的需求較低，可以在有限的數據條件下取得良好效果；

4、(2)其訓練和推理過程相對簡單，計算資源消耗較低，適合在普通計算設備上運行；

5、(3)gmm基于概率模型，每個高斯分量對應數據的一個子群，具有良好的解釋性和透明度，便于理解和調試；

6、(4)利用gmm方法對逐像素顏色進行優化，不需要提前進行配準、分割等先驗知識和結果，計算速度更快，可以實現實時或準實時的虛擬染色，滿足臨床快速診斷的需求。

7、利用高斯混合模型進行虛擬染色，可以有效解決傳統染色方法費時費力的問題，同時克服深度學習方法的高成本和復雜性，為臨床診斷提供了一種高效、低成本、易操作的解決方案。

技術實現思路

1、為了解決上述技術問題，本發明提供一種基于高斯混合模型的病理切片虛擬染色圖像生成方法，屬于醫療圖像處理技術領域。首先將經過h&e染色作為源圖像數據集，將經過ihc染色的病理切片圖像作為目標圖像數據集；并將源圖像數據集中的圖像轉換到對應的yuv顏色空間；提取源圖像的顯著圖和梯度圖，生成加權注意力圖；然后構建gmm建模，使用em算法進行迭代優化，同時引入正則化項保持原圖像的梯度信息；反復迭代直至得到滿意的虛擬染色結果。本發明使用經過預處理的病理切片加權注意力圖作為gmm模型的輸入，通過不同成分的信息判斷組織成分邊界，提高生成的虛擬染色圖像準確率和重建效果。

2、本發明技術方案的具體步驟如下：

3、s1，獲取數據集：將經過蘇木精-伊紅(h&e)染色的病理切片圖像作為源圖像數據集；將經過免疫組織化學(ihc)染色的病理切片圖像作為目標圖像數據集；

4、s2，對源圖像數據集中h&e染色圖像進行預處理，得到源圖像；

5、s3，提取源圖像的顯著性圖和梯度圖，生成加權注意力圖；

6、s4，構建gmm模型；

7、s5，通過em算法迭代優化gmm模型；

8、s6，將待染色圖像輸入優化后的gmm模型，經過顏色映射得到虛擬染色圖像；

9、s7，評估gmm模型效果。

10、進一步，s2中，所述h&e染色圖像的預處理過程如下：

11、s2.1，格式轉換：將tiff格式圖像轉為.png或者.jpg格式圖像；

12、s2.2，圖像裁剪：將.png或者.jpg格式圖像裁剪成分辨率為512×512的圖像塊，確保x軸和y軸方向有重疊，避免生成的圖像中相鄰圖像塊顏色差距較大；

13、s2.3，圖像轉換：將裁剪后的h&e染色圖像根據下列公式從rgb空間轉換到到yuv顏色空間，然后進行顏色統計；以便更好地處理顏色信息；所述轉換方法選擇itu-r?bt.601(sdtv)轉換標準；

14、

15、其中，y、u、v分別為高斯濾波參考圖像顏色通道中的像素值；r、g、b分別代表h&e染色圖像的紅、綠、藍三個顏色通道；

16、s2.4，將經過色彩轉換運算后的yuv圖轉換回rgb空間，轉換公式如下：

17、

18、進一步，s3中，所述顯著性圖提取方法如下：

19、s3.1，計算源圖像yuv顏色空間三個通道像素的均值；

20、s3.2，對源圖像進行平滑處理：對源圖像進行5×5可分離二項核高斯濾波，減少噪聲的同時保持邊緣信息；

21、具體可分離二項核高斯濾波方法如下：

22、對gmm模型預輸入圖像i(x，y)進行x軸方向上的一維卷積，得到中間圖像j(x，y)：

23、

24、對中間圖像j(x，y)進行y軸方向上的一維卷積，得到最終輸出圖像i′(x，y)：

25、

26、其中，x，y表示圖像像素的坐標值；hk表示水平濾波器權重；hz表示垂直濾波器權重；k和z表示卷積核的不同尺度，k，z∈{-2,-1，0，1，2}，對應5×5核；

27、s3.3，通過計算源圖像i(x，y)和高斯濾波生成的圖像i′(x，y)之間的歸一化歐氏距離，獲得顯著圖sm：

28、

29、其中，f是歸一化因子。

30、進一步，s3中，所述梯度圖的提取方法如下：

31、利用sobel濾波器進行卷積計算梯度映射，提取源圖像邊緣，得到源圖像的梯度圖gm；

32、所述sobel濾波器通過兩個3×3的卷積核分別檢測x軸和y軸方向的邊緣；

33、計算x軸方向梯度：

34、計算y軸方向梯度：

35、計算梯度幅值：

36、其中，x軸方向卷積核為kx，y軸方向卷積核為ky；i和j分別代表圖像的行和列坐標；

37、

38、最后對g值進行歸一化得到梯度圖gm。

39、進一步，s3中，所述加權注意力圖的生成方法是：將顯著圖和梯度圖按權重比例融合，即可生成加權注意力圖m；m＝0.5*sm+0.5*gm。

40、進一步，s4中，所述gmm模型構建方法如下：

41、s4.1，數據準備：對輸入至gmm模型中的h&e染色圖像樣本進行數據增強處理，依次執行圖像翻轉、隨機裁剪和隨機加入噪聲；

42、s4.2，將源圖像的加權注意力圖和ihc染色目標圖像作為gmm模型的輸入；

43、s4.3：計算目標圖像的概率密度：作用是量化目標圖像中每個像素屬于混合高斯分布的某個分量的概率，從而實現對圖像像素的分布建模和分類：

44、源圖像的像素集x＝{x1,…,xm,…,xm}，xm∈r3和目標圖像的像素集

45、y＝{y1,…,yk,…,yk}，yk∈r3；

46、目標圖像遵循以源圖像像素集x作為高斯質心的gmm建模顏色分布；yk∈y的概率密度函數p(yk)表述為：

47、

48、其中，p(yk∣xm)表示第m個高斯成分，d是xm和yk的維度，由于顏色是第三個通道，所以，d＝3；對于第m個高斯成分，表示對角協方差矩陣，其中i是單位矩陣，是一個標量，第m個高斯分量的方差，t表示轉置，表示協方差矩陣的逆；此外，所有高斯成分都被賦予了相等的成員概率簡化使得所有gmm質心，在顏色轉移任務中具有同等重要性，gmm質心為轉移圖像中的未知像素值。

49、進一步，s5中，所述em算法迭代優化gmm模型的具體步驟如下：

50、s5.1，通過最小化負對數似然函數e(d,σ)獲得gmm模型的質心d和協方差矩陣σ；

51、所述協方差矩陣σ＝{σ1,…,σm,…,σm}；

52、所述最小化負對數似然函數

53、em算法中，e步驟：

54、其中，是前一次迭代中更新的參數計算后驗概率；

55、em算法中，m步驟：

56、

57、其中，上標“new”表示在本次迭代中使用待估計參數計算后驗概率；

58、更新均值：

59、更新方差：

60、其中，是更新后的高斯分布的均值；是更新后的協方差；

61、s5.2，引入正則化項保持原圖像的梯度信息：

62、在em算法中引入總變差正則化，用于保持圖像的邊緣特征，同時減少噪聲和偽影；

63、s5.3，通過em算法，調整gmm模型參數，使得源圖像的顏色分布逐步匹配目標圖像的顏色分布；根據負對數似然函數的變化判斷em算法是否收斂，若未收斂則返回s5.2繼續迭代；若達到最大迭代次數qmax，停止迭代；

64、gmm模型所涉及的超參數包括：高斯分量數量m，取值范圍為3-10；方差初始值，以控制高斯分布的寬度，取值范圍為0.1-10；em算法中的超參數，正則化權重為λ，取值范圍為0.001-0.1；迭代次數qmax，取值范圍為20-100；收斂閾值判斷∈，取值范圍為10-3-10-6。

65、進一步，s6中，將源圖像顏色映射到所需要的目標圖像，映射公式如下：

66、

67、其中，μm是更新前的高斯分布的均值。

68、進一步，s7中，所述gmm模型效果評估通過采用定量指標和定性評估對虛擬染色結果進行評估；

69、所述定量指標包括峰值信噪比(peak?signal-to-noise?ratio，psnr)和結構相似性(structural?similarity?index?measure，ssim)，所述定性評估包括專家評審。

70、與現有技術相比，本發明技術效果為：本發明采用gmm模型作為主要訓練框架，將h&e染色后的圖像一步轉換為ihc染色后圖像，以方便醫護人員更全面的觀察，以方便醫護人員更全面地觀察和分析組織樣本。同時，使用加權注意力圖作為訓練集輸入，可以根據不同成分的信息準確判斷組織成分的邊界，從而提高生成的虛擬染色圖像的準確性。