本發明屬于圖像處理，尤其涉及一種基于相似參考病例的ct圖像合成mr圖像的方法及系統。

背景技術：

1、本部分的陳述僅僅是提供了與本發明相關的背景技術信息，不必然構成在先技術。

2、經驗醫學顯示，放射科醫生在閱過相似病情的醫學圖像后，對于同一類病情判斷校準，及在閱片的過程中可以將相似病情的圖像信息遷移到當前病人的醫學圖像上進行病情對比。如果將生成式對抗神經網絡比作醫生的大腦，該經驗醫學引導將相似病情的數據引入到生成式對抗神經網絡中，可以更好地實現ct數據向mr數據的轉換。然而引入相似參考病例面臨的問題是當前病人與參考病人拍攝圖像是身體體位有移動，同時兩位病人的病情雖相似，但是個體差異性仍然會導致在醫學圖像上表現出差異，從而影響ct圖像合成mr圖像的精確性，降低其實際參考價值。

技術實現思路

1、為了解決上述技術問題，本發明提供一種基于相似參考病例的ct圖像合成mr圖像的方法及系統，其能夠實現更精準的特征匹配和圖像合成。

2、為了實現上述目的，本發明采用如下技術方案：

3、本發明的第一個方面提供了一種基于相似參考病例的ct圖像合成mr圖像的方法。

4、在一個或多個實施例中，提供了一種基于相似參考病例的ct圖像合成mr圖像的方法，包括：

5、獲取2d?ct切片圖像、2d?ct切片圖像對應的高頻信息及相似參考病例的3d?mri圖像；

6、利用生成對抗神經網絡模型對所述2d?ct切片圖像、2d?ct切片圖像對應的高頻信息及相似參考病例的3d?mri圖像進行處理，得到對應mr圖像；

7、其中，所述生成對抗神經網絡模型包括特征編碼器、重采樣和多層感知機模塊、掩膜transformer模塊和特征解碼器；

8、所述特征編碼器用于分別從2d?ct切片圖像、2d?ct切片圖像對應的高頻信息及相似參考病例的3d?mri圖像中，對應提取2d?ct切片特征、2d?ct切片高頻特征及3d?mri特征；

9、所述重采樣和多層感知機模塊用于對2d?ct切片特征及3d?mri特征進行初次篩選，之后再進行對齊融合，得到初次融合特征；

10、所述掩膜transformer模塊用于將初次融合特征與2d?ct切片高頻特征進行匹配二次融合，得到二次融合特征；

11、所述特征解碼器用于將二次融合特征及初次融合特征這兩者進行解碼，得到對應mr圖像。

12、本發明的第二個方面提供了一種基于相似參考病例的ct圖像合成mr圖像的系統。

13、在一個或多個實施例中，一種基于相似參考病例的ct圖像合成mr圖像的系統，包括：

14、信息獲取單元，其用于獲取2d?ct切片圖像、2d?ct切片圖像對應的高頻信息及相似參考病例的3d?mri圖像；

15、圖像生成單元，其用于利用生成對抗神經網絡模型對所述2d?ct切片圖像、2d?ct切片圖像對應的高頻信息及相似參考病例的3d?mri圖像進行處理，得到對應mr圖像；

16、其中，所述生成對抗神經網絡模型包括特征編碼器、重采樣和多層感知機模塊、掩膜transformer模塊和特征解碼器；

17、所述特征編碼器用于分別從2d?ct切片圖像、2d?ct切片圖像對應的高頻信息及相似參考病例的3d?mri圖像中，對應提取2d?ct切片特征、2d?ct切片高頻特征及3d?mri特征；

18、所述重采樣和多層感知機模塊用于對2d?ct切片特征及3d?mri特征進行初次篩選，之后再進行對齊融合，得到初次融合特征；

19、所述掩膜transformer模塊用于將初次融合特征與2d?ct切片高頻特征進行匹配二次融合，得到二次融合特征；

20、所述特征解碼器用于將二次融合特征及初次融合特征這兩者進行解碼，得到對應mr圖像。

21、本發明的第三個方面提供了一種計算機可讀存儲介質。

22、一種計算機可讀存儲介質，其上存儲有計算機程序，該程序被處理器執行時實現如上述所述的基于相似參考病例的ct圖像合成mr圖像的方法中的步驟。

23、本發明的第四個方面提供了一種計算機程序產品。

24、一種計算機程序產品，包括存儲器及處理器，所述存儲器上存儲有計算機程序，該程序被處理器執行時實現如上述所述的基于相似參考病例的ct圖像合成mr圖像的方法中的步驟。

25、本發明的第五個方面提供了一種電子設備。

26、一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述程序時實現如上述所述的基于相似參考病例的ct圖像合成mr圖像的方法中的步驟。

27、與現有技術相比，本發明的有益效果是：

28、（1）本發明采用生成對抗神經網絡（gan）模型，結合相似參考病例的3dmri圖像和ct圖像的高頻信息，解決了從ct圖像合成高質量mr圖像的難題，生成更接近真實mr圖像的合成效果，提升了醫學影像分析的可靠性。

29、（2）本發明通過特征編碼器、重采樣和多層感知機模塊、掩膜transformer模塊和特征解碼器的多模塊協同，解決了ct與mri圖像特征對齊和融合不充分的問題，實現了更精準的特征匹配和圖像合成，避免了圖像失真。

30、（3）本發明利用掩膜transformer模塊，將初次融合特征與ct高頻信息進行二次融合，解決了高頻信息與全局特征融合不充分的問題，生成更豐富的細節和自然的圖像過渡效果，提升了合成mr圖像的質量。

31、（4）本發明引入相似參考病例的3dmri圖像，解決了單一ct圖像信息不足的問題，生成更符合解剖結構和病理特征的合成mr圖像，為臨床診斷提供了更全面的影像支持。

技術特征：

1.一種基于相似參考病例的ct圖像合成mr圖像的方法，其特征在于，包括：

2.如權利要求1所述的基于相似參考病例的ct圖像合成mr圖像的方法，其特征在于，所述特征編碼器包括3d-編碼器和兩個2d-編碼器。

3.如權利要求1所述的基于相似參考病例的ct圖像合成mr圖像的方法，其特征在于，所述重采樣和多層感知機模塊先對3d?mri特征及2d?ct切片特征進行堆疊，得到堆疊的特征，再將堆疊的特征經過gumbel分布進行初次篩選。

4.如權利要求1所述的基于相似參考病例的ct圖像合成mr圖像的方法，其特征在于，在所述特征解碼器中，采用自適應實例歸一化操作將初次融合特征的上一層上采樣的均值和方差均與初次融合特征經全連接層得到的特征均值和方差對齊。

5.如權利要求1所述的基于相似參考病例的ct圖像合成mr圖像的方法，其特征在于，生成對抗神經網絡模型的總損失函數包含對比損失、感知損失、上下文損失和結構損失。

6.如權利要求1所述的基于相似參考病例的ct圖像合成mr圖像的方法，其特征在于，生成對抗神經網絡模型的總損失函數表達式為：

7.一種基于相似參考病例的ct圖像合成mr圖像的系統，其特征在于，包括：

8.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行時實現如權利要求1-6中任一項所述的基于相似參考病例的ct圖像合成mr圖像的方法中的步驟。

9.一種計算機程序產品，包括存儲器及處理器，所述存儲器上存儲有計算機程序，其特征在于，該程序被處理器執行時實現如權利要求1-6中任一項所述的基于相似參考病例的ct圖像合成mr圖像的方法中的步驟。

10.一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現如權利要求1-6中任一項所述的基于相似參考病例的ct圖像合成mr圖像的方法中的步驟。

技術總結
本發明屬于圖像處理技術領域，為了解決CT圖像合成MR圖像的精確性差的問題，提供了一種基于相似參考病例的CT圖像合成MR圖像的方法及系統。其中，基于相似參考病例的CT圖像合成MR圖像的方法包括獲取2D?CT切片圖像、2D?CT切片圖像對應的高頻信息及相似參考病例的3D?MRI圖像；利用生成對抗神經網絡模型對所述2D?CT切片圖像、2D?CT切片圖像對應的高頻信息及相似參考病例的3D?MRI圖像進行處理，得到對應MR圖像；其中，所述生成對抗神經網絡模型包括特征編碼器、重采樣和多層感知機模塊、掩膜Transformer模塊和特征解碼器，其實現了更精準的特征匹配和圖像合成，避免了圖像失真。

技術研發人員：黃偉杰,魏志成,張夢華,張緯峰,劉書浩,劉潤法,李星瑜,程炳萱,王連雷,劉新宇
受保護的技術使用者：濟南大學
技術研發日：
技術公布日：2025/4/28