本申請屬于人工智能，尤其涉及一種醫療影像診斷報告生成方法、裝置、設備、介質及產品。

背景技術：

1、隨著醫院信息化進程的推進和電子病歷系統的普及，醫療數據的規模不斷擴大，呈現出復雜化的趨勢。為了提高醫療服務效率，減輕醫生的工作負擔，研發能夠自動生成高質量醫療報告的技術得到了廣泛關注。放射學報告生成技術作為自然語言處理的一個重要應用，能夠有效地解讀放射學醫療圖像，提取出簡潔、準確的文本報告供醫護人員參考，對于提升醫療工作流程效率具有重要的推動作用。

2、放射學報告生成任務面臨兩個特有的挑戰。其一，視覺數據存在偏差，在數據集中無病理癥狀的正常圖像的數量遠遠超過異常圖像。因此，這種不平衡的視覺數據分布會影響模型的注意力，使其無法準確捕捉罕見且多樣的異常區域的特征。其二，文本數據存在偏差，在報告中，放射科醫生往往會描述圖像中的所有項目，導致整個報告里大多數都是對正常區域的描述。此外，還有許多相似的句子用于描述相同的正常區域。由于這種不平衡的文本分布，使用這樣的數據集進行訓練會導致生成的句子以描述正常區域為主，無法使模型準確描述關鍵的異常情況。

3、為了應對放射學報告生成方法的特有挑戰，近期的研究主要集中在跨模態對齊與視覺特征的過濾上。然而，相關技術中在處理放射學圖像報告時將自然圖像標注的每一個單詞視為同等重要性，忽視疾病關鍵詞的重要性，可能影響報告的臨床相關性并忽視圖像中疾病表現的相互關系。

技術實現思路

1、本申請實施例提供一種醫療影像診斷報告生成方法、裝置、設備、介質及產品，用以至少解決相關技術中忽視疾病關鍵詞的重要性導致影響報告的臨床相關性和忽視圖像中疾病表現的相互關系的問題。

2、第一方面，本申請實施例提供一種醫療影像診斷報告生成方法，包括：

3、利用預先訓練的放射學圖像編碼器提取預設部位的放射學圖像，得到放射學圖像特征；

4、利用預先訓練的醫療圖編碼器對預先構建的醫療知識圖譜進行編碼，得到醫療知識圖譜特征，所述醫療知識圖譜包括與預設部位相匹配的若干個疾病關鍵詞；

5、利用圖注意力機制將所述放射學圖像特征和醫療知識圖譜特征融合，得到視覺融合特征；

6、將所述視覺融合特征輸入到預先訓練的目標預測模型中，得到對應的目標連續語義空間向量；

7、利用預設映射函數，將所述目標連續語義空間向量映射為目標離散詞語；

8、根據所述目標離散詞語，生成醫療影像診斷報告。

9、第二方面，本申請實施例提供了一種醫療影像診斷報告生成裝置，所述裝置包括：

10、提取模塊，用于利用預先訓練的放射學圖像編碼器提取預設部位的放射學圖像，得到放射學圖像特征；

11、編碼模塊，用于利用預先訓練的醫療圖編碼器對預先構建的醫療知識圖譜進行編碼，得到醫療知識圖譜特征，所述醫療知識圖譜包括與預設部位相匹配的若干個疾病關鍵詞；

12、融合模塊，用于利用圖注意力機制將所述放射學圖像特征和醫療知識圖譜特征融合，得到視覺融合特征；

13、輸入模塊，用于將所述視覺融合特征輸入到預先訓練的目標預測模型中，得到對應的目標連續語義空間向量；

14、映射模塊，用于利用預設映射函數，將所述目標連續語義空間向量映射為目標離散詞語；

15、生成模塊，用于根據所述目標離散詞語，生成醫療影像診斷報告。

16、第三方面，本申請實施例提供了一種電子設備，該電子設備包括：處理器以及存儲有計算機程序指令的存儲器；處理器執行所述計算機程序指令時實現如第一方面的任一項實施例中所述的醫療影像診斷報告生成方法的步驟。

17、第四方面，本申請實施例提供了一種計算機可讀存儲介質，計算機可讀存儲介質上存儲有計算機程序指令，計算機程序指令被處理器執行時實現如第一方面的任一項實施例中所述的醫療影像診斷報告生成方法的步驟。

18、第五方面，本申請實施例提供一種計算機程序產品，所述程序產品被存儲在存儲介質中，所述程序產品被至少一個處理器執行以實現如本申請實施例第一方面提供的醫療影像診斷報告生成方法的步驟。

19、本申請實施例的醫療影像診斷報告生成方法、裝置、設備、介質及產品，提取放射學圖像的圖像特征，編碼醫療知識圖譜作為先驗知識幫助識別圖像中的異常區域，并通過疾病關鍵詞的建模考慮了一些疾病表現之間的相關性，然后利用圖注意力機制整合提取到的圖像特征和醫療知識圖譜特征得到視覺融合特征；將視覺融合特征輸入到預先訓練的目標預測模型中最終得到預測的連續語義空間向量，進而通過離散詞語與連續語義空間向量的映射得到生成的放射學醫療報告，能夠準確對齊醫療圖像特征和文本疾病關鍵字表示，進一步提高了診斷報告生成的準確性。

技術特征：

1.一種醫療影像診斷報告生成方法，其特征在于，包括：

2.根據權利要求1所述的方法，其特征在于，在將所述視覺融合特征輸入到預先訓練的預測模型中之前，所述方法還包括：

3.根據權利要求1所述的方法，其特征在于，所述醫療知識圖譜包括若干個實體節點和一個指向全局特征的根節點以及鄰接矩陣，所述鄰接矩陣表征邊，所述實體節點與所述疾病關鍵詞一一對應。

4.根據權利要求2所述的方法，其特征在于，所述目標損失函數是根據預設權重值，將所述文本擴散損失函數和輔助病變分類損失函數按照各自對應的所述預設權重值相加后得到的。

5.根據權利要求2或4所述的方法，其特征在于，在利用圖注意力機制將所述樣本圖像特征和樣本知識圖譜特征融合，得到樣本視覺融合特征之后，在以所述樣本視覺融合特征為預測模型的輸入，以所述文本報告為所述預測模型的輸出，訓練所述預測模型之前，所述方法還包括：

6.根據權利要求2或4所述的方法，其特征在于，在利用圖注意力機制將所述樣本圖像特征和樣本知識圖譜特征融合，得到樣本視覺融合特征之后，在以所述樣本視覺融合特征為預測模型的輸入，以所述文本報告為所述預測模型的輸出，訓練所述預測模型之前，所述方法還包括：

7.一種醫療影像診斷報告生成裝置，其特征在于，所述裝置包括：

8.一種電子設備，其特征在于，所述設備包括：處理器以及存儲有計算機程序指令的存儲器；所述處理器調用所述計算機程序指令時實現如權利要求1-6中任意一項所述的醫療影像診斷報告生成方法。

9.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質上存儲有計算機程序指令，所述計算機程序指令被處理器調用時實現如權利要求1-6中任意一項所述的醫療影像診斷報告生成方法。

10.一種計算機程序產品，其特征在于，所述計算機程序產品中的指令由電子設備的處理器執行時，使得所述電子設備執行如權利要求1-6中任意一項所述的醫療影像診斷報告生成方法。

技術總結
本申請公開了一種醫療影像診斷報告生成方法、裝置、設備、介質及產品。所述方法提取放射學圖像的圖像特征，編碼醫療知識圖譜作為先驗知識幫助識別圖像中的異常區域，并通過疾病關鍵詞的建模考慮了一些疾病表現之間的相關性，然后利用圖注意力機制整合提取到的圖像特征和醫療知識圖譜特征得到視覺融合特征；將視覺融合特征輸入到預先訓練的目標預測模型中最終得到預測的連續語義空間向量，進而通過離散詞語與連續語義空間向量的映射得到生成的放射學醫療報告，能夠準確對齊醫療圖像特征和文本疾病關鍵字表示，進一步提高了診斷報告生成的準確性。

技術研發人員：畢嚴先,張瑞,武振江,歐陽歡,常征,林立涵,李思
受保護的技術使用者：中國電子科技集團有限公司電子科學研究院
技術研發日：
技術公布日：2025/4/28