本發明涉及醫學影像分析領域，尤其涉及了一種針對淚道造影ct的淚道分割及報告智能撰寫方法及其系統。

背景技術：

1、淚道阻塞是眼部常見疾病之一，在臨床診斷中常用淚道造影ct明確淚道阻塞部位，選擇合適的手術方案。采用醫學影像分析技術并生成報告，可以提高醫生工作效率，提升診療精準度。專利cn117292783a基于歷史檢查報告提取病史信息并生成結構化標簽，以此作為輸入結合當前的診斷描述文本，生成當前檢查的報告，但該方法跳過了影像分析的過程，是一個文本生成文本的過程，提高效率的程度有限。專利cn117352121a首先利用分類器判斷影像表征，再利用影像表征生成影像報告文本，但該方法缺少影像中各組織或表征之間的解剖位置關系信息，因而會影響生成的報告信息完整性。專利cn109961834a同樣采用影像分析獲取第一和第二影像信息，進而獲取第一和第二報告信息，最后利用報告標簽得到報告文本，此類從影像到標簽類信息的方式，對于影像中的信息省略過度，缺少生成報告所需的信息。

技術實現思路

1、為解決現有技術存在的上述缺陷，本發明提供如下技術方案：

2、本發明第第一個方面是提供一種針對淚道造影ct的淚道分割及報告智能撰寫方法，其特征在于，所述的方法包括：

3、步驟1.構建淚道系統三維分割模型，從原始ct影像中分割左右眼球、左右淚囊、左右鼻淚管、鼻骨組織，包括鼻骨、鼻中隔軟骨、鼻翼小軟骨、鼻翼大軟骨、鼻副軟骨，并提取解剖框架線；

4、步驟2.設造影劑的顯影閾值為t，對影像數據進行閾值分割，得到造影劑的二值分割結果；并基于步驟1中的其他區域分割結果，得到去除無關區域的三維影像數據；

5、步驟3.構建多聯專家模型，該模型由一個路由網絡mr和5個專家網絡組成。

6、進一步地，所述的步驟1的具體操作為：

7、步驟1.1人工標注眼球、淚囊、鼻淚管、鼻骨組織n例作為分割訓練集，構建vit3d模型并訓練得到淚道系統三維分割模型mseg；原始影像輸入mseg得到組織分割結果iseg；

8、步驟1.2對鼻淚管的分割結果采用各向異性擴散濾波去躁，并采用最大球提跟蹤算法細化分割結果，得到單像素中心線，并結合拉格朗日多項式進行插值得到鼻淚管中心線；

9、步驟1.3確認鼻淚管中心線是否與淚囊相連。若無連接，采用marching?cubes算法提取淚囊的三維輪廓線，依次與鼻淚管中心線的最高處坐標點計算歐氏距離，選擇距離最近的輪廓上一點與鼻淚管中心線的最高處坐標點相連，得到鼻淚管中心線影像iduct；

10、步驟1.4基于鼻骨組織分割結果(即鼻骨組織坐標處的值為1，其他為0)，將軸向坐標設為z、冠狀位坐標設為y、矢狀位坐標設為x，取冠狀位坐標的最小和最大坐標點(y0,y1)，取軸向坐標的最小和最大坐標點(z0,z1)；

11、步驟1.5從z0遍歷至z1取每一層軸向視圖a；對每一個軸向視圖，從y0遍歷至y1取冠狀位線條c，在每一個冠狀位線條c中，取值為1的最小和最大坐標點(x0,x1)；將x0至x1中的所有點均設為1，再將原本為1的點設為0。重復直到完成所有遍歷，即可得到鼻腔分割結果inasal；

12、步驟1.6將iseg去除鼻骨的像素值再與鼻腔分割結果相加得到iseg2。

13、進一步地，其中步驟2的操作為：

14、步驟2.1將造影劑分割結果和步驟1.1中得到的器官分割結果iseg2相加得到iseg3，并將其中值大于1的像素點設為1，再與原始影像相乘，得到去除無關區域的組織影像數據iorg；

15、進一步地，其中步驟3的操作為：

16、步驟3.1計算組織影像數據iorg、分割結果iseg3、鼻淚管中心線iduct中值不為0像素區域的最小邊界框，并以三者中最大的邊界框為標準，對三個數據進行裁剪；

17、步驟3.2，該多聯專家模型模型以組織影像數據iorg、分割結果iseg3、鼻淚管中心線iduct為輸入，輸出針對淚道堵塞的報告文本；

18、步驟3.3將所有的專家模型輸出的特征fi,4按照概率數組p的比值加權相加并歸一化后，輸入transformer?decoder后經過softmax得到文本輸出，即為針對淚道堵塞的報告文本。

19、進一步地，其中步驟3中，

20、路由網絡分為兩個模塊：跨影像加權模塊和路由決策模塊；

21、跨影像加權模塊包含3個分支，每個分支接收一種輸入，組織影像數據iorg、分割結果iseg3、鼻淚管中心線iduct三種輸入在經過各自分支的transformer編碼器后分別得到對應特征forg、fseg3、fduct；然后經過跨分支權重層后得到權重后特征forg、fseg3、fduct；

22、路由決策模塊由多頭注意力層組成，將三個權重后特征作為多頭注意力層的三個輸入，得到最終特征f，f經過一個全連接層后進行softmax函數后得到長度為5的概率數組p，其中第i維(i∈{0,1,2,3,4})的概率值代表將最終特征f輸入第i個專家網絡的token權重。

23、進一步地，跨分支權重層在三個分支共享權重，以兩個同維度特征f1和f2為輸入，兩個輸入特征降采樣后再相減得到殘差f0，并將f0、f1、f2輸入一個多頭注意力層后得到輸出特征，跨分支權重層將forg、fseg3、fduct兩兩組合分別計算一次，得到forg、fseg3、fduct。

24、進一步地，專家網絡的基礎網絡結構為一個前饋神經網絡，每一個專家網絡代表擅長1個領域的模型，一共包含淚囊異常、鼻淚管異常、鼻腔異常、眼異常、結膜囊異常5個領域，5個專家網絡之間不共享權重，通過概率數組p的分量值計算將特征f的多少token輸入該專家模型，專家模型輸出特征fi,4，其中輸入第i個專家模型的token長度為round(len(f)×pi)，其中len(f)代表特征f的長度，pi為概率數組p的第i維分量，round為四舍五入取整。

25、進一步地，為保證所有專家網絡在訓練時保持負載均衡，避免過度訓練其中少數專家網絡，本發明提出專家路由均衡損失函數l＝lequ+lc，

26、

27、其中，batch_num代表訓練過程中的每批次樣本數，x為專家模型的輸出，β為損失的權重系數；

28、

29、其中，pi是輸入第i個專家模型的概率，var是方差，mean是均值。

30、本發明第二個方面是提供一種電子設備，其特征在于，包括：

31、存儲器，用于存儲可執行指令；

32、處理器，用于執行所述存儲器中存儲的可執行指令時，實現第一方面所述的針對淚道造影ct的淚道分割及報告智能撰寫方法。

33、本發明第三個方面是提供第二方面所述的電子設備在淚道造影ct的淚道分割及報告智能撰寫中的應用。

34、本發明第四個方面是提供一種計算機可讀存儲介質，其特征在于，存儲有可執行指令，用于引起處理器執行時，實現第一方面所述的針對淚道造影ct的淚道分割及報告智能撰寫方法。

35、本發明第五個方面是提供第四方面所述的計算機可讀存儲介質在淚道造影ct的淚道分割及報告智能撰寫中的應用。

36、本發明第六個方面是提供一種計算機程序產品，包括計算機程序或計算機可執行指令，其特征在于，所述計算機程序或計算機可執行指令被處理器執行時，實現第一方面所述的針對淚道造影ct的淚道分割及報告智能撰寫方法。

37、本發明第七個方面是提供第六方面所述的計算機程序產品在淚道造影ct的淚道分割及報告智能撰寫中的應用。

38、本發明的有益效果包括：本發明公開了一種針對淚道灌注ct影像的淚道分割、阻塞區域識別及智能報告生成算法，具體的以ct影像為輸入，首先識別淚道及淚道阻塞的關鍵區域，并采用多聯專家模型按照淚囊、鼻淚管、眼球、鼻腔四個角度分為多個領域，最終通過文本撰寫專家模型生成符合專業規范的報告。