本發(fā)明涉及醫(yī)學超聲圖像處理，尤其是指一種基于多任務(wù)的胎兒心臟標準切面檢測方法。

背景技術(shù)：

1、先天性心臟病是一種常見的先天性畸形疾病，發(fā)病率約為4‰，是新生兒和嬰幼兒死亡的主要原因之一。先天性心臟病帶來的殘疾和長期醫(yī)療需求對個人、家庭及社會負擔沉重。早發(fā)現(xiàn)、早診斷、早干預(yù)、早治療先天性心臟病，能降低嬰兒死亡率、減少殘疾、有利于提高出生人口素質(zhì)。因此，產(chǎn)前篩查是否患有先天性心臟病是至關(guān)重要的環(huán)節(jié)。

2、超聲檢測具有安全無創(chuàng)、經(jīng)濟方便、可監(jiān)測整個妊娠周期母體變化和胎兒生長發(fā)育情況的特點，已成為產(chǎn)科檢查中應(yīng)用最為廣泛的影像學檢測手段。超聲檢測自應(yīng)用于胎兒心臟結(jié)構(gòu)和功能的評估以來，有效提高了先天性心臟病的檢出率，對胎兒心臟疾病的診斷和治療發(fā)揮了重要作用；但是，胎兒心臟體積小、結(jié)構(gòu)復(fù)雜、搏動速率高、位置易受體位影響，且由于超聲與母體/胎兒生物組織之間復(fù)雜的相互作用，胎兒心臟超聲影像存在對比度低、信號衰減、斑點噪聲和偽影等問題，獲取高質(zhì)量、高標準的胎兒超聲影像仍具有很大挑戰(zhàn)，非常依賴醫(yī)師經(jīng)驗。

3、隨著圖像處理技術(shù)的發(fā)展和高質(zhì)量成像設(shè)備的不斷革新，基于傳統(tǒng)機器學習的輔助技術(shù)被應(yīng)用到心臟超聲圖像處理中；但由于傳統(tǒng)機器學習方法主要通過大量的圖像預(yù)處理獲取圖像特征，特征的選取需要專家認知且人為設(shè)定的特征易受干擾，適應(yīng)性和實用性差，導(dǎo)致對于體積小、結(jié)構(gòu)復(fù)雜、搏動速率高、位置隨體位改變的胎兒心臟，傳統(tǒng)的圖像檢測方法應(yīng)用于胎心超聲影像分析準確率不高。

4、近幾年，深度學習已經(jīng)成為機器學習領(lǐng)域的研究熱點，深度學習的發(fā)展為解決胎心超聲影像分析精度問題提供了新的思路。面對圖像質(zhì)量一般且心臟位置不斷變化的胎心超聲圖像，采用傳統(tǒng)方法很難設(shè)計出能夠有效表征心臟切面或內(nèi)部解剖結(jié)構(gòu)的特征算子。相比傳統(tǒng)圖像分類方法，深度學習方法在檢測和分類的過程中避免了人為設(shè)定選取目標特征的問題；深度學習通過學習大量訓練數(shù)據(jù)，使網(wǎng)絡(luò)從數(shù)據(jù)中學習到最合適的權(quán)值，以提取最有效的特征；通過多層網(wǎng)絡(luò)的設(shè)計，使深度網(wǎng)絡(luò)獲取到深層的語義信息；采用端到端的訓練，將特征提取和融合兩個步驟合并。因此，將基于卷積神經(jīng)網(wǎng)絡(luò)的深度學習技術(shù)應(yīng)用于胎心超聲圖像的識別和分類可以有效提高識別精度；然而，當面對視角變化、尺度變化、心臟收縮舒張導(dǎo)致的形狀變化等，深度學習網(wǎng)絡(luò)的適應(yīng)性差、泛化能力不足，這些因素導(dǎo)致深度學習網(wǎng)絡(luò)在解決胎心超聲領(lǐng)域的問題時依然面臨著挑戰(zhàn)，因此具有十分重要的研究意義。

技術(shù)實現(xiàn)思路

1、為此，本發(fā)明所要解決的技術(shù)問題在于克服現(xiàn)有技術(shù)中胎兒心臟超聲影像存在對比度低、信號衰減、斑點噪聲和偽影的問題；面對視角、尺度及形狀變化時適應(yīng)性和泛化能力不足，難以同時提升解剖結(jié)構(gòu)識別精度與實現(xiàn)多種切面分類及標準切面判別的問題。

2、為解決上述技術(shù)問題，本發(fā)明提供了一種基于多任務(wù)的胎兒心臟標準切面檢測方法，包括：

3、獲取待檢測胎兒心臟切面圖像的個尺度的初始特征圖，輸入目標檢測模型的頸部網(wǎng)絡(luò)，包括：

4、將第個尺度的初始特征圖輸入自上而下的金字塔網(wǎng)絡(luò)，利用前個初步融合層，融合經(jīng)過上采樣和二維卷積操作后的低尺度特征圖和自適應(yīng)空間特征融合模塊輸出的多幅預(yù)選中間尺度初始特征圖的自適應(yīng)融合特征圖，輸出第2至第個尺度的初步融合特征圖；利用第個初步融合層，對第個尺度的初步融合特征圖進行上采樣和二維卷積操作后，與第1個尺度的初始特征圖融合，輸出第1個尺度的初步融合特征圖；

5、將第1個尺度的初步融合特征圖輸入自下而上的金字塔網(wǎng)絡(luò)，利用前個強化融合層，融合經(jīng)過卷積操作后的高尺度特征圖和自適應(yīng)空間特征融合模塊輸出的多幅預(yù)選中間尺度初步融合特征圖的自適應(yīng)融合特征圖，輸出第2至第個尺度的強化融合特征圖；利用第個強化融合層，對第個尺度的強化融合特征圖進行卷積操作后，與第個尺度的初始特征圖融合，輸出第個尺度的強化融合特征圖；

6、將第1個尺度的初步融合特征圖和第2至第個尺度的強化融合特征圖，輸入目標檢測模型的頭部網(wǎng)絡(luò)，確定待檢測胎兒心臟切面圖像中解剖結(jié)構(gòu)種類、數(shù)量和位置后，基于分類算法，得到待檢測胎兒心臟切面圖像的判斷和分類結(jié)果。

7、優(yōu)選地，所述頸部網(wǎng)絡(luò)包括：多個自適應(yīng)空間特征融合模塊、自上而下的金字塔網(wǎng)絡(luò)和自下而上的金字塔網(wǎng)絡(luò)；

8、所述自上而下的金字塔網(wǎng)絡(luò)中包含個初步融合層；每個初步融合層包括依次連接的上采樣模塊、二維卷積模塊和細節(jié)融合增強模塊；

9、所述自下而上的金字塔網(wǎng)絡(luò)中包含個強化融合層；每個強化融合層包括依次連接的頸部卷積模塊和細節(jié)融合增強模塊；

10、所述自適應(yīng)空間特征融合模塊，用于對多幅預(yù)選中間尺度初始特征圖進行尺度調(diào)整、特征融合和通道數(shù)調(diào)整操作，輸出與該自適應(yīng)空間特征融合模塊對應(yīng)初步融合層的輸出尺度和輸出通道數(shù)相同的自適應(yīng)融合特征圖；還用于對多幅預(yù)選中間尺度初步融合特征圖進行尺度調(diào)整、特征融合和通道數(shù)調(diào)整操作，輸出與該自適應(yīng)空間融合特征模塊對應(yīng)強化融合層的輸出尺度和輸出通道數(shù)相同的自適應(yīng)融合特征圖；

11、其中，所述多幅預(yù)選中間尺度初始特征圖表示第2個尺度至第尺度的初始特征圖；所述多幅預(yù)選中間尺度初步融合特征圖表示第2個尺度至第尺度的初步融合特征圖。

12、優(yōu)選地，所述自適應(yīng)空間特征融合模塊包括特征調(diào)整單元、特征融合單元和特征篩選單元；

13、所述特征調(diào)整單元由一個采樣操作、兩個卷積核為1×1的卷積操作和一個拼接操作構(gòu)成；

14、所述特征融合單元由一個卷積核為1×1、輸出通道數(shù)為2和激活函數(shù)為softmax的卷積操作構(gòu)成；

15、所述特征篩選單元由一個卷積核為1×1的卷積塊和多個串聯(lián)的殘差塊構(gòu)成；每個殘差塊由3×3卷積和跳躍連接構(gòu)成。

16、優(yōu)選地，將兩個不同尺度和不同通道數(shù)的待處理特征圖，輸入自適應(yīng)空間特征融合模塊包括：

17、將兩個不同尺度和不同通道數(shù)的待處理特征圖輸入特征調(diào)整單元，分別對兩張待處理特征圖先進行采樣操作再進行卷積操作，將兩張待處理特征圖的尺度調(diào)整為目標尺度，通道數(shù)調(diào)整為相同通道數(shù)后，進行拼接，輸出拼接特征圖；

18、將拼接特征圖輸入特征融合單元，通過卷積操作，得到兩張待處理特征圖對應(yīng)的權(quán)重，并將兩張待處理特征圖與其對應(yīng)的權(quán)重進行加權(quán)求和，輸出加權(quán)融合特征圖；

19、將加權(quán)融合特征圖輸入特征篩選單元，通過卷積塊和殘差塊，將加權(quán)融合特征圖的通道數(shù)調(diào)整為目標通道數(shù)，輸出目標尺度和目標通道數(shù)的自適應(yīng)融合特征圖；

20、其中，分別將每個自適應(yīng)空間特征融合模塊對應(yīng)初步融合層或強化融合層的輸出尺度和輸出通道數(shù)作為每個自適應(yīng)空間特征融合模塊的目標尺度和目標通道數(shù)。

21、優(yōu)選地，所述細節(jié)融合增強模塊包括通道注意力機制單元和特征聚焦單元；

22、所述通道注意力機制單元由拼接操作、平均池化操作、最大池化操作、多組卷積操作、relu激活函數(shù)和sigmoid激活函數(shù)構(gòu)成；

23、所述特征聚焦單元由卷積操作、并行卷積列和sigmoid激活函數(shù)構(gòu)成；所述并行卷積列中共有兩個卷積列，一個卷積列先進行一次平均池化后再進行兩次卷積操作，另一個卷積列直接進行兩次卷積操作。

24、優(yōu)選地，將兩張相同尺度和相同通道數(shù)的待融合特征圖，輸入細節(jié)融合增強模塊包括：

25、將兩個相同尺度和相同通道數(shù)的待融合特征圖輸入通道注意力機制單元，對兩張待融合特征圖進行拼接操作，得到拼接融合特征圖；對拼接融合特征圖先分別進行平均池化和最大池化操作，再分別進行多組卷積、relu激活函數(shù)處理，最后進行相加處理，得到處理后的拼接融合特征圖，再通過sigmoid激活函數(shù)，得到兩張待融合特征圖對應(yīng)的通道權(quán)重；對兩張待融合特征圖及其對應(yīng)的通道權(quán)重進行逐元素相乘，得到兩張初步增強特征圖；對兩張初步增強特征圖進行求和，輸出通道信息增強特征圖；

26、將通道信息增強特征圖輸入特征聚焦單元，經(jīng)過卷積操作和并行卷積列后，將并行卷積列得到的結(jié)果相乘，再通過sigmoid激活函數(shù)，得到兩張初步增強特征圖對應(yīng)的聚合權(quán)重；將兩張初步增強特征圖及其對應(yīng)的聚合權(quán)重進行加權(quán)求和，得到細節(jié)融合增強模塊的輸出特征圖。

27、優(yōu)選地，前個初步融合層的細節(jié)融合增強模塊輸出的初步融合特征圖的表達式為：

28、；

29、其中，表示自適應(yīng)空間特征融合模塊輸出的與當前初步融合層輸出尺度和輸出通道數(shù)相同的自適應(yīng)融合特征圖；表示當前初步融合層二維卷積模塊輸出的特征圖；每個初步融合層的輸出尺度和輸出通道數(shù)與該初步融合層二維卷積模塊的輸出尺度和輸出通道數(shù)相同；

30、第個初步融合層的細節(jié)融合增強模塊輸出的第1個尺度的初步融合特征圖的表達式為：

31、；

32、其中，表示第個尺度的初始特征圖；表示第個初步融合層二維卷積模塊輸出的特征圖；

33、前個強化融合層的細節(jié)融合增強模塊輸出的強化融合特征圖的表達式為：

34、；

35、其中，表示自適應(yīng)空間特征融合模塊輸出的與當前強化融合層輸出尺度和輸出通道數(shù)相同的自適應(yīng)融合特征圖；表示當前強化融合層頸部卷積模塊輸出的特征圖；每個強化融合層的輸出尺度和輸出通道數(shù)與該強化融合層頸部卷積模塊的輸出尺度和輸出通道數(shù)相同；

36、第個強化融合層的細節(jié)融合增強模塊輸出的第個尺度強化融合特征圖的表達式為：

37、；

38、其中，表示第個尺度的初始特征圖；表示第個強化融合層頸部卷積模塊輸出的特征圖；表示通道注意力機制；表示特征聚合；表示拼接操作。

39、優(yōu)選地，所述獲取待檢測胎兒心臟切面圖像的個尺度的初始特征圖包括：

40、從胎兒心臟超聲影像中，獲取待檢測胎兒心臟切面圖像，輸入目標檢測模型的主干網(wǎng)絡(luò)，輸出待檢測胎兒心臟切面的個尺度的初始特征圖；

41、所述主干網(wǎng)絡(luò)包括多個主干卷積模塊、多個c2f模塊和sppf模塊；

42、利用每一c2f模塊，對其上一主干卷積模塊輸出的特征圖進行拆分、拼接融合操作，得到第1至第個尺度的c2f模塊輸出特征圖；將第1至第個尺度的c2f模塊輸出特征圖作為主干網(wǎng)絡(luò)輸出的第1至第個尺度的初始特征圖；

43、利用sppf模塊，對第個尺度的c2f模塊輸出特征圖進行池化操作，輸出主干網(wǎng)絡(luò)第個尺度的初始特征圖。

44、優(yōu)選地，還包括：

45、從多張?zhí)盒呐K超聲影像中，選取不同類型的多張標準切面圖像；其中，標準切面圖像類型包括四腔心切面圖像、三血管切面圖像、三血管氣管切面圖像、左室流出道切面圖像和右室流出道切面圖像；

46、對每張標準切面圖像進行平移、旋轉(zhuǎn)及放大縮小的預(yù)處理操作，得到每張標準切面圖像對應(yīng)的多張預(yù)處理后的切面圖像；基于所有標準切面圖像及其對應(yīng)的多張預(yù)處理后的切面圖像，構(gòu)建擴充數(shù)據(jù)樣本集合；

47、根據(jù)標準切面要求，通過rolabelimg腳本，使用旋轉(zhuǎn)矩形框，對擴充數(shù)據(jù)樣本集合中每張切面圖像的各種解剖結(jié)構(gòu)進行標注，并通過標簽文件記錄每張切面圖像對應(yīng)的每個旋轉(zhuǎn)矩形框的頂點坐標和解剖結(jié)構(gòu)種類；其中，解剖結(jié)構(gòu)種類包括：左心室、左心房、右心室、右心房、主動脈、主動脈弓、降主動脈、上腔靜脈、肺動脈、動脈導(dǎo)管、右室流出道、氣管、脊椎；

48、基于擴充數(shù)據(jù)樣本集合中所有切面圖像與其對應(yīng)的標簽文件，構(gòu)建胎兒心臟超聲圖像數(shù)據(jù)集；

49、按照預(yù)設(shè)比例，將胎兒心臟超聲圖像數(shù)據(jù)集劃分為訓練集和測試集，用于訓練和測試目標檢測模型和分類算法；其中，基于分類算法，得到的判斷結(jié)果為判斷待檢測胎兒心臟切面圖像是否為標準切面圖像；基于分類算法，得到的分類結(jié)果為確定待檢測胎兒心臟切面圖像對應(yīng)的標準切面圖像類型。

50、優(yōu)選地，基于目標檢測模型和分類算法，構(gòu)建基于多任務(wù)的胎兒心臟標準切面檢測模型，所述基于多任務(wù)的胎兒心臟標準切面檢測模型的訓練過程包括：

51、基于訓練集，采用adam反向傳播算法對基于多任務(wù)的胎兒心臟標準切面檢測模型進行迭代優(yōu)化，直至總損失函數(shù)收斂，得到訓練好的基于多任務(wù)的胎兒心臟標準切面檢測模型；

52、所述總損失函數(shù)由分類損失、交并比損失、分布焦點損失組成，其表達式為：

53、；

54、其中，表示總損失函數(shù)；表示分類損失；表示分類損失對應(yīng)的權(quán)重系數(shù)；表示交并比損失；表示交并比損失對應(yīng)的權(quán)重系數(shù)；表示分布焦點損失；表示分布焦點對應(yīng)的權(quán)重系數(shù)；

55、所述分類損失的表達式為：

56、；

57、所述交并比損失的表達式為：

58、；

59、所述分布焦點損失的表達式為：

60、；

61、其中，表示樣本總數(shù)；表示樣本的one-hot標簽，表示樣本預(yù)測為正類的概率；為高斯概率交并比；是樣本的真實坐標值；和是模型預(yù)測的邊界框位置坐標的兩個相鄰值；和是模型預(yù)測的邊界框位置坐標的兩個相鄰值對應(yīng)的權(quán)重。

62、本發(fā)明的上述技術(shù)方案相比現(xiàn)有技術(shù)具有以下有益效果：

63、本發(fā)明所述的一種基于多任務(wù)的胎兒心臟標準切面檢測方法，通過數(shù)據(jù)擴充與精準標注，構(gòu)建的胎兒心臟超聲圖像數(shù)據(jù)集涵蓋豐富樣本和準確標注信息，為模型訓練提供充足、高質(zhì)量數(shù)據(jù)，使模型學習到更全面準確的特征，為后續(xù)高精度檢測和分類奠定堅實基礎(chǔ)。

64、本發(fā)明所述的一種基于多任務(wù)的胎兒心臟標準切面檢測方法，基于路徑融合特征金字塔網(wǎng)絡(luò)，通過引入包含采樣操作的自適應(yīng)空間特征融合模塊，構(gòu)建基于自適應(yīng)空間特征融合模塊的路徑交織特征金字塔結(jié)構(gòu)，作為?yolov8-obb目標檢測模型的頸部網(wǎng)絡(luò)，增加了小尺寸特征圖融合分支，增強了特征多樣性，提升了目標檢測能力；不同尺度特征圖經(jīng)自適應(yīng)空間特征融合模塊的特征調(diào)整、融合和篩選，有效整合不同尺度信息，使模型能更好捕捉胎兒心臟大小差異大的解剖結(jié)構(gòu)，增強多尺度目標檢測能力和泛化能力。

65、本發(fā)明所述的一種基于多任務(wù)的胎兒心臟標準切面檢測方法，通過細節(jié)融合增強模塊中的通道注意力機制單元并行提取特征圖的全局信息和最大信息，并獲取關(guān)鍵的通道信息，增強了對重要特征的敏感度；通過細節(jié)融合增強模塊中的特征聚焦單元獲取特征圖中突出的語義信息和局部信息；通過?細節(jié)融合增強模塊的優(yōu)化特征融合策略，使模型能夠更加聚焦關(guān)鍵特征，減少胎心超聲影像對比度低、信號衰減、斑點噪聲和偽影等問題帶來的特征冗余，提升了胎兒心臟關(guān)鍵解剖結(jié)構(gòu)檢測的精度與性能。

66、本發(fā)明所述的一種基于多任務(wù)的胎兒心臟標準切面檢測方法，在改進的?yolov8-obb目標檢測基礎(chǔ)上加入分類算法，該模型依據(jù)識別的解剖結(jié)構(gòu)種類、數(shù)量和位置，不僅實現(xiàn)高精度分類，還提供豐富解剖信息，精準判斷待檢測胎兒心臟切面圖像是否為標準切面，并分類出五種胎心超聲標準切面，為產(chǎn)前診斷提供有力支持。