本發明涉及的是圖像處理領域的技術，具體是基于多時間點圖像的目標變化評估系統及方法。

背景技術：

1、隨著深度學習的發展，其在圖像分析領域有著越來越廣泛的應用。但現有技術未能充分挖掘mri的深層信息，未能獲得理想的圖像中目標變化評估的分類性能。

技術實現思路

1、本發明針對現有技術存在的上述不足，提出基于多時間點圖像的目標變化評估系統及方法，針對基于多時間點圖像目標評估這一任務的復雜性，通過引入分割輔助任務引導分類注意力、跨時間點特征交互以及使用時間特征序列分類完成特征融合，將模型設計拆分為目標定位、獲取不同時間點局部區域之間的關聯性以及評估變化加以解決。

2、本發明是通過以下技術方案實現的：

3、本發明涉及基于多時間點的目標變化評估系統，包括：變化前和變化后圖像分割支路及其對應分割注意力引導模塊、變化前和變化后圖像的特征提取器、交互式空間特征增強模塊以及時序特征分類模塊，其中：變化前圖像分割支路根據前一時間點包含目標的圖像信息，進行編碼解碼操作，得到目標在變化前的分割結果，變化后圖像分割支路根據后一時間點包含目標的圖像信息，進行編碼解碼操作，得到目標變化后的分割結果；分割注意力引導模塊計算兩條圖像分割支路中解碼器輸出的多尺度中間層特征圖中的每個特征元素的線性可分性，得到注意力分數圖結果；然后變化評估主網絡中的兩個分別針對變化前圖像和變化后圖像的特征提取器依據注意力分數圖結果聚焦于目標區域進行特征提取操作，得到兩個時間點輸入圖像對應的隱層特征；接著變化評估主網絡中的兩個交互式空間特征增強模塊分別以變化前圖像和變化后圖像作為參考，根據特征提取器得到的兩個隱層特征計算它們局部區域之間的交叉注意力分數，并據此對先前得到的隱層特征進行特征增強，實現變化前、后目標局部關聯區域之間的對應；最后變化評估主網絡中由門控遞歸單元和多層感知機構成的時序特征分類網絡依據特征增強后的隱層特征和輔助指標生成評估結果。

4、所述的變化前和變化后圖像分割支路結構相同，均包括編碼器和解碼器，其中：編碼器分別根據變化前或變化后圖像進行基于卷積操作的編碼處理；解碼器對編碼特征進行解碼并得到待進行變化評估目標的分割結果，通過注意力引導模塊提取目標的空間位置信息，用以限制分類網絡注意力關注于關鍵區域。

5、所述的每個特征元素的線性可分性具體為：對于多尺度中間層特征圖中的每個元素s，通過計算得到能量圖，其中：μc和分別是包含元素s的通道均值和方差，λ為正則化項。

6、所述的交叉注意力分數，通過以下方式得到：

7、步驟1、根據變化前和變化后圖像經特征提取器得到的隱層特征劃分為s×s×d個不重疊的區域。

8、步驟2、對不同時間點的子區域之間計算相關性矩陣，以獲得目標變化前后局部之間的對應關系。以變化前圖像特征作為參考為例，具體為：通過可學習參數將劃分區域的變化前特征進行線性映射得到qr后，采用相同方式從劃分區域的變化后特征獲得kr和vr。建立變化前和變化后特征間區域層面的關聯矩陣ar＝qr(kr)t，矩陣中每個元素表示變化前區域與變化后區域之間的關聯分數。根據關聯分數，為每個變化前隱層特征的不重疊區域，選擇與其關聯最大的k個變化后隱層特征的不重疊區域。

9、步驟3、將這些區域進一步劃分為圖像塊后，再次進行線性映射后計算查詢與鍵的相似性(點積)，歸一化后得到注意力權重，將計算得到的注意力權重與值進行加權相乘，得到特征增強過的變化后特征，從而實現變化前、后目標局部關聯區域之間對應的目的。

10、所述的評估結果，通過時序特征分類模塊將交互式空間特征增強模塊輸出的特征增強后的隱層特征轉換為一維向量，此時可以根據任務情況將其與輔助指標進行拼接后，借助時序特征分類網絡對目標兩個時間點之間發生的變化進行評估，具體為：輸入進由門控循環單元和多層感知機構成的時序特征分類網絡中，通過門控循環單元的記憶能力，利用先前時間點目標相關信息，在后時間點的特征上捕捉產生的變化然后進行預測。

11、所述的輔助指標是指：與任務相關的一維信息，在可能的實現方式中，可以是根據分割支路輸出的分割結果計算得到的目標尺寸信息。

12、本發明涉及上述系統的目標變化評估方法，在離線階段構造樣本集并訓練目標變化評估系統，在在線階段通過訓練后的目標變化評估系統實時提取兩個不同時間點的輸入圖像中的特征并聚焦于關鍵區域，通過交互式空間特征增強模塊在特征層面對兩個時間點的關鍵區域之間計算相關性以實現特征增強后，經問題轉換后進一步分類，從而實現基于多時間點圖像的變化評估。

13、所述的訓練是指：通過設計任務相關的損失函數，計算模型輸出和真實標簽之間的誤差損失后，借助梯度反向傳播實現網絡模型參數的自動更新，待損失隨訓練輪次收斂后視為訓練完成。

14、技術效果

15、本發明通過引入分割引導分類注意力、跨時間點特征交互以及使用時間特征序列分類代替傳統特征融合方法，有效引導分類網絡注意力使其關注于與評估密切相關的目標區域并捕捉來自不同時間點圖像局部區域之間的對應關系，并評估發生的變化。與現有技術相比，本發明能夠對來自不同時間點的圖像中目標的變化做出有效評估，尤其是不同時間點圖像無法進行配準，且待評估目標中只有局部區域可能產生變化的情況。

技術特征：

1.基于多時間點的目標變化評估系統，其特征在于，包括：變化前和變化后圖像分割支路及其對應分割注意力引導模塊、變化前和變化后圖像的特征提取器、交互式空間特征增強模塊以及時序特征分類模塊，其中：變化前圖像分割支路根據前一時間點包含目標的圖像信息，進行編碼解碼操作，得到目標在變化前的分割結果，變化后圖像分割支路根據后一時間點包含目標的圖像信息，進行編碼解碼操作，得到目標變化后的分割結果；分割注意力引導模塊計算兩條圖像分割支路中解碼器輸出的多尺度中間層特征圖中的每個特征元素的線性可分性，得到注意力分數圖結果；然后變化評估主網絡中的兩個分別針對變化前圖像和變化后圖像的特征提取器依據注意力分數圖結果聚焦于目標區域進行特征提取操作，得到兩個時間點輸入圖像對應的隱層特征；接著變化評估主網絡中的兩個交互式空間特征增強模塊分別以變化前圖像和變化后圖像作為參考，根據特征提取器得到的兩個隱層特征計算它們局部區域之間的交叉注意力分數，并據此對先前得到的隱層特征進行特征增強，實現變化前、后目標局部關聯區域之間的對應；最后變化評估主網絡中由門控遞歸單元和多層感知機構成的時序特征分類網絡依據特征增強后的隱層特征和輔助指標生成評估結果。

2.根據權利要求1所述的基于多時間點的目標變化評估系統，其特征為，所述的變化前和變化后圖像分割支路結構相同，均包括編碼器和解碼器，其中：編碼器分別根據變化前或變化后圖像進行基于卷積操作的編碼處理；解碼器對編碼特征進行解碼并得到待進行變化評估目標的分割結果，通過注意力引導模塊提取目標的空間位置信息，用以限制分類網絡注意力關注于關鍵區域。

3.根據權利要求1所述的基于多時間點的目標變化評估系統，其特征為，每個特征元素的線性可分性為指：對于多尺度中間層特征圖中的每個元素s，通過計算得到能量圖，其中：μc和分別為包含元素s的通道均值和方差，λ為正則化項。

4.根據權利要求1所述的基于多時間點的目標變化評估系統，其特征為，所述的交叉注意力分數，通過以下方式得到：

5.根據權利要求1所述的基于多時間點的目標變化評估系統，其特征為，所述的評估結果，通過時序特征分類模塊將交互式空間特征增強模塊輸出的特征增強后的隱層特征轉換為一維向量，此時根據任務情況將其與輔助指標進行拼接后，借助時序特征分類網絡對目標兩個時間點之間發生的變化進行評估，具體為：輸入進由門控循環單元和多層感知機構成的時序特征分類網絡中，通過門控循環單元的記憶能力，利用先前時間點目標相關信息，在后時間點的特征上捕捉產生的變化然后進行預測。

6.根據權利要求1-5中任一所述系統的基于多時間點的目標變化評估方法，其特征在于，在離線階段構造樣本集并訓練目標變化評估系統，在在線階段通過訓練后的目標變化評估系統實時提取兩個不同時間點的輸入圖像中的特征并聚焦于關鍵區域，通過交互式空間特征增強模塊在特征層面對兩個時間點的關鍵區域之間計算相關性以實現特征增強后，經問題轉換后進一步分類，從而實現基于多時間點圖像的變化評估；

7.根據權利要求6所述的目標變化評估方法，其特征為，具體包括：

8.根據權利要求6所述的目標變化評估方法，其特征為，所述的兩個分割支路及變化評估主網絡構成的變化評估系統一起進行訓練，損失函數具體為：其中：dice系數損失包括焦點損失lfocal＝-αt(1-pt)γlog(pt)，ypre和ypost分別代表不同時間點目標區域的參考標準，p指代圖像中的全部像素，pt為模型對當前樣本正確類別的分類概率，當標簽為1，則pt＝p，當標簽為0，則pt＝1-p，p為模型輸出的正類概率，αt為平衡因子，用來調節正負樣本的權重。

技術總結
基于多時間點圖像的目標變化評估系統及方法，包括：變化前和變化后圖像分割支路及其對應分割注意力引導模塊、變化前和變化后圖像的特征提取器、交互式空間特征增強模塊以及時序特征分類模塊。本發明針對基于多時間點圖像目標評估這一任務的復雜性，通過引入分割輔助任務引導分類注意力、跨時間點特征交互以及使用時間特征序列分類完成特征融合，將模型設計拆分為目標定位、獲取不同時間點局部區域之間的關聯性以及評估變化加以解決。

技術研發人員：郭翌,黃文翔,鄭洪途,徐燁,汪源源
受保護的技術使用者：復旦大學
技術研發日：
技術公布日：2025/4/28