本發明涉及遙感圖像解譯，特別是涉及一種遙感圖像多模態增量式全景感知方法及系統。

背景技術：

1、遙感圖像具有語義豐富、背景復雜的特點，遙感圖像解譯對于對地觀測、資源勘探等領域具有重要意義。隨著近年來航天遙感和計算機視覺領域的技術進步，遙感圖像的解譯技術朝著自動化、智能化的方向發展，遙感圖像解譯技術涉及人工智能、計算機科學、統計學等多領域的知識。

2、目前，遙感圖像解譯系統通常涵蓋了像素分類、目標檢測和圖像描述等多種解譯模型，然而現有的遙感圖像解譯方法大多僅支持單任務的解譯，且基于多任務學習的遙感圖像解譯方法面臨著標注困難、多任務聯合優化困難、模型泛化能力差的瓶頸，難以滿足面向持續增長的遙感圖像數據的增量解譯的需求。

3、因此，如何能夠實現像素級、實例級和圖像級多任務持續解譯，是本領域技術人員亟需解決的問題。

技術實現思路

1、有鑒于此，本發明提供至少解決上述部分技術問題的一種遙感圖像多模態增量式全景感知方法及系統，涵蓋像素級、實例級和圖像級的聯合解譯的同時，結合增量學習方法與跨模態多任務學習機制，實現遙感圖像的多任務持續解譯。

2、為實現上述目的，本發明采取的技術方案為：

3、第一方面，本發明實施例提供一種遙感圖像多模態增量式全景感知方法，該方法包括以下步驟：

4、s1、構建基于增量學習的遙感圖像多模態全景感知模型；構建的所述遙感圖像多模態全景感知模型包括：跨模態通用圖像編碼器模塊、跨模態交互知識蒸餾模塊，任務偏置偽標注生成模塊和對稱查詢交互協同分類模塊；

5、s2、對構建的所述遙感圖像多模態全景感知模型進行增量訓練；

6、s3、將遙感圖像數據輸入至訓練好的所述遙感圖像多模態全景感知模型，進行遙感圖像多層次多模態持續解譯，完成遙感圖像的像素級分類、實例級分割和圖像級描述的跨模態多任務。

7、進一步地，所述跨模態通用圖像編碼器模塊中，通過共享編碼器來將圖像特征分為掩膜特征嵌入和文本特征嵌入，其中：所述掩膜特征嵌入用于圖像分割任務，所述文本特征嵌入用于圖像描述任務，具體為：

8、對于第t步的輸入圖像x，圖像特征f定義為：

9、f＝θ(relu(θ(e(x))))+e(x)

10、式中，θ(·)表示線性映射，relu表示激活函數，e(·)表示圖像特征編碼器；

11、獲取圖像特征f后，采用一個transformer解碼器產生圖像掩膜，并采用另一個transformer解碼器產生文本描述；具體為：將語義分割和實例分割統一歸于圖像分割任務，利用圖像特征f生成n個掩膜特征嵌入；對于圖像描述任務，利用圖像特征f生成文本特征嵌入。

12、進一步地，所述跨模態交互知識蒸餾模塊包括：中間層對比蒸餾和交叉引導實例蒸餾兩部分，其中：

13、中間層對比蒸餾部分中利用跨模態通用圖像編碼器模塊輸出的特征作為輸入，將圖像分割和圖像描述兩個模態的學習任務綜合進對比學習框架中，計算方式為：

14、

15、式中，licd表示中間層對比蒸餾損失，d(·)表示相似度度量函數，dcl(·)表示對比學習損失，|·|表示絕對值取值操作，i(·)為指示函數；和分別表示第t-1步模型mt-1和第t步模型mt輸出的分割掩膜，和分別表示第t-1步模型mt-1和第t步模型mt輸出的文本描述結果，mt-1和mt分別代表第t-1步的模型與第t步訓練得到的模型；和分別表示錨點特征、正樣本特征和負樣本特征；c0:t-1表示在第t-1步時已經學習的類別；c0:t表示在第t步時已經學習的類別，i，j表示屬于c0:t的類別序號，k表示屬于c0:t-1的類別序號；

16、交叉引導實例蒸餾部分中采用自適應權重機制提升對細粒度目標實例的判別能力，具體為：構建質量分數qr，用來引導蒸餾過程中新模型的輸出更多向舊模型的輸出靠攏，以減少對舊知識的災難性遺忘現象；所述質量分數qr的計算方式為：

17、

18、式中，cr表示第t步模型mt輸出的對于實例r的類別預測結果，γ表示用來控制分類和分割任務權重的參數，表示第t-1步模型mt-1輸出的實例r的分割結果，表示第t步模型輸出的特征經由mt-1的解碼器后輸出實例r的分割結果，iou表示交并比計算。

19、進一步地，交叉引導實例蒸餾的優化目標為：

20、

21、式中，lcid表示交叉引導實例蒸餾損失，和分別表示第t-1步模型輸出的預測結果和第t步模型輸出的預測結果，d(·)表示相似度度量函數。

22、進一步地，所述跨模態交互知識蒸餾模塊的優化目標為綜合計算中間層對比蒸餾損失和交叉引導實例蒸餾損失：

23、ltkd＝licd+lcid

24、式中，ltkd表示知識蒸餾損失函數。

25、進一步地，所述任務偏置偽標注生成模塊中，對于圖像分割任務，對于圖像x中的任一像素i，其在第t步的標注計算方法為

26、

27、式中，表示生成的關于像素i的在第t步訓練時的標注，表示第t-1步模型mt-1輸出的對像素i的預測結果，xi表示圖像x中的像素i，cb表示背景類別，c0:t-1表示在第t-1步時已經學習的類別，ct表示第t步訓練的增量類別，γ為閾值，用來控制所生成偽標注的置信度，ζ為正常數，用來衡量模型預測結果的穩定性；表示輸出的對圖像x的文本描述結果；

28、對于圖像描述任務，在第t步文本描述標注的計算方法為：

29、

30、其中表示輸出的對圖像x的文本描述結果，表示第t步能夠獲取的人工標注的文本描述，表示拼接操作。

31、進一步地，所述對稱查詢交互協同分類模塊中，跨模態通用圖像編碼器輸出的掩膜特征qm和文本特征qt，采用兩個對稱的交互注意力模型進行特征的融合交互。

32、q′m＝ψ(qm,qt)

33、qt′＝ψ(qt,qm)

34、式中，ψ表示交互注意力計算過程，q′m表示融合后的掩膜嵌入，qt′表示融合后的文本嵌入。

35、進一步地，構建的所述遙感圖像多模態增量式全景感知模型支持端到端訓練，優化目標為綜合最小化像素分類損失lcls、圖像分割損失lseg、圖像描述損失lcap和知識蒸餾損失lcikd，計算方式為：

36、ltotal＝lcls+λlseg+lcap+lcikd

37、式中，ltotal表示聯合損失值，λ表示圖像分割損失的權重系數；

38、其中：圖像分類損失lcls用交叉熵損失定義：

39、

40、式中，pi表示模型對像素i的預測結果，yi表示標注值；

41、圖像分割損失lseg的計算方式為：

42、

43、式中，i(·)為指示函數，表示類別c對應的標注，表示空集，lfocal表示focal損失，ldice表示dice損失，η1和η2表示權重系數，表示模型預測值，表示第t步的標注值；

44、圖像描述損失lcap的計算方式為:

45、

46、式中，pcap表示模型輸出的圖像描述預測值，表示第t步文本描述標注，l表示文本描述語句的長度。

47、進一步地，對構建的所述遙感圖像多模態增量式全景感知模型進行訓練，訓練流程包括：

48、①、將第t-1步模型mt-1的參數凍結，利用第t步訓練數據集dt，訓練得到第t步模型mt的參數；

49、②、對于第t步訓練所用的圖像x∈dt，首先將其送入跨模態通用圖像編碼器模塊，生成圖像特征f，并將f送入transformer解碼器以生成掩膜特征嵌入和文本特征嵌入；

50、③、將第t-1步模型mt-1生成的掩膜特征嵌入和文本特征嵌入，第t步模型mt生成的掩膜特征嵌入和文本特征嵌入，同時送入跨模態交互知識蒸餾模塊，計算知識蒸餾損失函數ltkd；

51、④、利用第t-1步模型mt-1的預測結果生成偽標注，結合第t步訓練數據集中獲取的真實標注，融合生成第t步模型mt訓練所需的全部標注；

52、⑤、基于步驟④得到的融合標注，計算第t步模型mt的輸出的像素分類損失lcls、圖像分割損失lseg和圖像描述損失lcap，與步驟③得到的知識蒸餾損失函數lcikd進行聯合優化；

53、⑥、重復步驟②至步驟⑤，迭代訓練模型直至收斂，得到第t步的模型mt，用于第t步新增語義的解譯。

54、第二方面，本發明實施例還提供一種遙感圖像多模態增量式全景感知系統，應用上述的一種遙感圖像多模態增量式全景感知方法，進行遙感圖像多層次多模態持續解譯，完成遙感圖像的像素級分類、實例級分割和圖像級描述的跨模態多任務，該系統包括：

55、模型構建模塊，用于構建基于增量學習的遙感圖像多模態全景感知模型；構建的所述遙感圖像多模態全景感知模型包括：跨模態通用圖像編碼器模塊、跨模態交互知識蒸餾模塊、任務偏置偽標注生成模塊和對稱查詢交互協同分類模塊；

56、模型訓練模塊，用于對構建的所述遙感圖像多模態全景感知模型進行增量訓練；

57、模型應用模塊，用于將遙感圖像數據輸入至訓練好的所述遙感圖像多模態全景感知模型，進行遙感圖像多層次多模態持續解譯，完成遙感圖像的像素級分類、實例級分割和圖像級描述的跨模態多任務。

58、與現有技術相比，本發明至少具有如下有益效果：

59、本發明中針對遙感圖像全景感知解譯的多任務協同解譯需求，以及對源源不斷的新增數據的持續解譯需求，提供一種遙感圖像多模態增量式全景感知方法，能夠實現像素級、實例級和圖像級多任務解譯，并且能夠針對不斷新增的解譯需求實現對新增語義的泛化，在不丟失舊知識的情況下實現對新知識的學習。本發明能夠利用增量訓練實現對遙感圖像新增語義的解譯，包括圖像的像素級分類、實例級分割和圖像級描述的跨模態多任務解譯效果。

60、本發明的其它特征和優點將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實施本發明而了解。本發明的目的和其他優點可通過在所寫的說明書以及附圖中所特別指出的結構來實現和獲得。

61、下面通過附圖和實施例，對本發明的技術方案做進一步的詳細描述。