本技術涉及圖像處理，特別是涉及一種基于多模態的遙感多任務目標檢測方法及裝置。

背景技術：

1、遙感目標檢測通常涉及多種傳感器，這些傳感器采用不同的成像機制，從而形成多樣的數據模態。傳統檢測模型通常針對與單一模態和預定義格式檢測任務相關的特定數據集進行開發。這種傳統方法如yimian?dai在“asymmetric?contextual?modulation?forinfrared?small?target?detection”中忽略了統一遙感環境中固有的聯合知識的價值。此外，像無人機和衛星這樣的空中平臺通常配備多個傳感器，因此同時處理來自各種模態的圖像至關重要。jinming?liu的“multi-source?remote?sensing?image?fusion?for?shiptarget?detection?and?recognition.”中和hongkang?zhang的“hgr?correlationpooling?fusion?framework?for?recognition?and?classification?in?multimodalremote?sensing?data”中的多源目標檢測方法主要依賴于稀缺、不切實際且不靈活的空間對齊配對圖像和空間對齊算法。這些方法還局限于執行單一格式的檢測任務。因此，亟需開發一種無需依賴空間對齊圖像對且能夠處理多種模態和執行多種格式檢測任務(以下簡稱“多任務”)的統一模型，但這一領域尚未得到充分研究。為填補這一研究空白，我們提出了一項新任務，稱為多模態數據集和多任務目標檢測，旨在對任何給定圖像中的目標進行檢測，無論其模態如何，也無論其預定義的檢測任務是水平框還是定向框。

2、此任務與兩個關鍵研究領域密切相關：多數據集目標檢測和多任務學習。然而，其任務具有獨特的挑戰。在傳統的多數據集目標檢測中，如georgios?kapidis的“multi-dataset,multitask?learning?of?egocentric?vision?tasks”和ren′e?ranftl的“towards?robust?monocular?depth?estimation:mixing?datasets?for?zero-shotcross-dataset?transfer”，盡管圖像可能具有不同的屬性(如自然圖像和繪畫)，它們通常共享類似的底層概念(光學概念)。簡單的聯合訓練方法通常效果顯著，單一模型在組合數據集上的訓練性能通常優于在單個數據集上訓練的模型。xudong?wang在“towardsuniversal?object?detection?by?domain?attention”中采用專門的注意力機制層，這些層作為各個數據集的領域特定注意力機制。hang?xu的“universal-rcnn:universalobject?detector?via?transferable?graph?r-cnn”引入了一個跨多個數據集訓練的分區檢測器，通過基于圖的跨數據集注意力模塊集成特征。xingyi?zhou的“simple?multi-dataset?detection”通過提出統一的標簽空間并強調批量采樣策略的重要性，推進了這一概念。

3、相比之下，遙感中的多模態數據集(如可見光、合成孔徑雷達、紅外圖像)展示了本質上不同的模式概念。雖然這些模態之間可能共享某些共同知識，但數據表示上的顯著差異導致了巨大的模態差距，這使得跨模態信息的集成變得復雜。此外，遙感數據集通常包含多種標注類型，例如水平框和定向框，進一步增加了模型學習的復雜性。這些挑戰可能會在以下方面阻礙傳統模型的學習和優化：1)表示約束：一個在多個任務和模態中共享相同參數的密集模型可能會受到表示能力的限制，因為單一的參數集可能難以有效擬合每個數據集所固有的多樣化分布。2)優化不一致：不同模態和任務之間的學習難度差異可能導致模型各組件的優化速率或優化方向不同步。這種不一致可能導致沖突的優化結果，影響模型實現不同損失目標的能力。

技術實現思路

1、基于此，有必要針對上述技術問題，提供一種能夠提高多目標檢測效率的基于多模態的遙感多任務目標檢測方法及裝置。

2、一種基于多模態的遙感多任務目標檢測方法，所述方法包括：

3、獲取多模態數據集；多模態數據集包括多個模態的遙感圖像；構建遙感多任務目標檢測模型；遙感多任務目標檢測模型包括參數共享圖像編碼器、多任務頭網絡和動態調整模塊；參數共享圖像編碼器包括網絡層、卷積層和帶有網格級稀疏混合專家網絡的圖像編碼器；

4、將多個模態的遙感圖像輸入參數共享圖像編碼器進行圖像編碼，得到輸出特征；

5、將輸出特征輸入多任務頭網絡中進行目標檢測，計算目標檢過程中每個任務的損失，在動態調整模塊以任務的損失為目標動態調整每個任務頭的學習率實現對遙感多任務目標檢測模型的收斂速度與方向一致性的優化，利用優化后的遙感多任務目標檢測模型實現多任務目標檢測。

6、一種基于多模態的遙感多任務目標檢測裝置，所述裝置包括：

7、構建檢測模型模塊，用于獲取多模態數據集；多模態數據集包括多個模態的遙感圖像；構建遙感多任務目標檢測模型；遙感多任務目標檢測模型包括參數共享圖像編碼器、多任務頭網絡和動態調整模塊；參數共享圖像編碼器包括網絡層、卷積層和帶有網格級稀疏混合專家網絡的圖像編碼器；

8、圖像編碼模塊，用于將多個模態的遙感圖像輸入參數共享圖像編碼器進行圖像編碼，得到輸出特征；

9、模型優化和目標檢測模塊，用于將輸出特征輸入多任務頭網絡中進行目標檢測，計算目標檢過程中每個任務的損失，在動態調整模塊以任務的損失為目標動態調整每個任務頭的學習率實現對遙感多任務目標檢測模型的收斂速度與方向一致性的優化，利用優化后的遙感多任務目標檢測模型實現多任務目標檢測。

10、上述基于多模態的遙感多任務目標檢測方法及裝置，本技術通過構建了包括參數共享圖像編碼器、多任務頭網絡和動態調整模塊的統一架構。參數共享圖像編碼器中的網格級稀疏混合專家網絡，依據圖像區域特征調用不同專家網絡，精準提取各模態圖像特征，跨越模態差異鴻溝，解決了多模態數據表示差異大、模態差距明顯的問題，同時減輕計算負擔。多任務頭網絡針對不同標注類型任務分別處理，結合動態調整模塊依據任務損失動態調整學習率，優化了不同任務間的收斂速度和方向一致性，克服了傳統模型在多任務學習時的優化不一致問題，使得模型能準確學習不同標注目標的檢測方法，應對遙感數據多種標注類型帶來的復雜性。實現了單一模型對多模態和多任務的高效處理。一方面，其表征能力強且計算高效，克服了傳統方法面對多模態數據的集成困難與資源浪費；另一方面，通過優化任務收斂特性，確保各任務穩定優化，解決了傳統模型無法兼顧多模態與多任務的困境，減少了模型部署復雜性，提升了實用性和通用性，滿足了實際應用中對多模態遙感圖像進行多任務目標檢測的需求，填補了相關領域研究空白，為遙感目標檢測領域的發展提供了創新性的解決方案。