本發明屬于計算機視覺的語義分割，具體涉及一種基于去耦合的弱監督機場圖像語義分割方法。

背景技術：

1、在機場中，利用語義分割技術對機場目標進行監測，對于機場的高效運行具有至關重要的作用。然而，要實現高精度的語義分割，通常需要大量帶有精確標簽的數據，這種數據的獲取過程既復雜又耗時，且需要大量的人力資源進行手工標注。因此，如何利用有限的數據資源提高語義分割的性能成為了一個亟待解決的問題。在此背景下，充分利用機場中容易獲取的不精確樣本，例如圖像級別的標簽，來改善語義分割的性能，成為一個具有重要研究意義的方向。因此，研究基于圖像級別的標簽的弱監督機場語義分割是非常有必要的。

2、語義分割的任務是將圖像分割成為不同的語義區域，例如人、車、建筑、道路等。而機場語義分割，可以實現對機場內各類目標的精確識別和定位，例如飛機、車輛等，從而提升機場的安全性和運營效率?，F有弱監督語義分割算法如irnet、seam、w-ood等也可以應用到機場中。但由于機場物體的耦合現象，導致分割效果不佳。耦合指的是一些物體常常一同出現在同一幅圖片中，這種現象在機場中是非常嚴重的，這是由機場自身獨特的結構所導致的，比如飛機常常出現在機場場面上、登機橋旁邊往往是航站樓等。在機場中，不同類別之間往往存在耦合，它們常常一同出現在同一幅圖片中。這種耦合關系會誤導語義分割，特別是弱監督語義分割算法，因為分類器僅在圖像標簽上進行訓練，因此會受到耦合物體之間虛假相關性的影響，從根本上限制了弱監督語義分割方法的性能。對語義分割來說，這種耦合的上下文信息可能會是一種誤導，特別是對于基于類激活圖的弱監督語義分割。由于弱監督語義分割需要從分類模型中獲取信息來得到種子區域，即粗糙的分割結果，所以這種耦合關系會誤導模型將某一類擴張到另一類中去，比如將機場場面也被分割成飛機的一部分，因此需要解耦這種耦合關系。

3、現有針對機場場景中的語義分割算法的主要問題有如下：

4、1)機場物體的耦合現象：在機場中，不同類別之間往往存在耦合，它們常常一同出現在同一幅圖片中。這種耦合關系會誤導語義分割，特別是弱監督語義分割算法，因為分類器僅在圖像標簽上進行訓練，因此會受到耦合物體之間虛假相關性的影響，從根本上限制了弱監督語義分割方法的性能。

5、2)機場數據質量不佳：在研究和應用語義分割技術于機場環境中時，獲取高質量的機場數據是一個顯著的挑戰?，F在很少有專門收集機場圖片的數據集，而像素級別的標簽更是稀少，而弱監督語義分割方法只需要圖像級別的標簽，更加經濟。

6、在研究和應用語義分割技術于機場環境中時，獲取高質量的機場數據是一個顯著的挑戰。現在很少有專門收集機場圖片的數據集，而像素級別的標簽更是稀少，而弱監督語義分割方法只需要圖像級別的標簽，更加經濟。

技術實現思路

1、為解決上述技術問題，本發明提供了一種基于去耦合的弱監督機場圖像語義分割方法，能夠有效應對機場這一特殊環境，顯著提升飛行器和地面設備的監控效率。

2、本發明采用的技術方案為：一種基于去耦合的弱監督機場圖像語義分割方法，具體步驟如下：

3、s1、構建一個弱監督語義分割模型；

4、所述模型包括：機場偽標簽模塊、機場輔助學習與主任務分割模塊、語義分割模塊。

5、其中，所述機場輔助學習與主任務分割模塊即一個多任務學習模塊，包括：輔助學習模塊、主任務模塊。所述語義分割模塊即一個弱監督語義分割模型。

6、s2、利用弱監督語義分割方法收集機場各個類別的實例圖輸入機場偽標簽模塊，再將訓練圖像輸入機場偽標簽模塊進行解耦操作，生成新的訓練圖像和機場偽標簽；

7、s3、基于步驟s2得到新的圖像和機場偽標簽，輸入機場輔助學習與主任務分割模塊，訓練基于機場的輔助學習任務以及監督訓練圖像分類主任務，生成效果更好的新的機場偽標簽；

8、s4、基于步驟s3得到全新的沒有耦合的機場偽標簽，訓練弱監督語義分割模型，即在步驟s3得到的偽標簽上訓練分割模型，并對其進行完全監督，獲得最終的分割結果。

9、其中，所述弱監督語義分割模型包括：deeplab、fcn、u-net；模型骨干包括：resnet38、vgg、resnet。

10、進一步地，所述步驟s2具體如下：

11、首先使用弱監督語義分割方法收集分割對象的實例圖，并利用圖像級標簽訓練一個分類網絡，分類網絡選擇resnet作為骨干網絡，且在后面接全連接層，利用這個分類網絡生成定位圖，定位圖即一個粗糙的分割圖，也即是種子區域。

12、其中，所述分割對象的實例圖即機場各個類別的實例圖。

13、在得到定位圖后，利用像素與像素之間的關系對物體邊界預測，即物體邊界同側具有相似性，物體邊界異側不具有相似性，將物體邊界和種子區域結合即可將邊界外的部分去除，擴張得到更準確的分割結果，即偽標簽；

14、基于上述得到的偽標簽，選擇其中分割效果好的物體實例來解耦物體之間的關系，即將訓練圖像輸入機場偽標簽模塊并進行解耦操作，生成新的機場偽標簽。

15、其中，所述分割效果好的物體實例即當前圖像只有一個類別。所述解耦操作具體如下：

16、設定訓練數據集一共有n張圖像，每個訓練輪次中從訓練數據集中抽取n/2幅圖像，并從生成的偽標簽中抽取相同數量的物體實例，物體實例從偽標簽中得到。

17、然后，將提取的物體隨機粘貼到輸入圖像中，生成n/2批新圖像，再將生成的n/2張新圖像與從數據集抽取的n/2張圖像結合在一起，則每次訓練得到一批大小為n的訓練圖像，在得到新的n張訓練圖片時，上述生成的偽標簽得到更新，生成新的機場偽標簽。

18、其中，所述將提取的物體隨機粘貼到輸入圖像中即將上述物體實例融合到輸入圖像中，即通過隨機調整物體的大小，并添加隨機旋轉的操作改變物體的方向，添加高斯平滑處理幫助添加的物體邊界更自然地融合在一起，將機場中的運動物體粘貼到其他圖片的其他類別上。且物體大小不超過圖像的50％，不小于5％。所述機場的運動物體包括：飛機、車、人。

19、進一步地，所述步驟s3具體如下：

20、首先基于步驟s2得到的機場偽標簽和n張新的訓練圖像訓練一個多任務學習模塊，具體如下：

21、其中，所述多任務學習模塊中輔助學習模塊與主任務模塊共用一個編碼器來提取特征，且主任務模塊基于分類網絡生成粗糙的分割圖，即種子區域，主任務模塊的監督來自步驟s2中弱監督語義分割的圖像級別標簽；輔助學習模塊基于解碼器分割部分容易耦合的物體的顯著部分，包括：飛機的頭部、尾部、車，輔助學習模塊監督來自步驟s2生成的新的機場偽標簽。

22、設定函數f(x)表示編碼器，其參數為接受輸入圖像x的函數θ，在最終特征層，為輔助學習模塊添加解碼器進行分割，為主任務模塊添加全連接層進行分類，并使用softmax函數為每個任務輸出相應的預測結果，具體如下：

23、對于訓練的真實標簽，主任務標簽用ypri表示，生成的輔助任務標簽yaux表示。則對于主任務和輔助任務模塊，采用固定的聚焦參數γ＝2的聚焦損失l(y^,y)訓練，其定義表達式如下：

24、l(y^,y)＝-y(1-y^)γlog(y^)

25、其中，y^表示預測標簽，y表示真實標簽。

26、然后更新多任務網絡的參數θ，則多任務目標的聚焦損失函數定義表達式如下：

27、

28、其中，表示主任務模塊的預測結果，表示輔助任務模塊的預測結果和分別表示主任務與輔助任務的損失函數，argθ表示最小化損失函數。-

29、基于上述多任務學習模塊的訓練，即運用沒有耦合的圖片同時用輔助學習幫助解耦，得到訓練好的分類網絡生成新的種子區域，將定位圖經過細化或利用機場環境的特殊性得到全新的沒有耦合的機場偽-標簽，即利用深度神經網絡模型來預測圖像中一對相鄰坐標之間的語義相似性，并在隨機游走中使用預測的親和度作為轉移概率，使隨機游走將定位圖的激活分數傳播到同一語義實體的附近區域，顯著提高定位圖的質量，最終得到全新的沒有耦合的機場偽標簽。

30、本發明的有益效果：本發明的方法通過構建一個弱監督語義分割模型，利用弱監督語義分割方法收集機場各個類別的實例圖，將訓練圖像進行解耦操作，生成新的訓練圖像和機場偽標簽，再訓練基于機場的輔助學習任務以及監督訓練圖像分類主任務，生成效果更好的新的機場偽標簽，最后訓練弱監督語義分割模型，并對其進行完全監督，獲得最終的分割結果?，F有的方法并沒有考慮過機場物體耦合的問題，即便是一些解耦的方法也只是適應于一些常用的圖像數據庫，而無法應用于機場這一真實的、獨特的環境中。而通過機場偽標簽生成與輔助學習，本發明的方法能產生沒有耦合物體的圖像，同時讓模型更好的理解不同物體的細節，這能有效的避免其將兩種物體分割在一起，最終達到了去耦合的目的?，F有的全監督算法如果想應用在機場上，其需要人工標注的像素級別的標簽，這是非常耗時耗力的，所以應用弱監督算法更加經濟。而其他弱監督算法在針對機場這一特殊環境，其效果也不佳，所以本發明的方法更加有效?，F有的方法并沒有考慮如何高效的生成全新的機場圖片。而本發明的方法利用偽標簽模塊，將不同物體的實例相互組合，有別于以往直接進行圖像合成、裁剪等數據增強方法，這些數據增強方法并沒有改變物體的上下文信息、結構等。而本發明的方法能破壞物體之間不必要的聯系，促進模型的訓練、預測等。