本發明涉及計算機視覺，具體提供一種基于頭部和整體信息聯合的多尺度行人檢測方法及裝置。

背景技術：

1、在計算機視覺領域中，行人檢測技術是應用廣泛的熱門研究方向之一。行人檢測任務主要指通過計算機視覺相關技術將圖像、視頻和視頻流數據中的行人目標實例精準地檢測出來并對其進行定位，該任務本質上是一個分類和回歸的過程。在實際生活中，行人檢測在自動駕駛、智能監控、智能機器人以及人機交互等領域發揮著重要的作用并具有較高的應用價值。其中，在自動駕駛領域和輔助安全駕駛領域，利用行人檢測技術可以實時檢測車輛前方是否有行人突然闖入，從而根據實際情況及時做出調整，以此來確保行人安全和行車安全。特別是在擁堵路段和人群密集場景，行人檢測技術對自動駕駛安全的輔助作用更加明顯。在智能監控領域，現今多數公共場所都會利用攝像頭來對整個場景進行監控并且實時統計人群流量數據。特別是在疫情期間，多數大型公共場所都會嚴格控制行人流量密度，利用行人檢測技術可以實時準確地統計場所中的行人流量，并且通過對這些數據進行分析和預測，進而有助于管理者采取相應調整措施。在智能機器人領域，攝像機等傳感器為智能機器人傳入對應的環境場景信號，行人檢測算法作為智能機器人大腦中的重要思維感知網絡，可以幫助智能機器人快速準確地感知到行人目標并及時做出相應的決策來進行調整。在人機交互領域，校園和餐飲店中的智能送餐車、智能快遞投遞車等設備中均融合了行人檢測算法等多種功能，并且通過與行人之間進行交互的方式達到利用人工智能技術更好地為人們日常生活服務的目的。

2、基于深度學習的行人檢測算法按照檢測思路可劃分為單階段行人檢測算法和兩階段行人檢測算法。其中，單階段行人檢測算法主要以yolo系列網絡模型為代表，兩階段行人檢測算法則以r-cnn系列網絡模型為代表。然而，這兩類算法均缺乏對特定檢測場景的研究與設計，對于密集場景中較遠視角處的小尺度行人目標和遮擋重疊嚴重的行人目標的檢測能力較弱，主要表現在檢測精度較低和漏檢率較高。此外，這兩類算法均忽略了一個重要問題：雖然在復雜密集場景中行人軀體部分容易受到遮擋重疊，但其頭部區域往往受到的遮擋較輕甚至完全不受遮擋，即便行人軀體部分受到了嚴重的遮擋，頭部區域仍能提供重要的特征信息，這對于檢測密集場景中的行人目標非常重要。然而頭部區域整體尺度較小，容易在手部、肘部以及周圍小型物體上產生歧義，進而造成誤檢。由此可知，僅依賴整體檢測和頭部檢測均難以實現精準地行人檢測，需要將頭部檢測與整體檢測進行有效聯合，并且在特征提取環節需要獲取到更加豐富細致的多尺度特征信息，從而更好地發揮頭部檢測和整體檢測各自的優勢，提升行人檢測的準確率。因此，設計一種基于頭部和整體信息聯合的多尺度行人檢測算法是非常有必要的，對于提升密集場景中遮擋行人目標和多尺度行人目標的檢測精度具有重要意義。

3、針對上述需求，目前，國內外也有很多相關的解決方案。

4、中國專利公布號為cn111767882a，公布日為2020年10月13日，專利名稱為“一種基于改進yolo模型的多模態行人檢測方法”的發明專利申請，通過融合cbam注意力機制并對損失函數進行優化，以此來提升行人檢測效果。但也存在一些問題如，（1）在特征提取環節對于多尺度行人目標的靈敏度不夠高，尤其是對較遠視角處的小尺度行人的特征信息學習能力較弱。（2）對于遮擋重疊嚴重的行人目標的漏檢現象仍有一定改進的空間。中國專利公布號為cn113989939a，公布日為2022年1月28日，專利名稱為“一種基于改進yolo算法的小目標行人檢測系統”的發明專利申請，但實際檢測場景中難免存在行人密集擁擠現象，因而該方法對于遮擋行人目標的檢測能力較弱，在實際應用時存在一定的局限性。中國專利公布號為cn114882527a，公布日為2022年8月9日，專利名稱為“基于動態分組卷積的行人檢測方法及系統”的發明專利申請，主要利用分組卷積實現行人檢測，但缺乏對行人檢測特定場景的考慮，在復雜人群密集場景下的執行效率存在一定的局限性。

5、對于現有行人檢測技術而言，更多的方案還是依托經典的目標檢測算法來檢測場景中的行人目標，依據檢測思路可分為以yolo系列網絡模型為代表的單階段檢測算法和以faster?r-cnn網絡模型為代表的兩階段檢測算法。然而經典的目標檢測算法大多缺乏對于檢測場景的特定考慮，尤其是復雜人群密集場景下，這些主流檢測算法的魯棒性受到了影響，主要包括以下兩點：

6、（1）行人目標尺度不一導致檢測器的綜合性能受到影響。由于當前行人檢測數據集大多數是基于攝像頭拍攝并進行標定處理得到的，而攝像頭在拍攝時存在“近大遠小”的規律，較近視角處的行人目標整體尺度較大，較遠視角處的行人目標整體尺度較小。由于小尺度行人目標的分辨率相對較低，因此算法在進行特征提取的過程中容易出現學習到的特征信息有限或者特征表達能力較弱的問題，難以對不同尺度的行人目標均具備較高的靈敏度，進而容易引起漏檢或者誤檢現象。

7、（2）行人目標受遮擋嚴重導致檢測器的綜合性能受到影響。在復雜人群密集場景下的行人檢測任務中，行人目標往往受到一定的遮擋現象。通過對行人檢測數據集中的圖像進行分析可知，行人遮擋問題主要包括兩種情況：類內遮擋和類間遮擋。其中，類內遮擋是指行人目標之間相互遮擋。類間遮擋是指行人受背景信息干擾，背景信息主要包括建筑物、樹木、車輛、行人自身攜帶的物品和附近其他行人攜帶的物品等。類內遮擋和類間遮擋導致了行人全身可見區域部分所占比例降低，會對算法的特征提取環節造成困難，并且算法檢測模塊推理所需的信息也隨之減少，此外還會影響行人目標定位的準確性，從而影響行人檢測算法的綜合性能。

技術實現思路

1、本發明為解決上述問題，提供了一種基于頭部和整體信息聯合的多尺度行人檢測方法及裝置，提升檢測器對復雜人群密集場景中的多尺度行人目標和受遮擋行人目標的檢測精度，并降低其漏檢率。

2、第一方面，本發明提供一種基于頭部和整體信息聯合的多尺度行人檢測方法，包括：

3、構建faster?r-cnn網絡模型；

4、將所述faster?r-cnn網絡模型的骨干網絡融合改進后的特征提取網絡，并將待檢測圖像輸入至所述融合改進后特征提取網絡的faster?r-cnn模型中進行特征提取，得到提取特征圖；

5、對區域建議網絡的采樣方式進行改進，構建基于遮擋重疊率判別的非均勻困難樣本挖掘策略，通過計算樣本集合中每一樣本的遮擋重疊率，并為遮擋重疊率較高的樣本賦予較高權重，利用所述區域建議網絡對場景中的所有行人實例同時生成頭部候選框與整體候選框集合；

6、構建行人頭部檢測分支模塊和行人整體檢測分支模塊，并通過所述行人頭部檢測分支模塊和行人整體檢測分支模塊獲得初步目標檢測結果，所述初步目標檢測結果包括行人頭部檢測框和行人整體檢測框；

7、對得到的所述行人頭部檢測框和所述行人整體檢測框進行后處理，并篩除聯合檢測過程中產生的冗余檢測框，得到最終的行人檢測結果；

8、為進一步抑制后處理環節中出現的誤檢和漏檢情況，在損失函數部分構建聯合損失函數，所述聯合損失函數用于懲罰未被正確非極大值抑制的誤檢情況和被錯誤非極大值抑制的漏檢情況，使得最終的檢測結果更加準確。

9、作為一種優選的方案，所述將所述faster?r-cnn網絡模型的骨干網絡融合改進后的特征提取網絡，并將待檢測圖像輸入至所述融合改進后特征提取網絡的faster?r-cnn模型中進行特征提取，得到提取特征圖，包括：

10、將resnet50網絡作為faster?r-cnn網絡模型的骨干網絡；

11、利用所述骨干網絡學習待檢測圖像的特征信息；

12、對所述骨干網絡獲取的特征信息進行特征融合，結合密集連接思想，對特征金字塔網絡fpn的特征拼接策略進行改進，即令所有尺度的特征均參與計算輸出特征信息，吸取大尺度特征圖表達高級語義信息和小尺度特征圖表達底層紋理等細節信息的優點，增強網絡對多尺度特征的融合，則各層尺度特征對應的預測值~具體如公式1和公式2所示；

13、(1)

14、(2)

15、其中，均為權重參數，為特征映射函數，~為特征提取網絡獲取到的各層尺度特征，在具體訓練過程中，參數參與梯度的反向傳播，通過模型的訓練來學習更新至最為合適的值。

16、作為一種優選的方案，所述對區域建議網絡的采樣方式進行改進，構建基于遮擋重疊率判別的非均勻困難樣本挖掘策略，通過計算樣本集合中每一樣本的遮擋重疊率，并為遮擋重疊率較高的樣本賦予較高權重，利用所述區域建議網絡對場景中的所有行人實例同時生成頭部候選框與整體候選框集合，包括：

17、所述基于遮擋重疊率判別的非均勻困難樣本挖掘策略通過引入判定閾值，將樣本集合依據平均遮擋重疊率劃分為困難集()和普通集()兩類，將每一樣本被抽取的概率定義為，具體計算方法如公式3所示；

18、(3)

19、其中，表示第個樣本的遮擋系數，用于反映第個樣本受遮擋的程度；

20、對于第個樣本的遮擋系數，進一步表示為：

21、(4)

22、其中，表示檢測需要的樣本數目，表示候選樣本總數，和分別表示樣本集中第個樣本的遮擋重疊率和整個樣本集合的平均遮擋重疊率，判定閾值可依據數據集的整體遮擋程度而設置不同的值；

23、對于樣本集中第個樣本的遮擋重疊率和整個樣本集合的平均遮擋重疊率，進一步表示為：

24、(5)

25、(6)

26、作為一種優選的方案，所述對得到的所述行人頭部檢測框和所述行人整體檢測框進行后處理，并篩除聯合檢測過程中產生的冗余檢測框，得到最終的行人檢測結果，包括：

27、對于聯合檢測框架得到的頭部檢測框和行人整體檢測框分別引入遞減置信度的懲罰因子，通過逐漸降低重疊檢測框的置信度分數，在不過度抑制重疊框的同時降低其競爭，第個行人整體檢測框的分數和第個頭部檢測框的分數表示為：

28、(7)

29、(8)

30、(9)

31、(10)

32、其中，和分別為前一次迭代中分數最高的整體框和頭部框，和分別為整體檢測和頭部檢測對應的nms閾值，為初始設定的一個較小固定值；

33、對于得到的頭部框和整體框的置信度分數進行加權求和，得到聯合置信度分數，具體表示為：

34、(11)

35、其中，表示頭部檢測分數所占權重，如果頭部重疊度或整體重疊度大于預設閾值，則對置信度較低的檢測框進行抑制。

36、作為一種優選的方案，所述為進一步抑制后處理環節中出現的誤檢和漏檢情況，在損失函數部分構建聯合損失函數，所述聯合損失函數用于懲罰未被正確非極大值抑制的誤檢情況和被錯誤非極大值抑制的漏檢情況，使得最終的檢測結果更加準確，包括：

37、所述聯合損失函數具體表示為：

38、(12)

39、其中，系數、、和均為平衡損失的權重，與用于將誤檢的頭部框和整體框拉近以進行剔除，與用于將被錯誤非極大值抑制的漏檢頭部框和整體框推遠，從而使得頭部框和整體框正確對應目標框；

40、對于用于將被錯誤非極大值抑制的漏檢頭部框和整體框推遠的與損失函數，進一步表示為：

41、(13)

42、(14)

43、對于用于將誤檢的頭部框和整體框拉近以進行剔除的與損失函數，進一步表示為：

44、(15)

45、(16)

46、其中，和分別為頭部檢測分支和整體檢測分支對應的nms閾值，在對頭部檢測分支和整體檢測分支產生的冗余框進行剔除后，得到最終的行人檢測結果。

47、第二方面，本發明提供一種基于頭部和整體信息聯合的多尺度行人檢測裝置，包括：

48、構建單元，用于構建faster?r-cnn網絡模型；

49、提取單元，用于將所述faster?r-cnn網絡模型的骨干網絡融合改進后的特征提取網絡，并將待檢測圖像輸入至所述融合改進后特征提取網絡的faster?r-cnn模型中進行特征提取，得到提取特征圖；

50、生成單元，用于對區域建議網絡的采樣方式進行改進，構建基于遮擋重疊率判別的非均勻困難樣本挖掘策略，通過計算樣本集合中每一樣本的遮擋重疊率，并為遮擋重疊率較高的樣本賦予較高權重，利用所述區域建議網絡對場景中的所有行人實例同時生成頭部候選框與整體候選框集合；

51、初步檢測單元，用于構建行人頭部檢測分支模塊和行人整體檢測分支模塊，并通過所述行人頭部檢測分支模塊和行人整體檢測分支模塊獲得初步目標檢測結果，所述初步目標檢測結果包括行人頭部檢測框和行人整體檢測框；

52、后處理單元，用于對得到的所述行人頭部檢測框和所述行人整體檢測框進行后處理，并篩除聯合檢測過程中產生的冗余檢測框，得到最終的行人檢測結果；

53、輸出單元，用于為進一步抑制后處理環節中出現的誤檢和漏檢情況，在損失函數部分構建聯合損失函數，所述聯合損失函數用于懲罰未被正確非極大值抑制的誤檢情況和被錯誤非極大值抑制的漏檢情況，使得最終的檢測結果更加準確。

54、作為一種優選的方案，所述提取單元具體用于：

55、將resnet50網絡作為faster?r-cnn網絡模型的骨干網絡；

56、利用所述骨干網絡學習待檢測圖像的特征信息；

57、對所述骨干網絡獲取的特征信息進行特征融合，結合密集連接思想，對特征金字塔網絡fpn的特征拼接策略進行改進，即令所有尺度的特征均參與計算輸出特征信息，吸取大尺度特征圖表達高級語義信息和小尺度特征圖表達底層紋理等細節信息的優點，增強網絡對多尺度特征的融合，則各層尺度特征對應的預測值~具體如公式1和公式2所示；

58、(1)

59、(2)

60、其中，均為權重參數，為特征映射函數，~為特征提取網絡獲取到的各層尺度特征，在具體訓練過程中，參數參與梯度的反向傳播，通過模型的訓練來學習更新至最為合適的值。

61、作為一種優選的方案，所述生成單元具體用于：

62、所述基于遮擋重疊率判別的非均勻困難樣本挖掘策略通過引入判定閾值，將樣本集合依據平均遮擋重疊率劃分為困難集()和普通集()兩類，將每一樣本被抽取的概率定義為，具體計算方法如公式3所示；

63、(3)

64、其中，表示第個樣本的遮擋系數，用于反映第個樣本受遮擋的程度；

65、對于第個樣本的遮擋系數，進一步表示為：

66、(4)

67、其中，表示檢測需要的樣本數目，表示候選樣本總數，和分別表示樣本集中第個樣本的遮擋重疊率和整個樣本集合的平均遮擋重疊率，判定閾值可依據數據集的整體遮擋程度而設置不同的值；

68、對于樣本集中第個樣本的遮擋重疊率和整個樣本集合的平均遮擋重疊率，進一步表示為：

69、(5)

70、(6)

71、作為一種優選的方案，所述后處理單元具體用于：

72、對于聯合檢測框架得到的頭部檢測框和行人整體檢測框分別引入遞減置信度的懲罰因子，通過逐漸降低重疊檢測框的置信度分數，在不過度抑制重疊框的同時降低其競爭，第個行人整體檢測框的分數和第個頭部檢測框的分數表示為：

73、(7)

74、(8)

75、(9)

76、(10)

77、其中，和分別為前一次迭代中分數最高的整體框和頭部框，和分別為整體檢測和頭部檢測對應的nms閾值，為初始設定的一個較小固定值；

78、對于得到的頭部框和整體框的置信度分數進行加權求和，得到聯合置信度分數，具體表示為：

79、(11)

80、其中，表示頭部檢測分數所占權重，如果頭部重疊度或整體重疊度大于預設閾值，則對置信度較低的檢測框進行抑制。

81、作為一種優選的方案，所述輸出單元具體用于：

82、所述聯合損失函數具體表示為：

83、(12)

84、其中，系數、、和均為平衡損失的權重，與用于將誤檢的頭部框和整體框拉近以進行剔除，與用于將被錯誤非極大值抑制的漏檢頭部框和整體框推遠，從而使得頭部框和整體框正確對應目標框；

85、對于用于將被錯誤非極大值抑制的漏檢頭部框和整體框推遠的與損失函數，進一步表示為：

86、(13)

87、(14)

88、對于用于將誤檢的頭部框和整體框拉近以進行剔除的與損失函數，進一步表示為：

89、(15)

90、(16)

91、其中，和分別為頭部檢測分支和整體檢測分支對應的nms閾值，在對頭部檢測分支和整體檢測分支產生的冗余框進行剔除后，得到最終的行人檢測結果。

92、與現有技術相比，本發明能夠取得如下有益效果：

93、本發明實施例中提出一種基于頭部和整體信息聯合的多尺度行人檢測方法及裝置，首先通過對不同層次特征進行密集連接，即令所有尺度特征均參與計算最終輸出特征的策略，使得最終得到的每一層次特征中都能涵蓋語義信息和細節紋理信息，進而提升網絡對多尺度行人目標的靈敏度；其次，本發明對區域建議網絡的采樣方式進行了優化，通過計算樣本集合中每一樣本的遮擋重疊率，并為遮擋重疊率較高的樣本賦予較高的權重，強化了訓練時對困難樣本集中受遮擋嚴重樣本的學習，進而提升模型對遮擋行人目標的檢測能力；然后，本發明構建了行人頭部與整體信息的聯合檢測框架，旨在利用頭部檢測輔助行人檢測，從而降低行人軀體被遮擋對檢測造成的不利影響。并且對后處理環節和損失函數模塊進行了優化，減弱了相鄰行人目標對檢測造成的干擾，同時提升了篩除冗余框的智能性和合理性，使得密集處的檢測框不被過度抑制的同時剔除兩個檢測分支產生的誤檢框，以此來進一步降低行人檢測的漏檢率和誤檢率。因此，相比于以往算法，本發明提供的行人檢測算法對復雜人群密集場景中的多尺度行人目標和遮擋行人目標的檢測能力更強，并能夠降低行人目標漏檢率。