本申請涉及機器人制造技術領域,尤其涉及一種人體識別方法和裝置。
背景技術:
隨著科學技術的高速發展,機器人制造技術也得以發展迅速,機器人的應用已逐步進入家庭服務行業。
物業服務機器人是一種不受環境、溫度的影響,能夠動態地實現對用戶身份識別的機器人,該類機器人需要在用戶身份識別方面有卓越的辨識能力,因此對于人體識別的要求非常之高。
目前傳統的物業服務機器人都是利用高清攝像頭捕捉用戶圖像信息,通過對捕捉到的用戶圖像信息進行分析來達到人體識別的目的。然而,在實際應用過程中,高清攝像頭捕捉到的用戶圖像信息中往往會出現多名用戶重疊在一個區域的情況,此時在對用戶圖像信息進行分析的過程中,一般會將發生重疊情況較為嚴重的多名用戶默認處理為一名用戶,顯然這與實際并不相符。因此現有人體識別方法的準確度較低。
技術實現要素:
有鑒于此,本申請提供一種人體識別方法和裝置,以提高人體識別的準確度。技術方案如下:
基于本申請的一方面,本申請提供一種人體識別方法,包括:
獲取圖像信息;
對所述圖像信息進行深度處理,獲得深度圖和彩色圖;
對所述彩色圖進行深度卷積神經網絡Deep CNN的人體檢測,確定所述彩色圖中的人體邊界框;
判斷所述人體邊界框對應在深度圖中的人體邊界框區域內是否存在唯一一個人體;
如果所述人體邊界框區域內存在有兩個及兩個以上個人體時,將所述兩個及兩個以上個的人體進行分離;
依據在深度圖中的人體邊界框區域內的人體個數,確定所述圖像信息中人體的個數。
優選地,還包括:
如果所述人體邊界框區域內不存在人體,則刪除所述人體邊界框區域對應在所述彩色圖中的人體邊界框。
優選地,所述確定出所述人體邊界框區域內的人體后,所述方法還包括:
確定所述人體的相對位置信息。
優選地,在確定出所述人體邊界框區域內的人體后,所述方法還包括:
依據所述彩色圖中的人體邊界框,確定每個人體的人臉位置。
優選地,所述依據所述彩色圖中的人體邊界框,確定每個人體的人臉位置之后,所述方法還包括:
依據所述人臉位置對應在所述深度圖中的位置區域,判斷所述人臉位置是否正確;
如果不正確,刪除所述人臉位置。
基于本申請的另一方面,本申請還提供一種人體檢測裝置,包括:
獲取單元,用于獲取圖像信息;
深度信息處理單元,用于對所述圖像信息進行深度處理,獲得深度圖和彩色圖;
人體邊界框確定單元,用于對所述彩色圖進行深度卷積神經網絡DeepCNN的人體檢測,確定所述彩色圖中的人體邊界框;
第一判斷單元,用于判斷所述人體邊界框對應在深度圖中的人體邊界框區域內是否存在唯一一個人體;
人體分離單元,用于當所述第一判斷單元判斷所述人體邊界框區域內存在有兩個及兩個以上個人體時,將所述兩個及兩個以上個的人體進行分離;
人體個數確定單元,用于依據在深度圖中的人體邊界框區域內的人體個數,確定所述圖像信息中人體的個數。
優選地,還包括:
第一刪除單元,用于當所述第一判斷單元判斷所述人體邊界框區域內不存在人體,則刪除所述人體邊界框區域對應在所述彩色圖中的人體邊界框。
優選地,還包括:
相對位置確定單元,用于確定所述人體的相對位置信息。
優選地,還包括:
人臉位置確定單元,用于依據所述彩色圖中的人體邊界框,確定每個人體的人臉位置。
優選地,還包括:
第二判斷單元,用于依據所述人臉位置對應在所述深度圖中的位置區域,判斷所述人臉位置是否正確;
第二刪除單元,用于當所述第二判斷單元判斷所述人臉位置不正確時,刪除所述人臉位置。
本申請提供的人體識別方法,通過將獲取到的圖像信息進行深度處理得到深度圖和彩色圖,對彩色圖進行Deep CNN(Deep Convolutional Neural Networks,深度卷積神經網絡)的人體檢測,確定出彩色圖中的人體邊界框,進而判斷所述人體邊界框對應在深度圖中的人體邊界框區域內是否存在唯一一個人體,如果人體邊界框區域內存在有兩個及兩個以上個人體時,將所述兩個及兩個以上個的人體進行分離,最后依據在深度圖中的人體邊界框區域內的人體個數,確定圖像信息中人體的個數。本申請基于深度圖實現對彩色圖中識別到的人體進行二次識別,避免了重疊人體被誤判為一個人體的情況,本申請利用深度圖的圖像信息輔助人體識別,提高了人體識別的準確度。
附圖說明
為了更清楚地說明本申請實施例或現有技術中的技術方案,下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本申請的實施例,對于本領域普通技術人員來講,在不付出創造性勞動的前提下,還可以根據提供的附圖獲得其他的附圖。
圖1為本申請提供的一種人體識別方法的流程圖;
圖2為本申請提供的一種人體識別裝置的結構示意圖。
具體實施方式
下面將結合本申請實施例中的附圖,對本申請實施例中的技術方案進行清楚、完整地描述,顯然,所描述的實施例僅僅是本申請一部分實施例,而不是全部的實施例。基于本申請中的實施例,本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例,都屬于本申請保護的范圍。
請參閱圖1,其示出了本申請提供的一種人體識別方法的流程圖,包括:
步驟101,獲取圖像信息。
在本申請實施例中,可以利用雙目攝像頭來實時獲取視頻圖像信息,本申請將其獲取的每一幀視頻圖像信息稱之為圖像信息。
步驟102,對所述圖像信息進行深度處理,獲得深度圖和彩色圖。
步驟103,對所述彩色圖進行Deep CNN的人體檢測,確定所述彩色圖中的人體邊界框。
在本申請實施例中,人體檢測的Deep CNN深度學習網絡由卷積層網絡、區域提取網絡和區域分類網絡構成。當將彩色圖輸入至Deep CNN中進行信息提取后,Deep CNN能夠直接計算并輸出該彩色圖中的人體邊界框。其中,人體邊界框為在彩色圖中用于表示一個人體的邊界框。例如該彩色圖中包括三名用戶,那么該彩色圖進行Deep CNN的人體檢測后,可以確定出該彩色圖中包括三個人體邊界框。
步驟104,判斷所述人體邊界框對應在深度圖中的人體邊界框區域內是否存在唯一一個人體。如果是,執行步驟106,如果不是,執行步驟105。
因為本申請中的深度圖和彩色圖是經過對同一個圖像信息進行深度處理后得到的,因此深度圖和彩色圖的內容實質是一致的,只是其表現形式不同。當本申請在彩色圖中確定出人體邊界框后,進而判斷確定出的人體邊界框對應在深度圖中的人體邊界框區域內是否存在唯一一個人體。其中,人體邊界框區域與由彩色圖中的人體邊界框所圍成的區域相同。
進一步,本申請還可以結合人體幾何信息,如人體的高度、尺寸、位置等來判斷人體邊界框區域內的人體是否正確。
在實際應用過程中,有些物體的外形尺寸跟人體的外形尺寸比較相近,那么本申請在對彩色圖進行Deep CNN的人體檢測后,可能也會將該物體誤判為一個人體,而獲取其人體邊界框。基于此,本申請在判斷人體邊界框對應在深度圖中的人體邊界框區域內存在有至少一個人體時,進一步結合人體幾何信息判斷該存在的至少一個人體是否正確。如果判斷得知有人體是誤判,并不是真正的人體,那么將該誤判的人體刪除,如果人體邊界框對應在深度圖中的人體邊界框區域內不存在任何一個人體時,即可確定相應的彩色圖中確定的人體邊界框就是錯誤的,因此刪除所述人體邊界框區域對應在所述彩色圖中的人體邊界框。
步驟105,將人體邊界框區域內存在的兩個及兩個以上個的人體進行分離。
由于通過Deep CNN的人體檢測后,對于發生重疊的用戶只會輸出一名用戶對應的一個人體識別結果,即一個人體邊界框,無法實現對重疊人體的分開識別,因此本申請進一步通過獲取深度圖,結合深度圖的圖像信息,對發生重疊的用戶加以區分,從而分離出單個的人體,實現了識別重疊人體的功能,保證了人體識別的準確度。
步驟106,依據在深度圖中的人體邊界框區域內的人體個數,確定所述圖像信息中人體的個數。
例如假設,當前彩色圖中一共包括5名用戶,分別為用戶A、用戶B、用戶C、用戶D和用戶E,其中用戶C、用戶D和用戶E發生重疊,那么本申請對該彩色圖進行Deep CNN的人體檢測后,獲得的人體邊界框的個數為3個,分別為用戶A的人體邊界框、用戶B的人體邊界框和用戶C’的人體邊界框,這里用戶C’的人體邊界框表示的是發生重疊的用戶C、用戶D和用戶E共同對應的人體邊界框。進一步,本申請結合深度圖的圖像信息判斷得知用戶C’的人體邊界框對應在深度圖中的人體邊界框區域內存在三名用戶,當前用戶C’存在重疊問題,因此對用戶C’進行分離處理,即將用戶C、用戶D和用戶E分離開。最終,本申請實現了對當前彩色圖中一共包括的用戶A、用戶B、用戶C、用戶D、用戶E這5名用戶的人體識別的確定,確定出該圖像信息中的5名用戶。
因此,本申請基于深度圖實現了對彩色圖中識別到的人體進行二次識別的功能,避免了重疊人體被誤判為一個人體的情況,本申請利用深度圖的圖像信息輔助人體識別,提高了人體識別的準確度。
此外在上述實施例的基礎上,本申請在步驟106確定出所述人體邊界框區域內的人體后,所述方法還包括:
步驟107,確定所述人體的相對位置信息。
本申請提供的人體識別方法可具體應用在機器人平臺的視覺系統中,機器人除了實現人體識別之外,還可兼具人機互動的功能,因此本申請在實現對用戶的人體識別之外,還可以實現對人體的相對位置信息的確定,即人體相對于機器人的位置信息的確定。本申請結合深度圖的深度信息對人體進行定位能夠給機器人的智能導航及人機互動提供可靠的位置信息。
更進一步的,在上述實施例的基礎上,本申請在步驟106確定出所述人體邊界框區域內的人體后,或在步驟107確定人體的相對位置信息之后,所述方法還可以包括:
步驟108,依據所述彩色圖中的人體邊界框,確定每個人體的人臉位置。
具體的,本申請實施例可以采用基于邊框的人臉定位方法計算所述彩色圖中各個人體的人臉位置。基于邊框的人臉定位方法會根據人體的基本比例,計算出每個用戶的人臉的大概位置,然后通過Haar特征及AdaBoost分類器來找到人臉的具體位置,從而實現用戶人臉位置的確定。
在本申請實施例中,為了保證用戶身份識別的準確度,本申請可以再次獲取深度圖,依據所述人臉位置對應在所述深度圖中的位置區域,判斷所述人臉位置是否正確,如果不正確,則刪除所述人臉位置。因此,本申請依據深度圖中人臉位置處的深度信息分布情況,排除了錯誤的人臉位置,提高了人體識別的準確度。
基于前文本申請提供的一種人體識別方法,本申請還提供一種人體檢測裝置,如圖2所述,包括:
獲取單元100,用于獲取圖像信息;
深度信息處理單元200,用于對所述圖像信息進行深度處理,獲得深度圖和彩色圖;
人體邊界框確定單元300,用于對所述彩色圖進行Deep CNN的人體檢測,確定所述彩色圖中的人體邊界框;
第一判斷單元400,用于判斷所述人體邊界框對應在深度圖中的人體邊界框區域內是否存在唯一一個人體;
人體分離單元500,用于當所述第一判斷單元400判斷所述人體邊界框區域內存在有兩個及兩個以上個人體時,將所述兩個及兩個以上個的人體進行分離;
人體個數確定單元600,用于依據在深度圖中的人體邊界框區域內的人體個數,確定所述圖像信息中人體的個數。
優選的,本申請還可以包括:
第一刪除單元700,用于當所述第一判斷單元400判斷所述人體邊界框區域內不存在人體時,刪除所述人體邊界框區域對應在所述彩色圖中的人體邊界框。
相對位置確定單元800,用于確定所述人體的相對位置信息。
人臉位置確定單元900,用于依據所述彩色圖中的人體邊界框,確定每個人體的人臉位置。
以及,第二判斷單元1000,用于依據所述人臉位置對應在所述深度圖中的位置區域,判斷所述人臉位置是否正確;
第二刪除單元1100,用于當所述第二判斷單元1000判斷所述人臉位置不正確時,刪除所述人臉位置。
需要說明的是,本說明書中的各個實施例均采用遞進的方式描述,每個實施例重點說明的都是與其他實施例的不同之處,各個實施例之間相同相似的部分互相參見即可。對于裝置類實施例而言,由于其與方法實施例基本相似,所以描述的比較簡單,相關之處參見方法實施例的部分說明即可。
最后,還需要說明的是,在本文中,諸如第一和第二等之類的關系術語僅僅用來將一個實體或者操作與另一個實體或操作區分開來,而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關系或者順序。而且,術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含,從而使得包括一系列要素的過程、方法、物品或者設備不僅包括那些要素,而且還包括沒有明確列出的其他要素,或者是還包括為這種過程、方法、物品或者設備所固有的要素。在沒有更多限制的情況下,由語句“包括一個……”限定的要素,并不排除在包括所述要素的過程、方法、物品或者設備中還存在另外的相同要素。
以上對本申請所提供的一種人體識別方法和裝置進行了詳細介紹,本文中應用了具體個例對本申請的原理及實施方式進行了闡述,以上實施例的說明只是用于幫助理解本申請的方法及其核心思想;同時,對于本領域的一般技術人員,依據本申請的思想,在具體實施方式及應用范圍上均會有改變之處,綜上所述,本說明書內容不應理解為對本申請的限制。