本發明涉及電學領域,具體而言,涉及一種移動路徑規劃方法及裝置。
背景技術:
目前的機器人建圖方法多采用非語意的方式,如利用關鍵點的檢測來獲得場景中存在物體的位置等信息,不考慮該物體是什么,這樣當機器人處于未知環境中,環境的動態變化(如室內的椅子移動,人移動)會導致建圖不可靠,需要重復建圖等。
針對相關技術中機器人移動路徑規劃的可靠性低的問題,目前還沒有有效地解決方案。
技術實現要素:
本發明實施例提供了一種移動路徑規劃方法及裝置,以至少解決相關技術中機器人移動路徑規劃的可靠性低的問題。
根據本發明的一個實施例,提供了一種移動路徑規劃方法,應用于具備驅動裝置的電子設備,所述驅動裝置用于為所述電子設備提供驅動力以使得所述電子設備能夠移動,所述電子設備還具有圖像采集單元,所述方法包括:獲取所述圖像采集單元采集得到的圖像信息;匹配所述圖像信息中的物體的特征信息并為所述物體分配標識,得到所述電子設備所處環境的地圖圖像,其中,所述標識用于區分不同的所述物體;在所述地圖圖像上根據所述特征信息和所述物體攜帶的標識為所述電子設備規劃移動路徑。
可選地,匹配所述圖像信息中的所述物體的所述特征信息并為所述物體分配所述標識,得到所述電子設備所處環境的所述地圖圖像包括:識別所述圖像信息中的所述特征信息,得到所述物體并為所述物體分配所述標識;匹配所述圖像信息中相鄰幀的所述特征信息,得到匹配結果;根據所述匹配結果以及所述標識繪制所述地圖圖像。
可選地,識別所述圖像信息中的所述特征信息,得到所述物體并為所述物體分配所述標識包括:提取所述圖像信息中每幀圖像中攜帶的所述特征信息;根據提取的所述特征信息識別所述圖像信息中的所述物體;根據識別結果為所述物體分配所述標識。
可選地,匹配所述圖像信息中相鄰幀的所述特征信息,得到匹配結果包括:獲取所述圖像信息中相鄰幀的所述特征信息;匹配相鄰兩幀圖像的所述特征信息,得到所述物體的位置信息和尺寸信息作為所述匹配結果。
可選地,在所述地圖圖像上根據所述特征信息和所述物體攜帶的標識為所述電子設備規劃移動路徑包括:確定所述物體攜帶的所述標識與物體屬性信息的映射關系,其中,所述物體屬性信息用于指示預設的物體的屬性;根據所述映射關系確定所述電子設備在所述地圖圖像上的移動策略;根據所述特征信息和所述移動策略規劃所述移動路徑。
可選地,確定所述物體攜帶的所述標識與所述物體屬性信息的映射關系包括:獲取預設的標識與物體動靜狀態的對應關系,其中,所述物體動靜狀態指所述物體屬于靜態物體或者動態物體的概率;根據所述標識與物體動靜狀態的對應關系確定用于指示所述物體在所述地圖圖像上存在的概率的概率分布圖,其中,所述標識與所述物體屬性信息的映射關系包括所述概率分布圖。
可選地,根據所述映射關系確定所述電子設備在所述地圖圖像上的移動策略包括:判斷所述概率分布圖指示的所述物體在所述地圖圖像上存在的概率是否落入預設閾值;在判斷出所述概率分布圖指示的所述物體在所述地圖圖像上存在的概率落入所述預設閾值的情況下,確定所述電子設備在所述地圖圖像上采用第一移動策略;在判斷出所述概率分布圖指示的所述物體在所述地圖圖像上存在的概率未落入所述預設閾值的情況下,確定所述電子設備在所述地圖圖像上采用第二移動策略。
可選地,根據所述特征信息和所述移動策略規劃所述移動路徑包括:
在所述電子設備在所述地圖圖像上采用所述第一移動策略的情況下,為所述電子設備規劃第一移動路徑,其中,所述第一移動路徑避開所述物體;在所述電子設備在所述地圖圖像上采用所述第二移動策略的情況下,為所述電子設備規劃第二移動路徑,其中,在所述電子設備沿所述第二移動路徑移動至所述物體時,所述電子設備對所述物體及所述物體的預設距離內的物體進行檢測,在未檢測到所述物體及所述物體的預設距離內的物體的情況下,更新所述第二移動路徑,使所述第二移動路徑無需避開所述未檢測到的物體。
根據本發明的另一個實施例,提供了一種移動路徑規劃裝置,應用于具備驅動裝置的電子設備,所述驅動裝置用于為所述電子設備提供驅動力以使得所述電子設備能夠移動,所述電子設備還具有圖像采集單元,所述裝置包括:獲取模塊,用于獲取所述圖像采集單元采集得到的圖像信息;處理模塊,用于匹配所述圖像信息中的物體的特征信息并為所述物體分配標識,得到所述電子設備所處環境的地圖圖像,其中,所述標識用于區分不同的所述物體;規劃模塊,用于在所述地圖圖像上根據所述特征信息和所述物體攜帶的標識為所述電子設備規劃移動路徑。
可選地,所述處理模塊包括:識別單元,用于識別所述圖像信息中的所述特征信息,得到所述物體并為所述物體分配所述標識;匹配單元,用于匹配所述圖像信息中相鄰幀的所述特征信息,得到匹配結果;繪制單元,用于根據所述匹配結果以及所述標識繪制所述地圖圖像。
可選地,所述識別單元包括:提取子單元,用于提取所述圖像信息中每幀圖像中攜帶的所述特征信息;識別子單元,用于根據提取的所述特征信息識別所述圖像信息中的所述物體;分配子單元,用于根據識別結果為所述物體分配所述標識。
可選地,所述匹配單元包括:獲取子單元,用于獲取所述圖像信息中相鄰幀的所述特征信息;匹配子單元,用于匹配相鄰兩幀圖像的所述特征信息,得到所述物體的位置信息和尺寸信息作為所述匹配結果。
可選地,所述規劃模塊包括:第一確定單元,用于確定所述物體攜帶的所述標識與物體屬性信息的映射關系,其中,所述物體屬性信息用于指示預設的物體的屬性;第二確定單元,用于根據所述映射關系確定所述電子設備在所述地圖圖像上的移動策略;規劃單元,用于根據所述特征信息和所述移動策略規劃所述移動路徑。
可選地,所述第一確定單元用于:獲取預設的標識與物體動靜狀態的對應關系,其中,所述物體動靜狀態指所述物體屬于靜態物體或者動態物體的概率;根據所述標識與物體動靜狀態的對應關系確定用于指示所述物體在所述地圖圖像上存在的概率的概率分布圖,其中,所述標識與所述物體屬性信息的映射關系包括所述概率分布圖。
可選地,所述第二確定單元用于:判斷所述概率分布圖指示的所述物體在所述地圖圖像上存在的概率是否落入預設閾值;在判斷出所述概率分布圖指示的所述物體在所述地圖圖像上存在的概率落入所述預設閾值的情況下,確定所述電子設備在所述地圖圖像上采用第一移動策略;在判斷出所述概率分布圖指示的所述物體在所述地圖圖像上存在的概率未落入所述預設閾值的情況下,確定所述電子設備在所述地圖圖像上采用第二移動策略。
可選地,所述規劃單元用于:在所述電子設備在所述地圖圖像上采用所述第一移動策略的情況下,為所述電子設備規劃第一移動路徑,其中,所述第一移動路徑避開所述物體;在所述電子設備在所述地圖圖像上采用所述第二移動策略的情況下,為所述電子設備規劃第二移動路徑,其中,在所述電子設備沿所述第二移動路徑移動至所述物體時,所述電子設備對所述物體及所述物體的預設距離內的物體進行檢測,在未檢測到所述物體及所述物體的預設距離內的物體的情況下,更新所述第二移動路徑,使所述第二移動路徑無需避開未檢測到的物體。
通過本發明,獲取圖像采集單元采集得到的圖像信息;匹配圖像信息中的物體的特征信息并為物體分配標識,得到電子設備所處環境的地圖圖像,其中,標識用于區分不同的物體;在地圖圖像上根據特征信息和物體攜帶的標識為電子設備規劃移動路徑,由此可見,采用上述方案匹配獲取到的圖像信息中的物體并為圖像中的物體分配標識,從而對不同的物體進行區分,得到地圖圖像,再根據物體的特征信息以及分配給物體的標識為電子設備規劃移動路徑,使得規劃的移動路徑可以充分的考慮到場景中物體的實際特征,因此,提高了機器人移動路徑規劃的可靠性,從而解決了相關技術中機器人移動路徑規劃的可靠性低的問題。
附圖說明
此處所說明的附圖用來提供對本發明的進一步理解,構成本申請的一部分,本發明的示意性實施例及其說明用于解釋本發明,并不構成對本發明的不當限定。在附圖中:
圖1是根據本發明實施例的一種移動路徑規劃方法的流程圖;
圖2是根據本發明實施例的一種移動路徑規劃裝置的結構框圖一;
圖3是根據本發明實施例的一種移動路徑規劃裝置的結構框圖二;
圖4是根據本發明實施例的一種移動路徑規劃裝置的結構框圖三;
圖5是根據本發明可選實施例的移動路徑規劃方法的示意圖一;
圖6是根據本發明可選實施例的移動路徑規劃方法的示意圖二;
圖7是根據本發明可選實施例的移動路徑規劃方法的示意圖三;
圖8是根據本發明可選實施例的移動路徑規劃方法的示意圖四。
具體實施方式
下文中將參考附圖并結合實施例來詳細說明本發明。需要說明的是,在不沖突的情況下,本申請中的實施例及實施例中的特征可以相互組合。
需要說明的是,本發明的說明書和權利要求書及上述附圖中的術語“第一”、“第二”等是用于區別類似的對象,而不必用于描述特定的順序或先后次序。
實施例1
在本實施例中提供了一種移動路徑規劃方法,圖1是根據本發明實施例的一種移動路徑規劃方法的流程圖,如圖1所示,該流程包括如下步驟:
步驟S102,獲取圖像采集單元采集得到的圖像信息;
步驟S104,匹配圖像信息中的物體的特征信息并為物體分配標識,得到電子設備所處環境的地圖圖像,其中,標識用于區分不同的物體;
步驟S106,在地圖圖像上根據特征信息和物體攜帶的標識為電子設備規劃移動路徑。
可選地,上述移動路徑規劃方法可以但不限于應用于具備驅動裝置的電子設備,上述驅動裝置用于為電子設備提供驅動力以使得該電子設備能夠移動,電子設備還具有圖像采集單元。
通過上述步驟,獲取圖像采集單元采集得到的圖像信息;匹配圖像信息中的物體的特征信息并為物體分配標識,得到電子設備所處環境的地圖圖像,其中,標識用于區分不同的物體;在地圖圖像上根據特征信息和物體攜帶的標識為電子設備規劃移動路徑,由此可見,采用上述方案匹配獲取到的圖像信息中的物體并為圖像中的物體分配標識,從而對不同的物體進行區分,得到地圖圖像,再根據物體的特征信息以及分配給物體的標識為電子設備規劃移動路徑,使得規劃的移動路徑可以充分的考慮到場景中物體的實際特征,因此,提高了機器人移動路徑規劃的可靠性,從而解決了相關技術中機器人移動路徑規劃的可靠性低的問題。
可選地,在上述步驟S104中,通過對圖像信息中特征信息的識別,區分出圖像中的物體,并為物體分配對應的標識,再根據匹配相鄰幀中物體的特征得到的匹配結果以及標識繪制地圖,從而使得得到的地圖圖像中存在的物體根據其不同的物體屬性對應不同的標識,以實現對地圖中物體的區分。例如:識別圖像信息中的特征信息,得到物體并為物體分配標識,匹配圖像信息中相鄰幀的特征信息,得到匹配結果,根據匹配結果以及標識繪制地圖圖像。
可選地,在本實施例中,可以但不限于通過對物體特征信息的識別獲得物體的類別或者屬性等信息,從而識別出對應的物體并根據識別結果為物體分配標識。例如:提取圖像信息中每幀圖像中攜帶的特征信息,根據提取的特征信息識別圖像信息中的物體,根據識別結果為物體分配標識。
可選地,可以但不限于根據相鄰幀中獲取的物體的特征信息對其進行匹配,從而得到物體相對于電子設備的位姿以及尺寸等信息。如:獲取圖像信息中相鄰幀的特征信息,匹配相鄰兩幀圖像的特征信息,得到物體的位置信息和尺寸信息作為匹配結果。
在一個示例中,可以根據圖像中的特征信息對物體進行識別得到物體的類別等信息并根據識別的結果為物體分配標識,再匹配相鄰幀的特征信息以得到各物體相對于電子設備所在的位置以及物體的尺寸,從而對所處環境的地圖圖像進行繪制,例如:根據圖像中的特征信息對圖像中物體進行識別得到下列物體:物體A、物體B、物體C、物體D,并識別出各物體的類別:物體A為沙發,物體B為抱枕,物體C為茶幾,物體D為臺燈,并將上述確定的標識分配給上述物體。對相鄰幀中的特征信息進行匹配得到各物體的尺寸及位置等信息,物體A對應尺寸A位置為地面,物體B對應尺寸B位置為物體A上,物體C對應尺寸C位置為物體A旁,物體D對應尺寸D位置為物體C上。再根據上述物體的尺寸及位置信息在地圖圖像中繪制上述物體并將圖像中的上述物體與標識對應標注。
需要說明的是,上述識別結果可以根據場景的不同進行轉換,不同的場景中物體對應的標識也不相同。
可選地,在上述步驟S106中,可以但不限于通過以下方式為電子設備規劃移動路徑:確定物體攜帶的標識與物體屬性信息的映射關系,其中,物體屬性信息用于指示預設的物體的屬性,再根據映射關系確定電子設備在地圖圖像上的移動策略,根據特征信息和移動策略規劃移動路徑。
在本實施例中,可以但不限于通過以下方式確定物體攜帶的標識與物體屬性信息的映射關系:獲取預設的標識與物體動靜狀態的對應關系,其中,物體動靜狀態指物體屬于靜態物體或者動態物體的概率,根據標識與物體動靜狀態的對應關系確定用于指示物體在地圖圖像上存在的概率的概率分布圖,其中,標識與物體屬性信息的映射關系包括概率分布圖。
在本實施例中,可以但不限于通過以下方式確定電子設備在地圖圖像上的移動策略:判斷概率分布圖指示的物體在地圖圖像上存在的概率是否落入預設閾值,在判斷出概率分布圖指示的物體在地圖圖像上存在的概率落入預設閾值的情況下,確定電子設備在地圖圖像上采用第一移動策略,在判斷出概率分布圖指示的物體在地圖圖像上存在的概率未落入預設閾值的情況下,確定電子設備在地圖圖像上采用第二移動策略。
可選地,根據特征信息和移動策略規劃移動路徑可以但不限于包括以下方式:在電子設備在地圖圖像上采用第一移動策略的情況下,為電子設備規劃第一移動路徑,其中,規劃的第一移動路徑避開該物體;在電子設備在地圖圖像上采用第二移動策略的情況下,為電子設備規劃第二移動路徑,其中,在電子設備沿第二移動路徑移動至物體時,電子設備對物體及物體的預設距離內的物體進行檢測,在未檢測到物體及物體的預設距離內的物體的情況下,更新第二移動路徑,使第二移動路徑無需避開未檢測到的物體。
在一個示例中,以物體的屬性信息為物體的動靜狀態為例,電子設備中預設有標識與物體動靜狀態的對應關系,例如:物體為沙發,沙發為靜態物體的概率為0.9;物體為轉椅,轉椅為靜態物體的概率為0.3。根據上述對應關系以及物體的標簽得到地圖上存在對應物體的概率分布圖,即標識與物體屬性信息的映射關系,例如:在概率分布圖中,標識為沙發的位置處映射有概率值0.9,標識為轉椅的位置處映射有概率值0.3。將上述預設閾值設置為0.5~1,那么,對于標識為沙發的物體映射的概率值落入了預設閾值內,則采用第一移動策略,在規劃路線時避開該物體。而對于標識為轉椅的物體,由于其映射的概率值未落入預設閾值內,因此采用第二移動策略,在電子設備移動到該物體前時,對該物體進行檢測,如果未檢測到該物體,則更新當前的移動路徑,使重新規劃的移動路徑無需避開該未檢測到的物體。
實施例2
在本實施例中還提供了一種移動路徑規劃裝置,該裝置用于實現上述實施例及優選實施方式,已經進行過說明的不再贅述。如以下所使用的,術語“模塊”可以實現預定功能的軟件和/或硬件的組合。盡管以下實施例所描述的裝置較佳地以軟件來實現,但是硬件,或者軟件和硬件的組合的實現也是可能并被構想的。
圖2是根據本發明實施例的一種移動路徑規劃裝置的結構框圖一,如圖2所示,該裝置包括:
獲取模塊22,用于獲取圖像采集單元采集得到的圖像信息;
處理模塊24,耦合至獲取模塊22,用于匹配圖像信息中的物體的特征信息并為物體分配標識,得到電子設備所處環境的地圖圖像,其中,標識用于區分不同的物體;
規劃模塊26,耦合至處理模塊24,用于在地圖圖像上根據特征信息和物體攜帶的標識為電子設備規劃移動路徑。
可選地,上述移動路徑規劃裝置可以但不限于應用于具備驅動裝置的電子設備,上述驅動裝置用于為電子設備提供驅動力以使得該電子設備能夠移動,電子設備還具有圖像采集單元。
通過上述裝置,獲取模塊獲取圖像采集單元采集得到的圖像信息;處理模塊匹配圖像信息中的物體的特征信息并為物體分配標識,得到電子設備所處環境的地圖圖像,其中,標識用于區分不同的物體;規劃模塊在地圖圖像上根據特征信息和物體攜帶的標識為電子設備規劃移動路徑,由此可見,采用上述方案匹配獲取到的圖像信息中的物體并為圖像中的物體分配標識,從而對不同的物體進行區分,得到地圖圖像,再根據物體的特征信息以及分配給物體的標識為電子設備規劃移動路徑,使得規劃的移動路徑可以充分的考慮到場景中物體的實際特征,因此,提高了機器人移動路徑規劃的可靠性,從而解決了相關技術中機器人移動路徑規劃的可靠性低的問題。
圖3是根據本發明實施例的一種移動路徑規劃裝置的結構框圖二,如圖3所示,可選地,處理模塊24包括:
識別單元32,用于識別圖像信息中的特征信息,得到物體并為物體分配標識;
匹配單元34,耦合至識別單元32,用于匹配圖像信息中相鄰幀的特征信息,得到匹配結果;
繪制單元36,耦合至匹配單元34,用于根據匹配結果以及標識繪制地圖圖像。
可選地,識別單元32包括:提取子單元,用于提取圖像信息中每幀圖像中攜帶的特征信息;識別子單元,用于根據提取的特征信息識別圖像信息中的物體;分配子單元,用于根據識別結果為物體分配標識。
可選地,匹配單元34包括:獲取子單元,用于獲取圖像信息中相鄰幀的特征信息;匹配子單元,用于匹配相鄰兩幀圖像的特征信息,得到物體的位置信息和尺寸信息作為匹配結果。
圖4是根據本發明實施例的一種移動路徑規劃裝置的結構框圖三,如圖4所示,可選地,規劃模塊26包括:
第一確定單元42,用于確定物體攜帶的標識與物體屬性信息的映射關系,其中,物體屬性信息用于指示預設的物體的屬性;
第二確定單元44,耦合至第一確定單元42,用于根據映射關系確定電子設備在地圖圖像上的移動策略;
規劃單元46,耦合至第二確定單元44,用于根據特征信息和移動策略規劃移動路徑。
可選地,第一確定單元42用于:獲取預設的標識與物體動靜狀態的對應關系,其中,物體動靜狀態指物體屬于靜態物體或者動態物體的概率;根據標識與物體動靜狀態的對應關系確定用于指示物體在地圖圖像上存在的概率的概率分布圖,其中,標識與物體屬性信息的映射關系包括概率分布圖。
可選地,第二確定單元44用于:判斷概率分布圖指示的物體在地圖圖像上存在的概率是否落入預設閾值;在判斷出概率分布圖指示的物體在地圖圖像上存在的概率落入預設閾值的情況下,確定電子設備在地圖圖像上采用第一移動策略;在判斷出概率分布圖指示的物體在地圖圖像上存在的概率未落入預設閾值的情況下,確定電子設備在地圖圖像上采用第二移動策略。
可選地,規劃單元46用于:在電子設備在地圖圖像上采用第一移動策略的情況下,為電子設備規劃第一移動路徑,其中,第一移動路徑避開物體;在電子設備在地圖圖像上采用第二移動策略的情況下,為電子設備規劃第二移動路徑,其中,在電子設備沿第二移動路徑移動至物體時,電子設備對物體及物體的預設距離內的物體進行檢測,在未檢測到物體及物體的預設距離內的物體的情況下,更新第二移動路徑,使第二移動路徑無需避開未檢測到的物體。
需要說明的是,上述各個模塊是可以通過軟件或硬件來實現的,對于后者,可以通過以下方式實現,但不限于此:上述模塊均位于同一處理器中;或者,上述模塊分別位于多個處理器中。
下面結合本發明可選實施例進行詳細說明。
本發明可選實施例提供了一種移動路徑規劃方法。在本可選實施例中,上述電子設備以機器人為例。本方法利用深度相機捕捉機器人所處環境圖像信息(即觀測信息),利用慣性測量單元獲得機器人當前運動信息,這個運動信息包括機器人當前時刻所獲得的三軸姿態角(或角速率)以及加速度。圖5是根據本發明可選實施例的移動路徑規劃方法的示意圖一,如圖5所示,當機器人進入未知空間時,系統將實時處理深度相機和傳感器所獲得的信息并計算當前機器人位姿和相鄰地標位置,逐漸建立機器人相鄰區域地圖。
上述建圖過程具體來說就是機器人通過慣性測量單元提供的運動信息,可以推知機器人在探測每相鄰兩幀圖像時所經歷的位姿變換,如果以機器人初始位姿為坐標系原點,則可推知機器人每一時刻所處的位姿。
在獲得機器人運動信息后,系統將對相鄰兩幀圖像中所提取的特征點進行匹配,結合已經推知的位姿信息反投影圖像中被匹配上特征點的地理位置,經過多幅圖像迭代后,每個在多幅圖像中同時被匹配上的特征點將會獲得一個最優的地理位置估計值,并在空間中相應位置獲得一個對應點。如果對機器人運動一段時間后得到的圖片流進行處理,將會獲得許多空間中的離散點,這些空間中的離散點將在空間中形成一定的分布趨勢,即可作為機器人的建圖模型。
傳統SLAM方法中僅僅將圖像中特征點反投影得到這些點在空間中的位置信息,所以當特征點映射到空間中時,僅能獲得一幅表征物體在空間中是否存在的散點圖,并不能獲悉某些成堆出現的點究竟代表什么物體,這樣就會丟失大量語義信息。
本可選實施例中,結合深度學習方法對這些特征點分類,并鑒定這些特征點究竟屬于哪種物體,當特征點映射到空間中時,不僅可以獲得物體在空間中的模型,還可以獲得相應的物體標簽(相當于上述標識),比如在圖片中檢測到一個桌子,那么當屬于桌子的特征點群映射到空間中后將會在相應位置被框出來并顯示“桌子”標簽。
在本可選實施例中,可以采用如下方案結合深度學習對特征點分類:
利用深度學習方法提前訓練一個多分類模型,該分類模型應該足夠健壯,可以識別絕大部分日常場景中的常見物體,并且識別效果優良,可以在物體形變,光流變化,部分遮擋等條件下依然能夠做到準確識別圖片中出現的各類物體。
從圖像流的第二幀開始,利用已經訓練好的模型對攝像機獲得的每一幀圖像識別,獲得各類物體在圖像中出現的位置信息,尺度信息和類別標簽,即在圖像中準確框出各類物體并對每一個檢測框分配類別標簽。
對圖像中每一個被匹配上的特征點,判斷該特征點在圖像中的位置屬于哪一個檢測窗口,如果一個特征點落入某一個檢測窗口內,該特征點將被賦上與該檢測窗口相同的標簽,同時將該點在空間中的對應點也附上相同標簽;如果某一個特征點沒有落入任何一個檢測窗口,該特征點將被認為是無關環境點,如地面,墻面等,將不會被賦予標簽。
當系統對攝像機獲得的一段圖片流處理后,會在空間中得到一系列具有屬性標簽的離散點,將具有相同標簽并且在空間中位置臨近的點群判斷為屬于同一個物體的點群,算法會在該點群附近畫出一個外接立方體,并對該立方體附上對應屬性標簽。比如:圖6是根據本發明可選實施例的移動路徑規劃方法的示意圖二,對圖5進行建圖后將得到類似如圖6所示的建圖結果。可以看到,新建地圖清晰,準確的闡明了每個物體的空間方位和類別。
在判斷建圖物體標簽時,除了可以使用上述對特征點分類的方案,還可以采用下述方案識別建圖物體:
首先,直接將相鄰幀圖片放入深度學習網絡中進行匹配,并提取相應深度學習特征,取相鄰幀被匹配物體重心作為特征點,并給該重心賦上和物體相同的屬性標簽,反投影至空間中得到該點的空間點,多幅圖片迭代后可以得到同一物體重心的最優空間位置,并將該空間位置作為真實物體在建圖中的重心。
然后,同時根據圖像中檢測物體的尺度信息,推算真實物體在建圖中的尺度信息,可以在建圖模型中得到模擬該物體的一個立方體,立方體的標簽屬性與重心一致,然后對特征點的空間點分類,所有落入該立方體內部的點均可被視為屬于該物體的點。
進而得到建圖模型后,即可對后續路徑導航做出合理規劃。
下面根據一個示例說明本可選實施例中提供的移動路徑規劃方法。圖7是根據本發明可選實施例的移動路徑規劃方法的示意圖三,如圖7所示,機器人此刻在室內環境中得到具有語義的三維地圖,傳統方式設置導航路徑時一般會采取自動避開障礙物的方法規劃路徑,使機器人從出發地移動到目的地,即會產生一條圖示箭頭所指路徑,繞開轉椅,然后從兩個沙發之間穿過,這樣的方案靈活性不強,如果某一時刻轉椅被移開,但系統沒有及時變更路徑規劃,機器人仍按照相同路徑運動,就不僅造成資源的浪費,而且機器人運動路徑也會顯得比較呆板,不能具有良好的擬人化行為。
在本可選實施例中,當引入語義后,機器人可以具有自我知覺并自適應環境,能夠感知到環境信息的變化并及時做出決策,重新規劃更加合理的路線。
機器人根據系統預定義的動靜物體概率對應關系(相當于上述預設的標識與物體動靜狀態的對應關系)得到場景中物體是否確切存在的概率分布圖(相當于上述標識與物體屬性信息的映射關系),比方在圖示場景中可以預定義一組映射關系如表1所示(需要說明的是,這個映射關系可以是更加復雜的映射關系,也可以是其他形式的映射關系,最終會將機器人感知到的場景轉換為一個概率分布)。
表1
圖8是根據本發明可選實施例的移動路徑規劃方法的示意圖四,如圖8所示,設置靜態物體閾值(如0.5),當物體對應的概率大于0.5時認為當前物體屬于靜態物體,在機器人規劃路徑時主動避開該物體;當物體對應的概率小于0.5時,認為當前物體屬于動態物體,當機器人走到該物體附近時,可以通過預設方式(如視覺算法,傳感器等)再次檢測該物體是否存在,如果未檢測到該物體并且未檢測到其他物體,說明該物體已經被移開且此時機器人面前是一塊空地,此時系統將重新規劃路徑,在已建好的三維地圖中將該物體除去并標記為空地,重新規劃路徑時就可以直接通過,而不是再次繞開。
兩次的移動路徑規劃對比可知,新規劃過的路徑不僅路長變短,而且規劃后路徑更貼近于人類的行走習慣,給用戶帶來更舒適的體驗。
在本可選實施例中,在機器人運動建圖的過程中融入深度學習的方法對場景進行自動識別和標注,使機器人根據不同的地標做出更合理的路徑規劃和動作指令;同時在融入深度學習識別算法后,可以提高機器人建圖準確度。
以上實施例僅用以說明本發明的技術方案而非對其進行限制,本領域的普通技術人員可以對本發明的技術方案進行修改或者等同替換,而不脫離本發明的精神和范圍,本發明的保護范圍應以權利要求所述為準。
實施例3
通過以上的實施方式的描述,本領域的技術人員可以清楚地了解到根據上述實施例的方法可借助軟件加必需的通用硬件平臺的方式來實現,當然也可以通過硬件,但很多情況下前者是更佳的實施方式?;谶@樣的理解,本發明的技術方案本質上或者說對現有技術做出貢獻的部分可以以軟件產品的形式體現出來,該計算機軟件產品存儲在一個存儲介質(如ROM/RAM、磁碟、光盤)中,包括若干指令用以使得一臺終端設備(可以是手機,計算機,服務器,或者網絡設備等)執行本發明各個實施例所述的方法。
本發明的實施例還提供了一種存儲介質??蛇x地,在本實施例中,上述存儲介質可以被設置為存儲用于執行以下步驟的程序代碼:
S1,獲取圖像采集單元采集得到的圖像信息;
S2,匹配圖像信息中的物體的特征信息并為物體分配標識,得到電子設備所處環境的地圖圖像,其中,標識用于區分不同的物體;
S3,在地圖圖像上根據特征信息和物體攜帶的標識為電子設備規劃移動路徑。
可選地,存儲介質還被設置為存儲用于執行上述實施例記載的方法步驟的程序代碼:
可選地,在本實施例中,上述存儲介質可以包括但不限于:U盤、只讀存儲器(ROM,Read-Only Memory)、隨機存取存儲器(RAM,Random Access Memory)、移動硬盤、磁碟或者光盤等各種可以存儲程序代碼的介質。
可選地,在本實施例中,處理器根據存儲介質中已存儲的程序代碼執行上述實施例記載的方法步驟。
可選地,本實施例中的具體示例可以參考上述實施例及可選實施方式中所描述的示例,本實施例在此不再贅述。
顯然,本領域的技術人員應該明白,上述的本發明的各模塊或各步驟可以用通用的計算裝置來實現,它們可以集中在單個的計算裝置上,或者分布在多個計算裝置所組成的網絡上,可選地,它們可以用計算裝置可執行的程序代碼來實現,從而,可以將它們存儲在存儲裝置中由計算裝置來執行,并且在某些情況下,可以以不同于此處的順序執行所示出或描述的步驟,或者將它們分別制作成各個集成電路模塊,或者將它們中的多個模塊或步驟制作成單個集成電路模塊來實現。這樣,本發明不限制于任何特定的硬件和軟件結合。
以上所述僅為本發明的優選實施例而已,并不用于限制本發明,對于本領域的技術人員來說,本發明可以有各種更改和變化。凡在本發明的精神和原則之內,所作的任何修改、等同替換、改進等,均應包含在本發明的保護范圍之內。