本公開(kāi)涉及檢測(cè)物體的物體檢測(cè)裝置、物體檢測(cè)方法以及物體檢測(cè)程序,例如涉及根據(jù)圖像等信息在失效保護(hù)(failsafe)下檢測(cè)物體的物體檢測(cè)裝置、物體檢測(cè)方法以及物體檢測(cè)程序。
背景技術(shù):
近年來(lái),正在大量進(jìn)行取代駕駛員而由機(jī)器駕駛的自動(dòng)駕駛車(機(jī)器人車)的研究和商品化。作為該自動(dòng)駕駛車的要素功能之一,使用檢測(cè)一般物體的物體檢測(cè)裝置(一般物體檢測(cè)裝置),一般物體檢測(cè)裝置根據(jù)從攝像頭裝置或雷達(dá)、立體攝像頭等測(cè)距傳感器裝置等傳送的圖像等信息來(lái)檢測(cè)一般物體。成為必要條件的是:一般物體包括行人、車輛、道路標(biāo)識(shí)、建筑物以及道路的區(qū)域等,自動(dòng)駕駛車的一般物體檢測(cè)裝置對(duì)這些物體進(jìn)行檢測(cè),自動(dòng)駕駛車的行駛控制裝置基于來(lái)自一般物體檢測(cè)裝置的檢測(cè)信息,控制自動(dòng)駕駛車本體,安全地向目標(biāo)場(chǎng)所移動(dòng)。
由此,一般物體檢測(cè)裝置必須是即使在發(fā)生異常時(shí)也能安全應(yīng)對(duì)的設(shè)計(jì)。這樣的設(shè)計(jì)結(jié)構(gòu)也被稱為失效保護(hù),失效保護(hù)的設(shè)計(jì)是指在裝置發(fā)生了異常的情況下始終在安全側(cè)進(jìn)行控制、或者使得實(shí)現(xiàn)該控制的設(shè)計(jì)方法,是可靠性設(shè)計(jì)之一。也就是說(shuō),將裝置或系統(tǒng)一定會(huì)發(fā)生故障作為前提。
現(xiàn)有技術(shù)文獻(xiàn)
專利文獻(xiàn)1:日本特開(kāi)2014-21709號(hào)公報(bào)
專利文獻(xiàn)2:日本特開(kāi)2008-47991號(hào)公報(bào)
技術(shù)實(shí)現(xiàn)要素:
發(fā)明要解決的技術(shù)問(wèn)題
然而,在上述現(xiàn)有的技術(shù)中,僅公開(kāi)了針對(duì)雷達(dá)裝置等取得物體信息的裝置中的不良情況的失效保護(hù)技術(shù),對(duì)于針對(duì)執(zhí)行檢測(cè)物體的物體檢測(cè)處理的物體檢測(cè)器的失效保護(hù)技術(shù),并沒(méi)有任何研究,關(guān)于針對(duì)物體檢測(cè)器的失效保護(hù)技術(shù),需要進(jìn)一步的改善。
用于解決問(wèn)題的技術(shù)方案
本公開(kāi)的一個(gè)技術(shù)方案的裝置,是檢測(cè)物體的裝置,具備:接收部,其接收通過(guò)傳感器對(duì)所述物體檢測(cè)到的信息;多個(gè)檢測(cè)電路,其根據(jù)所述信息,執(zhí)行各不相同的檢測(cè)處理,由此檢測(cè)所述物體,以及控制電路,其控制所述多個(gè)檢測(cè)電路,所述控制電路,基于所述多個(gè)檢測(cè)電路的各檢測(cè)電路的工作或狀態(tài)的變化,檢測(cè)所述多個(gè)檢測(cè)電路的各檢測(cè)電路是否為異常狀態(tài),在檢測(cè)到所述多個(gè)檢測(cè)電路中的第1檢測(cè)電路為異常狀態(tài)的情況下,使所述第1檢測(cè)電路停止正在執(zhí)行的檢測(cè)處理,使所述第1檢測(cè)電路以外的一個(gè)以上的檢測(cè)電路執(zhí)行與正在執(zhí)行的檢測(cè)處理不同的檢測(cè)處理,由此檢測(cè)所述物體。
根據(jù)本公開(kāi),即使多個(gè)檢測(cè)電路中的一個(gè)檢測(cè)電路成為異常狀態(tài),也能夠一邊將追加的構(gòu)成要素抑制到最小限度一邊進(jìn)行失效保護(hù)的物體檢測(cè)。
附圖說(shuō)明
圖1是表示搭載有本公開(kāi)的實(shí)施方式1的物體檢測(cè)裝置的車輛的主要構(gòu)成的一例的框圖。
圖2是表示圖1所示的物體檢測(cè)裝置的構(gòu)成的一例的框圖。
圖3是表示圖2所示的物體檢測(cè)裝置的啟動(dòng)時(shí)物體檢測(cè)處理的一例的流程圖。
圖4是表示圖2所示的檢測(cè)器切換部所使用的檢測(cè)處理分配表的一例的圖。
圖5是表示圖2所示的物體檢測(cè)器在物體檢測(cè)處理中使用的圖像信息所表示的圖像的一例的圖。
圖6是用于說(shuō)明物體檢測(cè)器從圖5所示的圖像中檢測(cè)到的物體的一例的圖。
圖7是表示對(duì)顯示在圖1所示的顯示裝置上的自動(dòng)駕駛狀態(tài)進(jìn)行表示的測(cè)量?jī)x表圖像的一例的圖。
圖8是表示在圖2所示的物體檢測(cè)裝置的物體檢測(cè)器之一發(fā)生了異常的情況下的異常時(shí)物體檢測(cè)處理的一例的流程圖。
圖9是表示在圖2所示的物體檢測(cè)器之一發(fā)生了異常的情況下檢測(cè)器切換部所使用的檢測(cè)處理分配表的一例的圖。
圖10是用于說(shuō)明在圖2所示的物體檢測(cè)裝置的物體檢測(cè)器之一發(fā)生了異常的情況下的失效保護(hù)工作的一例的框圖。
圖11是在圖2所示的物體檢測(cè)器之一發(fā)生了異常的情況下顯示于顯示裝置的測(cè)量?jī)x表圖像的一例的圖。
圖12是在圖2所示的物體檢測(cè)器之一發(fā)生了異常的情況下檢測(cè)器切換部所使用的檢測(cè)處理分配表的另一例的圖。
圖13是表示本公開(kāi)的實(shí)施方式2的物體檢測(cè)裝置的構(gòu)成的一例的框圖。
圖14是表示圖13所示的物體檢測(cè)裝置的啟動(dòng)時(shí)物體檢測(cè)處理的一例的流程圖。
圖15是圖13所示的物體檢測(cè)裝置的物體檢測(cè)器所參照的nn保存部的一例的圖。
圖16是表示在圖13所示的物體檢測(cè)裝置的物體檢測(cè)器之一發(fā)生了異常的情況下的異常時(shí)物體檢測(cè)處理的一例的流程圖。
圖17是表示在圖13所示的物體檢測(cè)裝置的物體檢測(cè)器之一發(fā)生了異常的情況下物體檢測(cè)器所參照的nn保存部的一例的圖。
標(biāo)號(hào)的說(shuō)明
1車輛
11攝像頭裝置
12測(cè)距傳感器裝置
13行駛控制裝置
14顯示裝置
101、101a物體檢測(cè)裝置
102信息取得部
103、103a物體檢測(cè)部
104檢測(cè)器異常檢測(cè)部
105檢測(cè)器切換部
106駕駛控制信號(hào)發(fā)送部
113、113a、123、123a、133、133a物體檢測(cè)器
201nn保管部
202nn存儲(chǔ)部
213、223、233nn保存部
具體實(shí)施方式
(成為本公開(kāi)的基礎(chǔ)的見(jiàn)解)
上述專利文獻(xiàn)1所記載的技術(shù)公開(kāi)了如下的物體位置檢測(cè)裝置:即使在雷達(dá)裝置難以判定物體的前后方向的位置的情況下,也能夠推定物體的前后方向的位置。該物體位置檢測(cè)裝置的特征在于:在通過(guò)雷達(dá)故障判定部判定為雷達(dá)裝置發(fā)生了故障的情況下,通過(guò)攝像頭裝置來(lái)推定物體的移動(dòng)方向,基于該推定出的移動(dòng)方向來(lái)推定物體的前后方向位置。也就是說(shuō),是將在向物體檢測(cè)部輸入拍頻信號(hào)的雷達(dá)傳感器裝置發(fā)生了故障的情況下切換到其他裝置(攝像頭裝置)來(lái)繼續(xù)運(yùn)用設(shè)為主要關(guān)注點(diǎn)的失效保護(hù)技術(shù)。但是,專利文獻(xiàn)1雖然公開(kāi)了針對(duì)雷達(dá)裝置等取得物體信息的裝置中的不良情況的失效保護(hù)技術(shù),但卻沒(méi)有公開(kāi)任何與執(zhí)行檢測(cè)物體的物體檢測(cè)處理的物體檢測(cè)器有關(guān)的失效保護(hù)技術(shù)。
另外,上述專利文獻(xiàn)2公開(kāi)了如下的圖像處理裝置:即使在監(jiān)視對(duì)象區(qū)域的環(huán)境發(fā)生變化那樣的情況下,也能夠使用適合于環(huán)境的物體檢測(cè)方法來(lái)提高物體檢測(cè)的性能。在該圖像處理裝置中,基于與由不同于拍攝裝置的其他傳感器檢測(cè)到的環(huán)境有關(guān)的信息,使用所具備的多個(gè)物體檢測(cè)部中的適合于環(huán)境的物體檢測(cè)部。但是,專利文獻(xiàn)2的圖像處理裝置由于具備多個(gè)物體檢測(cè)部,因此也能夠設(shè)想在物體檢測(cè)部發(fā)生了故障的情況下失效保護(hù)用的物體檢測(cè)部進(jìn)行應(yīng)對(duì)的運(yùn)用,而在該情況下,存在需要另行設(shè)置失效保護(hù)用的物體檢測(cè)部的問(wèn)題。
另外,在自動(dòng)駕駛車的領(lǐng)域中,對(duì)于攝像頭裝置和/或測(cè)距傳感器裝置發(fā)生了故障的情況下的失效保護(hù)技術(shù),提出了各種方案。然而,對(duì)于從攝像頭裝置等接收信息且檢測(cè)一般物體的物體檢測(cè)裝置也發(fā)生故障而考慮了物體檢測(cè)裝置中的失效保護(hù)的設(shè)計(jì)和/或技術(shù)上的解決措施,卻沒(méi)有任何研究。
因此,本發(fā)明人研究了以下的改善措施。
(1)本公開(kāi)的一個(gè)技術(shù)方案的裝置,是檢測(cè)物體的裝置,具備:接收部,其接收通過(guò)傳感器對(duì)所述物體檢測(cè)到的信息;多個(gè)檢測(cè)電路,其根據(jù)所述信息,執(zhí)行各不相同的檢測(cè)處理,由此檢測(cè)所述物體,以及控制電路,其控制所述多個(gè)檢測(cè)電路,所述控制電路,基于所述多個(gè)檢測(cè)電路的各檢測(cè)電路的工作或狀態(tài)的變化,檢測(cè)所述多個(gè)檢測(cè)電路的各檢測(cè)電路是否為異常狀態(tài),在檢測(cè)到所述多個(gè)檢測(cè)電路中的第1檢測(cè)電路為異常狀態(tài)的情況下,使所述第1檢測(cè)電路停止正在執(zhí)行的檢測(cè)處理,使所述第1檢測(cè)電路以外的一個(gè)以上的檢測(cè)電路執(zhí)行與正在執(zhí)行的檢測(cè)處理不同的檢測(cè)處理,由此檢測(cè)所述物體。
根據(jù)這樣的構(gòu)成,在檢測(cè)到多個(gè)檢測(cè)電路中的一個(gè)檢測(cè)電路的異常的情況下,停止被檢測(cè)到異常的檢測(cè)電路的檢測(cè)處理,變更正常的檢測(cè)電路的檢測(cè)處理,因此不用新設(shè)置失效保護(hù)用的檢測(cè)電路,能夠使正常的檢測(cè)電路來(lái)代辦被檢測(cè)到異常的檢測(cè)電路的檢測(cè)處理。其結(jié)果是,即使多個(gè)檢測(cè)電路中的一個(gè)檢測(cè)電路成為異常狀態(tài),也能夠一邊將追加的構(gòu)成要素抑制到最小限度一邊進(jìn)行失效保護(hù)的物體檢測(cè)。
(2)在上述技術(shù)方案中,也可以:所述信息包括至少包含所述物體的圖像信息和表示從所述裝置到所述物體為止的距離的距離信息的任一方。
(3)在上述技術(shù)方案中,也可以:所述控制電路在檢測(cè)到所述多個(gè)檢測(cè)電路中的第1檢測(cè)電路為異常狀態(tài)的情況下,基于對(duì)所述各不相同的檢測(cè)處理分配的優(yōu)先級(jí),使所述第1檢測(cè)電路以外的一個(gè)以上的檢測(cè)電路中的執(zhí)行與最低的優(yōu)先級(jí)對(duì)應(yīng)的檢測(cè)處理的第2檢測(cè)電路執(zhí)行所述第1檢測(cè)電路所執(zhí)行的檢測(cè)處理,由此檢測(cè)所述物體。
根據(jù)這樣的構(gòu)成,在檢測(cè)到多個(gè)檢測(cè)電路中的一個(gè)檢測(cè)電路的異常的情況下,將正常的檢測(cè)電路中的執(zhí)行優(yōu)先級(jí)最低的檢測(cè)處理的正常的檢測(cè)電路的檢測(cè)處理變更為被檢測(cè)到異常的檢測(cè)電路的檢測(cè)處理,因此能夠使執(zhí)行優(yōu)先級(jí)最低的檢測(cè)處理的正常的檢測(cè)電路來(lái)代辦被檢測(cè)到異常的檢測(cè)電路的檢測(cè)處理,能夠一邊將對(duì)物體檢測(cè)的性能降低抑制到必要最小限度一邊繼續(xù)執(zhí)行優(yōu)先級(jí)高的檢測(cè)處理。
(4)在上述技術(shù)方案中,也可以:所述多個(gè)檢測(cè)電路至少包括三個(gè)以上的檢測(cè)電路,所述控制電路在檢測(cè)到所述多個(gè)檢測(cè)電路中的第1檢測(cè)電路為異常狀態(tài)的情況下,使所述第1檢測(cè)電路以外的第3檢測(cè)電路執(zhí)行與對(duì)所述各不相同的檢測(cè)處理分配的優(yōu)先級(jí)中的最高的優(yōu)先級(jí)對(duì)應(yīng)的檢測(cè)處理,使所述第1檢測(cè)電路以及所述第3檢測(cè)電路以外的第4檢測(cè)電路執(zhí)行與對(duì)所述各不相同的檢測(cè)處理分配的優(yōu)先級(jí)中的第二高的優(yōu)先級(jí)對(duì)應(yīng)的檢測(cè)處理,由此檢測(cè)所述物體。
根據(jù)這樣的構(gòu)成,在檢測(cè)到多個(gè)檢測(cè)電路中的一個(gè)檢測(cè)電路的異常的情況下,使正常的檢測(cè)電路中的一個(gè)檢測(cè)電路執(zhí)行優(yōu)先級(jí)最高的檢測(cè)處理,并且使其余的檢測(cè)電路執(zhí)行優(yōu)先級(jí)次高的檢測(cè)處理,因此能夠切實(shí)地繼續(xù)執(zhí)行優(yōu)先級(jí)高的檢測(cè)處理。
(5)也可以:所述多個(gè)檢測(cè)電路至少包括三個(gè)以上的檢測(cè)電路,所述控制電路在檢測(cè)到所述多個(gè)檢測(cè)電路中的第1檢測(cè)電路為異常狀態(tài)的情況下,使所述第1檢測(cè)電路以外的第3檢測(cè)電路執(zhí)行與對(duì)所述各不相同的檢測(cè)處理分配的優(yōu)先級(jí)中的最高的優(yōu)先級(jí)對(duì)應(yīng)的檢測(cè)處理,使所述第1檢測(cè)電路以及所述第3檢測(cè)電路以外的第4檢測(cè)電路執(zhí)行當(dāng)前正在執(zhí)行的檢測(cè)處理以及所述第1檢測(cè)電路所執(zhí)行的檢測(cè)處理,由此檢測(cè)所述物體。
根據(jù)這樣的構(gòu)成,在檢測(cè)到多個(gè)檢測(cè)電路中的一個(gè)檢測(cè)電路的異常的情況下,使正常的檢測(cè)電路中的一個(gè)檢測(cè)電路執(zhí)行優(yōu)先級(jí)最高的檢測(cè)處理,并且使其余的檢測(cè)電路除了執(zhí)行已在執(zhí)行的檢測(cè)處理之外還執(zhí)行被檢測(cè)到異常的檢測(cè)電路的檢測(cè)處理,因此能夠繼續(xù)執(zhí)行所有的檢測(cè)處理。
(6)在上述技術(shù)方案中,也可以:所述控制電路在所述第1檢測(cè)電路停止了檢測(cè)處理時(shí),執(zhí)行用于使所述第1檢測(cè)電路恢復(fù)為正常狀態(tài)的復(fù)原處理。
根據(jù)這樣的構(gòu)成,在被檢測(cè)到異常的檢測(cè)電路停止了檢測(cè)處理時(shí),執(zhí)行使被檢測(cè)到異常的檢測(cè)電路恢復(fù)正常的復(fù)原處理,因此能夠使被檢測(cè)到異常的檢測(cè)電路提前恢復(fù)正常。
(7)在上述技術(shù)方案中,也可以:還具備存儲(chǔ)器,所述控制電路,使用所述存儲(chǔ)器所存儲(chǔ)的數(shù)據(jù)群來(lái)生成在所述多個(gè)檢測(cè)電路要執(zhí)行的檢測(cè)處理中使用的各神經(jīng)網(wǎng)絡(luò),將所述各神經(jīng)網(wǎng)絡(luò)分配給所述多個(gè)檢測(cè)電路的各檢測(cè)電路,在檢測(cè)到所述多個(gè)檢測(cè)電路中的第1檢測(cè)電路為異常狀態(tài)的情況下,使所述第1檢測(cè)電路以外的一個(gè)以上的檢測(cè)電路使用與在正在執(zhí)行的檢測(cè)處理中使用的神經(jīng)網(wǎng)絡(luò)不同的神經(jīng)網(wǎng)絡(luò)來(lái)執(zhí)行檢測(cè)處理,由此檢測(cè)所述物體。
根據(jù)這樣的構(gòu)成,使用用于生成檢測(cè)物體用的神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)群,生成供多個(gè)檢測(cè)電路分別使用的神經(jīng)網(wǎng)絡(luò),將所生成的各神經(jīng)網(wǎng)絡(luò)分配給多個(gè)檢測(cè)電路的各檢測(cè)電路,多個(gè)檢測(cè)電路分別使用被分配來(lái)的神經(jīng)網(wǎng)絡(luò)來(lái)檢測(cè)物體。在該狀態(tài)下,檢測(cè)到多個(gè)檢測(cè)電路中的一個(gè)檢測(cè)電路的異常的情況下,變更正常的檢測(cè)電路要使用的神經(jīng)網(wǎng)絡(luò),因此在檢測(cè)到多個(gè)檢測(cè)電路中的一個(gè)檢測(cè)電路的異常的情況下,能夠節(jié)省新生成神經(jīng)網(wǎng)絡(luò)要花費(fèi)的時(shí)間,并防止檢測(cè)處理的空白期間。
(8)在上述技術(shù)方案中,也可以:所述存儲(chǔ)器將所述各神經(jīng)網(wǎng)絡(luò)存儲(chǔ)于各區(qū)域,所述控制部在檢測(cè)到所述多個(gè)檢測(cè)電路中的第1檢測(cè)電路為異常狀態(tài)的情況下,通過(guò)變更與正在使用的所述神經(jīng)網(wǎng)絡(luò)對(duì)應(yīng)的所述存儲(chǔ)器的區(qū)域,從而使所述第1檢測(cè)電路以外的一個(gè)以上的檢測(cè)電路使用所述不同的神經(jīng)網(wǎng)絡(luò)來(lái)執(zhí)行檢測(cè)處理,由此檢測(cè)所述物體。
根據(jù)這樣的構(gòu)成,在檢測(cè)到多個(gè)檢測(cè)電路中的一個(gè)檢測(cè)電路的異常的情況下,通過(guò)使正常的檢測(cè)電路要參照的存儲(chǔ)器的單獨(dú)區(qū)域變更,對(duì)正常的檢測(cè)電路要使用的神經(jīng)網(wǎng)絡(luò)進(jìn)行變更,因此能夠瞬間變更正常的檢測(cè)電路要使用的神經(jīng)網(wǎng)絡(luò),能夠切實(shí)地繼續(xù)執(zhí)行使用了神經(jīng)網(wǎng)絡(luò)的檢測(cè)處理。
(9)在上述技術(shù)方案中,也可以:所述多個(gè)檢測(cè)電路的各檢測(cè)電路具有相同性能。
根據(jù)這樣的構(gòu)成,能夠使正常的檢測(cè)電路容易地代辦被檢測(cè)到異常的檢測(cè)電路的檢測(cè)處理,并且能夠降低裝置的成本。
(10)在上述技術(shù)方案中,也可以:所述傳感器是預(yù)定的攝像頭,所述信息是包含所述物體的圖像信息,所述接收部從所述預(yù)定的攝像頭接收所述圖像信息。
根據(jù)這樣的構(gòu)成,使用由攝像頭拍攝了物體而得到的圖像信息,能夠檢測(cè)包括行人、車輛、道路標(biāo)識(shí)、建筑物以及道路的區(qū)域等的一般物體。
(11)在上述技術(shù)方案中,也可以:所述裝置搭載于車輛,所述車輛具備對(duì)所述車輛的行駛進(jìn)行控制的車輛控制裝置,所述控制電路基于整合后的所述多個(gè)檢測(cè)電路對(duì)所述物體檢測(cè)的檢測(cè)結(jié)果,將所述車輛的行駛所涉及的控制信號(hào)輸出給所述車輛控制裝置。
根據(jù)這樣的構(gòu)成,裝置搭載于車輛,基于整合后的多個(gè)檢測(cè)電路的檢測(cè)結(jié)果,將車輛的行駛所涉及的控制信號(hào)輸出給車輛控制裝置,因此,即使在檢測(cè)電路發(fā)生了異常時(shí),也能夠檢測(cè)車輛的行駛控制所需要的包括行人、其他車輛、道路標(biāo)識(shí)、建筑物以及道路的區(qū)域等的一般物體,使用整合后的檢測(cè)結(jié)果,能夠?qū)崿F(xiàn)自動(dòng)駕駛車的失效保護(hù)的自動(dòng)駕駛控制。
(12)在上述技術(shù)方案中,也可以:所述多個(gè)檢測(cè)電路還包括第2檢測(cè)電路和第3檢測(cè)電路,所述物體包括位于以所述車輛為起點(diǎn)的第1距離范圍的第1物體、位于以所述車輛為起點(diǎn)的第2距離范圍的第2物體、和位于以所述車輛為起點(diǎn)的第3距離范圍的第3物體,按所述第1距離范圍、所述第2距離范圍、所述第3距離范圍的順序接近所述車輛,所述第1檢測(cè)電路執(zhí)行對(duì)所述第1物體進(jìn)行檢測(cè)的第1檢測(cè)處理,所述第2檢測(cè)電路執(zhí)行對(duì)所述第2物體進(jìn)行檢測(cè)的第2檢測(cè)處理,所述第3檢測(cè)電路執(zhí)行對(duì)所述第3物體進(jìn)行檢測(cè)的第3檢測(cè)處理,所述控制電路在檢測(cè)到所述多個(gè)檢測(cè)電路中的第1檢測(cè)電路為異常狀態(tài)的情況下,使所述第1檢測(cè)電路停止所述第1處理,使所述第3檢測(cè)電路執(zhí)行所述第1處理。
根據(jù)這樣的構(gòu)成,在檢測(cè)到第1檢測(cè)電路的異常的情況下,停止第1檢測(cè)電路的檢測(cè)處理,變更第3檢測(cè)電路的檢測(cè)處理以使第3體檢測(cè)電路檢測(cè)第1物體,因此,即使在第1檢測(cè)電路發(fā)生了異常時(shí),也能夠檢測(cè)位于與車輛最接近的第1距離范圍的第1物體、例如行人、其他車輛、道路標(biāo)識(shí)、建筑物以及道路的區(qū)域等,能夠繼續(xù)自動(dòng)駕駛車的自動(dòng)駕駛。
另外,本公開(kāi)不僅能夠作為具備以上那樣的特征性結(jié)構(gòu)的裝置來(lái)實(shí)現(xiàn),也能夠作為執(zhí)行與裝置所具備的特征性結(jié)構(gòu)對(duì)應(yīng)的特征性處理的方法等來(lái)實(shí)現(xiàn)。另外,還能夠作為存儲(chǔ)有使處理器執(zhí)行這樣的方法所包含的特征性處理的程序的記錄介質(zhì)來(lái)實(shí)現(xiàn)。因此,對(duì)于以下的其他技術(shù)方案,也能夠起到與上述的裝置同樣的效果。
(13)本公開(kāi)的另一技術(shù)方案涉及的方法,包括:接收通過(guò)傳感器對(duì)所述物體檢測(cè)到的信息,根據(jù)所述信息,執(zhí)行各不相同的多個(gè)檢測(cè)處理,由此檢測(cè)所述物體,基于所述多個(gè)檢測(cè)處理的各檢測(cè)處理的工作或狀態(tài)的變化,檢測(cè)所述多個(gè)檢測(cè)處理的各檢測(cè)處理是否為異常狀態(tài),在檢測(cè)到所述多個(gè)檢測(cè)處理中的一個(gè)檢測(cè)處理為異常狀態(tài)的情況下,停止所述一個(gè)檢測(cè)處理,通過(guò)執(zhí)行與所述一個(gè)檢測(cè)處理以外的一個(gè)以上的檢測(cè)處理不同的檢測(cè)處理來(lái)檢測(cè)所述物體。
(14)本公開(kāi)的另一技術(shù)方案涉及的記錄介質(zhì),是存儲(chǔ)有檢測(cè)物體的程序的非瞬時(shí)性記錄介質(zhì),所述程序使處理器執(zhí)行:接收通過(guò)傳感器對(duì)所述物體檢測(cè)到的信息,根據(jù)所述信息,執(zhí)行各不相同的多個(gè)檢測(cè)處理,由此檢測(cè)所述物體,基于所述多個(gè)檢測(cè)處理的各檢測(cè)處理的工作或狀態(tài)的變化,檢測(cè)所述多個(gè)檢測(cè)處理的各檢測(cè)處理是否為異常狀態(tài),在檢測(cè)到所述多個(gè)檢測(cè)處理中的一個(gè)檢測(cè)處理為異常狀態(tài)的情況下,停止所述一個(gè)檢測(cè)處理,通過(guò)執(zhí)行與所述一個(gè)檢測(cè)處理以外的一個(gè)以上的檢測(cè)處理不同的檢測(cè)處理來(lái)檢測(cè)所述物體。
并且,當(dāng)然能夠使上述那樣的程序經(jīng)由互聯(lián)網(wǎng)等通信網(wǎng)絡(luò)進(jìn)行流通。另外,也可以將本公開(kāi)的一個(gè)實(shí)施方式涉及的裝置的構(gòu)成要素的一部分和除此以外的構(gòu)成要素作為分散到多個(gè)計(jì)算機(jī)的系統(tǒng)來(lái)構(gòu)成。
此外,以下說(shuō)明的實(shí)施方式都是用于表示本公開(kāi)的一個(gè)具體例子的實(shí)施方式。以下的實(shí)施方式中示出的數(shù)值、形狀、構(gòu)成要素、步驟、步驟的順序等是一例,并非旨在限定本公開(kāi)。另外,對(duì)于以下的實(shí)施方式中的構(gòu)成要素中的未記載在表示最上位概念的獨(dú)立權(quán)利要求中的構(gòu)成要素,作為任意的構(gòu)成要素進(jìn)行說(shuō)明。另外,在所有的實(shí)施方式中,都能夠組合各個(gè)實(shí)施方式的內(nèi)容。
以下,參照附圖對(duì)本公開(kāi)的各實(shí)施方式涉及的物體檢測(cè)裝置系統(tǒng)進(jìn)行說(shuō)明。
(實(shí)施方式1)
圖1是表示搭載有本公開(kāi)的實(shí)施方式1的物體檢測(cè)裝置的車輛的主要構(gòu)成的一例的框圖。如圖1所示,車輛1具備攝像頭裝置11、測(cè)距傳感器裝置12、行駛控制裝置13、顯示裝置14以及物體檢測(cè)裝置101。車輛1是使用控制行駛狀態(tài)的行駛控制裝置13以及檢測(cè)物體的物體檢測(cè)裝置101來(lái)進(jìn)行自動(dòng)駕駛的自動(dòng)駕駛車。此外,車輛1并不特別限定于自動(dòng)駕駛車,也可以是駕駛員進(jìn)行駕駛的通常的車輛。
攝像頭裝置11由ccd(chargecoupleddevices,電荷耦合器件)圖像傳感器等構(gòu)成,拍攝包含位于車輛1的前方的各種物體(一般物體)的圖像,將拍攝了物體而得到的圖像信息輸出給物體檢測(cè)裝置101。此外,攝像頭裝置11的構(gòu)成并不特別限定于該例,也可以通過(guò)多個(gè)攝像頭裝置來(lái)拍攝車輛1的后方、右側(cè)方、左側(cè)方等的物體。
測(cè)距傳感器裝置12由雷達(dá)裝置等構(gòu)成,測(cè)定到位于車輛1的前方的各種物體(一般物體)為止的距離,將表示所測(cè)定出的距離的距離信息輸出給物體檢測(cè)裝置101。此外,測(cè)距傳感器裝置12的構(gòu)成并不特別限定于該例,也可以通過(guò)多個(gè)測(cè)距傳感器裝置來(lái)測(cè)定到位于車輛1的后方、右側(cè)方、左側(cè)方等的物體為止的距離;和/或使用立體攝像頭等來(lái)輸出對(duì)表示到物體為止的距離的距離信息進(jìn)行了圖像化后的圖像信息等。
物體檢測(cè)裝置101在自動(dòng)駕駛車的情況下,作為一般物體而檢測(cè)行人、車輛、道路標(biāo)識(shí)、建筑物以及道路的區(qū)域等的物體,將基于物體檢測(cè)結(jié)果的控制信號(hào)(駕駛控制信號(hào))輸出給行駛控制裝置13。
行駛控制裝置13由發(fā)動(dòng)機(jī)控制單元等構(gòu)成,基于包括物體檢測(cè)裝置101的物體檢測(cè)結(jié)果的各種信息,控制車輛1的行駛狀態(tài),自動(dòng)地控制加速器操作、制動(dòng)器操作以及方向盤操作等。
顯示裝置14由設(shè)置于車輛1的儀表面板的液晶顯示器等構(gòu)成,顯示從行駛控制裝置13輸出的各種信息、例如自動(dòng)駕駛的狀態(tài)和/或物體檢測(cè)裝置101的工作狀態(tài)等。
圖2是表示圖1所示的物體檢測(cè)裝置的構(gòu)成的一例的框圖。如圖2所示,物體檢測(cè)裝置101具備信息取得部102、物體檢測(cè)部103、檢測(cè)器異常檢測(cè)部104、檢測(cè)器切換部105以及駕駛控制信號(hào)發(fā)送部106。物體檢測(cè)部103具備3個(gè)物體檢測(cè)器113、123、133。
作為與物體有關(guān)的物體信息,信息取得部102從攝像頭裝置11取得拍攝了物體而得到的圖像信息,并且從測(cè)距傳感器裝置12取得表示到物體為止的距離的距離信息,將所取得的圖像信息以及距離信息輸出給物體檢測(cè)部103。此外,物體信息并不特別限定于上述的例子,也可以使用與成為檢測(cè)對(duì)象的物體有關(guān)的其他各種信息。
物體檢測(cè)部103對(duì)物體檢測(cè)器113、123、133的工作進(jìn)行管理,將從信息取得部102輸出的圖像信息以及距離信息提供給物體檢測(cè)器113、123、133,使物體檢測(cè)器113、123、133執(zhí)行物體檢測(cè)處理。物體檢測(cè)器113、123、133分別使用圖像信息以及距離信息來(lái)執(zhí)行預(yù)定的物體檢測(cè)處理。物體檢測(cè)器113、123、133分別是相同性能的物體檢測(cè)器,優(yōu)選是相同結(jié)構(gòu)的物體檢測(cè)器。此外,物體檢測(cè)器的數(shù)量以及結(jié)構(gòu)并不特別限定于上述的例子,也可以使用2個(gè)或4個(gè)以上的物體檢測(cè)器和/或使用不同性能的物體檢測(cè)器,可以進(jìn)行各種變更。另外,物體檢測(cè)器處理的信息并不特別限定于上述的圖像信息等,也可以根據(jù)與電波、熱、聲、紅外線等對(duì)應(yīng)的各種傳感器裝置的檢測(cè)信號(hào)所對(duì)應(yīng)的信息等來(lái)檢測(cè)一般物體。
另外,物體檢測(cè)器123、133將通過(guò)物體檢測(cè)處理而檢測(cè)到的物體的檢測(cè)結(jié)果輸出給物體檢測(cè)器113,物體檢測(cè)器113對(duì)自身的檢測(cè)結(jié)果和物體檢測(cè)器123、133的檢測(cè)結(jié)果進(jìn)行整合,將整合檢測(cè)結(jié)果輸出給駕駛控制信號(hào)發(fā)送部106。
檢測(cè)器異常檢測(cè)部104檢測(cè)物體檢測(cè)器113、123、133各自的異常狀態(tài),將對(duì)被檢測(cè)到異常狀態(tài)的物體檢測(cè)器進(jìn)行報(bào)告的檢測(cè)器異常信息通知給檢測(cè)器切換部105以及駕駛控制信號(hào)發(fā)送部106。例如,檢測(cè)器異常檢測(cè)部104通過(guò)以硬件方式監(jiān)視物體檢測(cè)器113、123、133的溫度和/或耗電量的變化、和/或以軟件方式監(jiān)視物體檢測(cè)器113、123、133的檢測(cè)結(jié)果的輸出頻度,由此檢測(cè)物體檢測(cè)器113、123、133的異常狀態(tài)。此外,檢測(cè)器異常檢測(cè)部104在物體檢測(cè)器113、123、133正常工作的情況下,也可以將所有的物體檢測(cè)器113、123、133都正常之意的檢測(cè)器正常信息發(fā)送給駕駛控制信號(hào)發(fā)送部106。
檢測(cè)器切換部105通過(guò)控制物體檢測(cè)部103并切換物體檢測(cè)器113、123、133的處理內(nèi)容,在由檢測(cè)器異常檢測(cè)部104檢測(cè)到物體檢測(cè)器113、123、133中的一個(gè)物體檢測(cè)器的異常狀態(tài)的情況下,停止被檢測(cè)到異常狀態(tài)的異常物體檢測(cè)器的物體檢測(cè)處理,變更未被檢測(cè)到異常狀態(tài)的正常物體檢測(cè)器的物體檢測(cè)處理。物體檢測(cè)部103在異常物體檢測(cè)器停止物體檢測(cè)處理時(shí),執(zhí)行使異常物體檢測(cè)器恢復(fù)為正常狀態(tài)的復(fù)原處理。
另外,物體檢測(cè)器113、123、133各自的物體檢測(cè)處理具有處理的優(yōu)先級(jí),檢測(cè)器切換部105在由檢測(cè)器異常檢測(cè)部104檢測(cè)到物體檢測(cè)器113、123、133中的一個(gè)物體檢測(cè)器的異常狀態(tài)的情況下,控制物體檢測(cè)部103,將未被檢測(cè)到異常狀態(tài)的正常物體檢測(cè)器中的執(zhí)行優(yōu)先級(jí)最低的物體檢測(cè)處理的正常物體檢測(cè)器的物體檢測(cè)處理變更為被檢測(cè)到異常狀態(tài)的異常物體檢測(cè)器的物體檢測(cè)處理。
另外,檢測(cè)器切換部105在由檢測(cè)器異常檢測(cè)部104檢測(cè)到物體檢測(cè)器113、123、133中的一個(gè)物體檢測(cè)器的異常狀態(tài)的情況下,控制物體檢測(cè)部103,使未被檢測(cè)到異常狀態(tài)的正常物體檢測(cè)器中的一個(gè)正常物體檢測(cè)器執(zhí)行優(yōu)先級(jí)最高的物體檢測(cè)處理,并且使其余的正常物體檢測(cè)器執(zhí)行優(yōu)先級(jí)次高的物體檢測(cè)處理。
另外,物體檢測(cè)裝置101要檢測(cè)的物體包括位于與車輛1最接近的范圍的第1距離范圍的第1物體、位于離車輛1比第1距離范圍遠(yuǎn)的第2距離范圍的第2物體、和位于離車輛1比所述第2距離范圍遠(yuǎn)的第3距離范圍的第3物體。物體檢測(cè)器113檢測(cè)位于第1距離范圍的第1物體,物體檢測(cè)器123檢測(cè)位于第2距離范圍的第2物體,物體檢測(cè)器133檢測(cè)位于第3距離范圍的第3物體。
另外,檢測(cè)器切換部105在由檢測(cè)器異常檢測(cè)部104檢測(cè)到物體檢測(cè)器113的異常狀態(tài)的情況下,控制物體檢測(cè)部103,停止物體檢測(cè)器113的物體檢測(cè)處理,變更物體檢測(cè)器133的物體檢測(cè)處理以使物體檢測(cè)器133檢測(cè)位于第1距離范圍的第1物體。
另外,檢測(cè)器切換部105在由檢測(cè)器異常檢測(cè)部104檢測(cè)到物體檢測(cè)器113、123、133中的一個(gè)物體檢測(cè)器的異常狀態(tài)的情況下,控制物體檢測(cè)部103,使未被檢測(cè)到異常狀態(tài)的正常物體檢測(cè)器中的一個(gè)正常物體檢測(cè)器執(zhí)行優(yōu)先級(jí)最高的物體檢測(cè)處理,并且使其余的正常物體檢測(cè)器除了執(zhí)行已在執(zhí)行的物體檢測(cè)處理之外還執(zhí)行被檢測(cè)到異常狀態(tài)的異常物體檢測(cè)器的物體檢測(cè)處理。
駕駛控制信號(hào)發(fā)送部106基于對(duì)物體檢測(cè)器113、123、133的檢測(cè)結(jié)果進(jìn)行了整合后的整合檢測(cè)結(jié)果,向行駛控制裝置13輸出駕駛控制信號(hào)。
接著,對(duì)圖2所示的物體檢測(cè)裝置101的工作進(jìn)行說(shuō)明。圖3是表示圖2所示的物體檢測(cè)裝置101的啟動(dòng)時(shí)物體檢測(cè)處理的一例的流程圖。圖3所示的啟動(dòng)時(shí)物體檢測(cè)處理是物體檢測(cè)裝置101被搭載于車輛1(自動(dòng)駕駛車)并在自動(dòng)駕駛功能開(kāi)始時(shí)執(zhí)行的處理。
首先,檢測(cè)器切換部105基于內(nèi)部的存儲(chǔ)器(圖示省略)所存儲(chǔ)的檢測(cè)處理分配表,將物體檢測(cè)器113、123、133要實(shí)施的物體檢測(cè)處理的處理內(nèi)容通知給對(duì)物體檢測(cè)器113、123、133進(jìn)行管理的物體檢測(cè)部103(步驟s11)。
在此,檢測(cè)器切換部105將使標(biāo)識(shí)物體檢測(cè)器的檢測(cè)器id(標(biāo)識(shí)序號(hào))、處理內(nèi)容和優(yōu)先級(jí)相關(guān)聯(lián)而得到的檢測(cè)處理分配表以表的形式存儲(chǔ)在內(nèi)部的存儲(chǔ)器中。圖4是表示圖2所示的檢測(cè)器切換部105使用的檢測(cè)處理分配表的一例的圖。如圖4所示,檢測(cè)處理分配表t1由與各物體檢測(cè)器113、123、133關(guān)聯(lián)的標(biāo)識(shí)符即檢測(cè)器idt2、其處理內(nèi)容t3、和其優(yōu)先級(jí)t4構(gòu)成。
在圖4所示的例子中,作為檢測(cè)器idt2,為了易于說(shuō)明,使用“物體檢測(cè)器113”、“物體檢測(cè)器123”以及“物體檢測(cè)器133”,作為處理內(nèi)容t3,使用“近距離”、“中距離”、“遠(yuǎn)距離”以及“檢測(cè)結(jié)果整合”,作為優(yōu)先級(jí)t4,使用“1”、“2”以及“3”。另外,“近距離”表示對(duì)相對(duì)于車輛1位于近距離(第1距離范圍)的一般物體進(jìn)行檢測(cè)處理內(nèi)容,“中距離”、“遠(yuǎn)距離”同樣地表示對(duì)相對(duì)于車輛1位于中間距離(第2距離范圍)、遠(yuǎn)距離(第3距離范圍)的一般物體進(jìn)行檢測(cè)的處理內(nèi)容,“檢測(cè)結(jié)果整合”表示對(duì)各物體檢測(cè)器113、123、133的檢測(cè)結(jié)果進(jìn)行整合的處理。優(yōu)先級(jí)t4表示數(shù)值越小則優(yōu)先級(jí)就越高的處理。
例如,檢測(cè)器切換部105基于圖4所示的檢測(cè)處理分配表t1,向物體檢測(cè)部103進(jìn)行通知,使得:將物體檢測(cè)器113的處理內(nèi)容設(shè)定為優(yōu)先級(jí)“1”且“近距離”以及“檢測(cè)結(jié)果整合”,將物體檢測(cè)器123的處理內(nèi)容設(shè)定為優(yōu)先級(jí)“2”且“中距離”,將物體檢測(cè)器133的處理內(nèi)容設(shè)定為優(yōu)先級(jí)“3”且“遠(yuǎn)距離”。
此外,作為檢測(cè)處理分配表的保管方法,說(shuō)明了檢測(cè)器切換部105進(jìn)行保管的例子,但并不特別限定于該例,也可以是物體檢測(cè)裝置101以外的裝置保管檢測(cè)處理分配表。另外,也可以是物體檢測(cè)部103存儲(chǔ)處理內(nèi)容t3與優(yōu)先級(jí)t4的對(duì)信息、且檢測(cè)器切換部105將檢測(cè)器idt2與優(yōu)先級(jí)t4的對(duì)信息通知給物體檢測(cè)部103。另外,優(yōu)先級(jí)t4是以從車輛1到一般物體的距離為基準(zhǔn)而決定的,但并不特別限定于該例,也可以根據(jù)處理內(nèi)容t3中的檢測(cè)對(duì)象的一般物體的種類(人物、道路標(biāo)識(shí)、障礙物、動(dòng)物等)來(lái)變更優(yōu)先級(jí)的值(例如,按人物、道路標(biāo)識(shí)、障礙物、動(dòng)物的順序使優(yōu)先級(jí)降低)。
在此,物體檢測(cè)器113、123、133是相同性能的物體檢測(cè)器,檢測(cè)對(duì)象的一般物體處于越遠(yuǎn)的距離,成為檢測(cè)對(duì)象的一般物體在被攝像頭裝置11拍攝到的圖像內(nèi)相對(duì)越小,因此物體檢測(cè)器123的計(jì)算量比物體檢測(cè)器113的計(jì)算量大,物體檢測(cè)器133的計(jì)算量比物體檢測(cè)器123的計(jì)算量大。
因此,在本實(shí)施方式中,物體檢測(cè)器133的1個(gè)圖像(一幀)的物體檢測(cè)處理的時(shí)間會(huì)比物體檢測(cè)器113、123長(zhǎng)。因此,在本實(shí)施方式中,作為一例,信息取得部102以60fps(framespersecond,幀每秒)向物體檢測(cè)部103傳送圖像,作為檢測(cè)頻度,物體檢測(cè)器113以60fps檢測(cè)一般物體,物體檢測(cè)器123以30fps檢測(cè)一般物體,物體檢測(cè)器133以15fps檢測(cè)一般物體。另外,物體檢測(cè)器113以檢測(cè)頻度60fps對(duì)各物體檢測(cè)器113、123、133的檢測(cè)結(jié)果進(jìn)行整合。
也就是說(shuō),物體檢測(cè)器113的檢測(cè)結(jié)果按每幀被更新,而物體檢測(cè)器123的檢測(cè)結(jié)果按每2幀被更新,物體檢測(cè)器133的檢測(cè)結(jié)果按每4幀被更新。另外,相對(duì)于一般物體的距離,通過(guò)來(lái)自測(cè)距傳感器裝置12的距離信息來(lái)決定。此外,在不使用測(cè)距傳感器裝置12的情況下,也可以根據(jù)各物體檢測(cè)器113、123、133設(shè)為檢測(cè)對(duì)象的一般物體相對(duì)于一幀的圖像面積的大小來(lái)決定相對(duì)于一般物體的距離。
接著,物體檢測(cè)部103將來(lái)自信息取得部102的圖像信息等輸入物體檢測(cè)器113、123、133,按照來(lái)自檢測(cè)器切換部105的通知即檢測(cè)處理分配表,使物體檢測(cè)器113、123、133分別以被通知來(lái)的處理內(nèi)容以及優(yōu)先級(jí)來(lái)執(zhí)行物體檢測(cè)處理,使物體檢測(cè)器113、123、133的工作開(kāi)始(步驟s12)。此時(shí),信息取得部102也可以取得攝像頭裝置11的圖像信息,并且以圖像化的方式取得由測(cè)距傳感器裝置12得到的與一般物體的距離信息。另外,物體檢測(cè)部103將來(lái)自物體檢測(cè)器113、123、133的一般物體的檢測(cè)結(jié)果傳送給駕駛控制信號(hào)發(fā)送部106。
圖5是表示圖2所示的物體檢測(cè)器113、123、133在物體檢測(cè)處理中使用的圖像信息所表示的圖像的一例的圖,圖6是用于說(shuō)明物體檢測(cè)器113、123、133從圖5所示的圖像中檢測(cè)到的物體的一例的圖。
當(dāng)表示圖5所示的一幀圖像p1的圖像信息被輸入信息取得部102、且物體檢測(cè)器113、123、133對(duì)從信息取得部102傳送來(lái)的圖像p1執(zhí)行了物體檢測(cè)處理時(shí),表示與圖6所示的檢測(cè)結(jié)果圖像p2等效的圖像的圖像信息被傳送給駕駛控制信號(hào)發(fā)送部106。
在圖6所示的例子中,基于檢測(cè)處理分配表t1,物體檢測(cè)器113檢測(cè)出道路的可通行區(qū)域n1和其他車輛n2作為近距離的物體,物體檢測(cè)器123檢測(cè)出道路的可通行區(qū)域m1和人物m2作為中距離的物體,物體檢測(cè)器133檢測(cè)出道路的可通行區(qū)域f1和道路標(biāo)識(shí)f2作為遠(yuǎn)距離的物體。物體檢測(cè)器113對(duì)這些檢測(cè)結(jié)果進(jìn)行整合并傳送給駕駛控制信號(hào)發(fā)送部106。如此,以從車輛1起的距離為基準(zhǔn)而被分配了各處理內(nèi)容的物體檢測(cè)器113、123、133檢測(cè)有可能存在于各距離范圍的一般物體。
接著,當(dāng)物體檢測(cè)部103開(kāi)始工作時(shí),檢測(cè)器異常檢測(cè)部104開(kāi)始各物體檢測(cè)器113、123、133的監(jiān)視(步驟s13)。此時(shí),檢測(cè)器異常檢測(cè)部104檢測(cè)物體檢測(cè)器113、123、133各自的異常狀態(tài),將被檢測(cè)到異常狀態(tài)的物體檢測(cè)器通知給檢測(cè)器切換部105以及駕駛控制信號(hào)發(fā)送部106。
接著,駕駛控制信號(hào)發(fā)送部106基于來(lái)自物體檢測(cè)部103的檢測(cè)結(jié)果,向行駛控制裝置13輸出駕駛控制信號(hào),行駛控制裝置13基于駕駛控制信號(hào),開(kāi)始車輛1的自動(dòng)駕駛(步驟s14)。
圖7是表示對(duì)顯示在圖1所示的顯示裝置14上的自動(dòng)駕駛狀態(tài)進(jìn)行表示的測(cè)量?jī)x表圖像的一例的圖。在物體檢測(cè)器113、123、133在正常狀態(tài)下工作的情況下,例如,圖7所示的測(cè)量?jī)x表圖像被顯示在設(shè)置于車輛1的儀表面板的顯示裝置14上。本例是車輛1為電動(dòng)汽車的情況下的例子,作為測(cè)量?jī)x表圖像,例如顯示有電池余量計(jì)bm、速度計(jì)sm以及功率計(jì)pm。
另外,在速度計(jì)sm的中央下部,作為駕駛模式,顯示有表示正在正常地進(jìn)行自動(dòng)駕駛的“巡航模式(cruisemode)”m1。另外,在其上方顯示有表示物體檢測(cè)器113的工作狀態(tài)(正在以100%的處理能力執(zhí)行近距離的物體檢測(cè)處理的狀態(tài))的“100%短(short)”d1,在其上方顯示有表示物體檢測(cè)器123的工作狀態(tài)(正在以100%的處理能力執(zhí)行中距離的物體檢測(cè)處理的狀態(tài))的“100%中(middle)”d2,在其上方顯示有表示物體檢測(cè)器133的工作狀態(tài)(正在以100%的處理能力執(zhí)行遠(yuǎn)距離的物體檢測(cè)處理的狀態(tài))的“100%長(zhǎng)(long)”d3。
通過(guò)使上述那樣的測(cè)量?jī)x表圖像顯示于顯示裝置14,能夠?qū)⑻幱谧詣?dòng)駕駛這一情況和各物體檢測(cè)器113、123、133的狀態(tài)呈現(xiàn)給乘員。
以上成為本實(shí)施方式的物體檢測(cè)裝置101的自動(dòng)駕駛車啟動(dòng)時(shí)(自動(dòng)駕駛功能啟動(dòng)時(shí))的處理內(nèi)容。
接著,作為物體檢測(cè)裝置101的失效保護(hù)工作的一例,說(shuō)明在自動(dòng)駕駛開(kāi)始后物體檢測(cè)器113、123、133之一發(fā)生了異常的情況。圖8是表示圖2所示的物體檢測(cè)裝置101的物體檢測(cè)器113、123、133之一發(fā)生了異常的情況下的異常時(shí)物體檢測(cè)處理的一例的流程圖。
首先,檢測(cè)器異常檢測(cè)部104在檢測(cè)到物體檢測(cè)器113、123、133之一的工作異常的情況下,向檢測(cè)器切換部105以及駕駛控制信號(hào)發(fā)送部106通知表示哪個(gè)物體檢測(cè)器為異常狀態(tài)的檢測(cè)器異常信息(步驟s21)。例如,在物體檢測(cè)器113發(fā)生了異常的情況下,檢測(cè)器異常檢測(cè)部104向檢測(cè)器切換部105以及駕駛控制信號(hào)發(fā)送部106通知表示物體檢測(cè)器113為異常狀態(tài)的檢測(cè)器異常信息。
接著,接收到檢測(cè)器異常信息的檢測(cè)器切換部105將要使用的檢測(cè)處理分配表從圖4所示的檢測(cè)處理分配表t1變更為物體檢測(cè)器113、123、133之一發(fā)生異常時(shí)的檢測(cè)處理分配表,向物體檢測(cè)部103通知對(duì)物體檢測(cè)器113、123、133的處理內(nèi)容進(jìn)行切換以使得進(jìn)行符合該檢測(cè)處理分配表的失效保護(hù)工作(步驟s22)。在此,物體檢測(cè)器113、123、133之一發(fā)生異常時(shí)的檢測(cè)處理分配表,與圖4所示的檢測(cè)處理分配表t1同樣地,按異常狀態(tài)的物體檢測(cè)器存儲(chǔ)于檢測(cè)器切換部105內(nèi)部的存儲(chǔ)器,檢測(cè)器切換部105從內(nèi)部的存儲(chǔ)器讀出異常狀態(tài)的物體檢測(cè)器用的檢測(cè)處理分配表來(lái)使用。此外,異常狀態(tài)的物體檢測(cè)器用的檢測(cè)處理分配表并不特別限定于在上述的內(nèi)部存儲(chǔ)器中進(jìn)行存儲(chǔ)的例子,例如,也可以是檢測(cè)器切換部105等基于物體檢測(cè)器113、123、133的處理能力來(lái)制作可進(jìn)行適當(dāng)?shù)氖ПWo(hù)工作的檢測(cè)處理分配表。
圖9是表示在圖2所示的物體檢測(cè)器113發(fā)生了異常的情況下檢測(cè)器切換部105使用的檢測(cè)處理分配表的一例的圖。在圖9所示的檢測(cè)處理分配表t1a中,處理內(nèi)容t3a以及優(yōu)先級(jí)t4a被變更,物體檢測(cè)器113的處理內(nèi)容以及優(yōu)先級(jí)被變更為“復(fù)原處理”以及“-”(無(wú)優(yōu)先級(jí)),物體檢測(cè)器133的處理內(nèi)容以及優(yōu)先級(jí)被變更為“近距離,檢測(cè)結(jié)果整合”以及“1”,物體檢測(cè)器123的處理內(nèi)容以及優(yōu)先級(jí)得以維持。在此,“復(fù)原處理”表示停止被檢測(cè)到異常狀態(tài)的異常物體檢測(cè)器的工作并使異常物體檢測(cè)器恢復(fù)為正常狀態(tài)的處理。
例如,在物體檢測(cè)器113發(fā)生了異常的情況下,檢測(cè)器切換部105基于圖9所示的檢測(cè)處理分配表t1a,向物體檢測(cè)部103進(jìn)行通知,使得:將物體檢測(cè)器113的處理內(nèi)容設(shè)定為優(yōu)先級(jí)“-”且“復(fù)原處理”,將物體檢測(cè)器123的處理內(nèi)容設(shè)定為優(yōu)先級(jí)“2”且“中距離”,將物體檢測(cè)器133的處理內(nèi)容設(shè)定為優(yōu)先級(jí)“1”且“近距離”以及“檢測(cè)結(jié)果整合”。
接著,物體檢測(cè)部103基于物體檢測(cè)器113、123、133之一發(fā)生異常時(shí)的檢測(cè)處理分配表,變更物體檢測(cè)器113、123、133的處理,將變更后的整合檢測(cè)結(jié)果輸出給駕駛控制信號(hào)發(fā)送部106(步驟s23)。例如,在物體檢測(cè)器113發(fā)生了異常的情況下,物體檢測(cè)部103基于處理內(nèi)容t3a,進(jìn)行用于使物體檢測(cè)器113恢復(fù)為正常狀態(tài)的“復(fù)原處理”,基于處理內(nèi)容t3a以及優(yōu)先級(jí)t4a將物體檢測(cè)器133的物體檢測(cè)處理變更為“近距離、檢測(cè)結(jié)果整合”以及“優(yōu)先級(jí)1”。
圖10是用于說(shuō)明圖2所示的物體檢測(cè)裝置101的物體檢測(cè)器113發(fā)生了異常的情況下的失效保護(hù)工作的一例的框圖。如圖10所示,在物體檢測(cè)器113發(fā)生了異常的情況下,物體檢測(cè)部103執(zhí)行用于使物體檢測(cè)器113恢復(fù)為正常狀態(tài)的復(fù)原處理,另外,物體檢測(cè)器123以優(yōu)先級(jí)2執(zhí)行中距離的物體檢測(cè)處理,將檢測(cè)結(jié)果輸出給物體檢測(cè)器133,物體檢測(cè)器133以優(yōu)先級(jí)1進(jìn)行近距離的物體檢測(cè)處理以及檢測(cè)結(jié)果的整合處理,將整合檢測(cè)結(jié)果輸出給駕駛控制信號(hào)發(fā)送部106。
并且,駕駛控制信號(hào)發(fā)送部106基于檢測(cè)器異常信息和/或物體檢測(cè)部103的整合檢測(cè)結(jié)果,向車輛1的行駛控制裝置13發(fā)送駕駛控制信號(hào),該駕駛控制信號(hào)是用于進(jìn)行使車輛1的行駛速度下降和/或使車輛在安全場(chǎng)所停止等的失效保護(hù)駕駛的信號(hào)(步驟s24)。
圖11是表示在圖2所示的物體檢測(cè)器113、123、133之一發(fā)生了異常的情況下顯示于顯示裝置14的測(cè)量?jī)x表圖像的一例的圖。例如,在物體檢測(cè)器113發(fā)生異常且實(shí)施了圖8所示的異常時(shí)物體檢測(cè)處理的情況下,圖11所示的測(cè)量?jī)x表圖像被顯示于在車輛1的儀表面板設(shè)置的顯示裝置14。在本例中,作為測(cè)量?jī)x表圖像,與圖7所示的測(cè)量?jī)x表圖像同樣地顯示有電池余量計(jì)bm以及功率計(jì)pm,但速度計(jì)sma的顯示內(nèi)容被變更。
即,在速度計(jì)sma的中央下部,作為駕駛模式,顯示有表示正在進(jìn)行失效保護(hù)駕駛這一情況的“失效保護(hù)模式(failsafemode)”m2。另外,在其上方顯示有表示物體檢測(cè)器113處于異常狀態(tài)、物體檢測(cè)處理被停止、并正在進(jìn)行復(fù)原處理這一情況的“0%恢復(fù)(recovery)”d1a,在其上方顯示有表示物體檢測(cè)器123的工作狀態(tài)(正在以100%的處理能力執(zhí)行中距離的物體檢測(cè)處理的狀態(tài))的“100%中(middle)”d2,在其上方顯示有表示物體檢測(cè)器133的工作狀態(tài)(正在以100%的處理能力執(zhí)行近距離的物體檢測(cè)處理的狀態(tài))的“100%短(short)”d3a。
通過(guò)使上述那樣的測(cè)量?jī)x表圖像顯示于顯示裝置14,能夠?qū)⑽矬w檢測(cè)器113處于復(fù)原狀態(tài)、且成為了用于避免危險(xiǎn)的失效保護(hù)駕駛狀態(tài)這一情況呈現(xiàn)給乘員。
通過(guò)上述的處理,在本實(shí)施方式中,在檢測(cè)到多個(gè)物體檢測(cè)器113、123、133中的一個(gè)物體檢測(cè)器的異常狀態(tài)的情況下,停止被檢測(cè)到異常狀態(tài)的異常物體檢測(cè)器的物體檢測(cè)處理,變更未被檢測(cè)到異常狀態(tài)的正常物體檢測(cè)器的物體檢測(cè)處理,因此不用新設(shè)置失效保護(hù)用的物體檢測(cè)器,能夠使正常物體檢測(cè)器來(lái)代辦異常物體檢測(cè)器的物體檢測(cè)處理。其結(jié)果是,即使多個(gè)物體檢測(cè)器113、123、133中的一個(gè)物體檢測(cè)器成為異常狀態(tài),也能夠一邊將追加的構(gòu)成要素限制到最小限度,一邊進(jìn)行失效保護(hù)的物體檢測(cè)。
此外,在檢測(cè)到多個(gè)物體檢測(cè)器113、123、133中的一個(gè)物體檢測(cè)器的異常狀態(tài)的情況下,未被檢測(cè)到異常狀態(tài)的正常物體檢測(cè)器的物體檢測(cè)處理的變更內(nèi)容,并不特別限定于圖9所示的例子,能夠進(jìn)行各種變更。例如,根據(jù)車輛1的狀態(tài)和/或外部環(huán)境,也可以基于圖12所示那樣的檢測(cè)處理分配表來(lái)變更正常物體檢測(cè)器的物體檢測(cè)處理。
圖12是表示在圖2所示的物體檢測(cè)器113發(fā)生了異常的情況下檢測(cè)器切換部105使用的檢測(cè)處理分配表的另一例的圖。在圖12所示的檢測(cè)處理分配表t1b中,物體檢測(cè)器113、133的處理內(nèi)容以及優(yōu)先級(jí)和物體檢測(cè)器123的優(yōu)先級(jí)與圖9所示的檢測(cè)處理分配表t1a同樣,但物體檢測(cè)器123的處理內(nèi)容t3b被變更為“遠(yuǎn)距離和中距離、檢測(cè)頻度50%”。
在本實(shí)施方式中,作為通常狀態(tài)下的檢測(cè)頻度,近距離的物體檢測(cè)處理為60fps,中距離的物體檢測(cè)處理為30fps,遠(yuǎn)距離的物體檢測(cè)處理為15fps,而在圖12所示的例子中,在物體檢測(cè)器113發(fā)生了異常時(shí),基于檢測(cè)處理分配表t1b的處理內(nèi)容t3b,物體檢測(cè)器123將運(yùn)算資源的一半分配給中距離的物體檢測(cè)處理并將另一半分配給遠(yuǎn)距離的物體檢測(cè)處理來(lái)檢測(cè)一般物體。也就是說(shuō),在該情況下,檢測(cè)頻度被變更為:近距離的物體檢測(cè)處理為60fps,中距離的物體檢測(cè)處理為15fps,遠(yuǎn)距離的物體檢測(cè)處理為7fps。
因此,在檢測(cè)到物體檢測(cè)器113的異常狀態(tài)的情況下,使物體檢測(cè)器133執(zhí)行優(yōu)先級(jí)最高的近距離的物體檢測(cè)處理以及檢測(cè)結(jié)果整合處理,并且使物體檢測(cè)器123除了執(zhí)行已在執(zhí)行的中距離的物體檢測(cè)處理之外還執(zhí)行遠(yuǎn)距離的物體檢測(cè)處理,因此能夠繼續(xù)執(zhí)行所有的物體檢測(cè)處理。
(實(shí)施方式2)
圖13是表示本公開(kāi)的實(shí)施方式2的物體檢測(cè)裝置的構(gòu)成的一例的框圖。在本實(shí)施方式中,使用圖13對(duì)使用了自動(dòng)駕駛車中的神經(jīng)網(wǎng)絡(luò)(以下,稱為“nn”)的物體檢測(cè)裝置101a進(jìn)行說(shuō)明。此外,圖13所示的物體檢測(cè)裝置101a,除了使用以下說(shuō)明的神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行物體檢測(cè)處理這一點(diǎn)以外,基本上與圖2所示的物體檢測(cè)裝置101同樣,因此對(duì)相同部分標(biāo)注相同標(biāo)號(hào),省略再次的說(shuō)明。
如圖13所示,物體檢測(cè)裝置101a具備信息取得部102、物體檢測(cè)部103a、檢測(cè)器異常檢測(cè)部104、檢測(cè)器切換部105、駕駛控制信號(hào)發(fā)送部106、nn(神經(jīng)網(wǎng)絡(luò))保管部201。物體檢測(cè)部103a具備3個(gè)物體檢測(cè)器113a、123a、133a以及nn(神經(jīng)網(wǎng)絡(luò))存儲(chǔ)部202。nn存儲(chǔ)部202具有3個(gè)nn(神經(jīng)網(wǎng)絡(luò))保存部213、223、233來(lái)作為單獨(dú)的存儲(chǔ)區(qū)域。
作為使用了nn的一般物體檢測(cè),近年來(lái),通過(guò)使用按照被稱為“deeplearning”(深度學(xué)習(xí))的方法實(shí)施了學(xué)習(xí)后的nn,能夠獲得較高的檢測(cè)性能,擔(dān)任起了使用手動(dòng)設(shè)計(jì)的特征量的以往的物體檢測(cè)器的替代品。在本實(shí)施方式中,如以下這樣,利用使用深度學(xué)習(xí)實(shí)施了學(xué)習(xí)后的神經(jīng)網(wǎng)絡(luò)來(lái)執(zhí)行物體檢測(cè)處理。
nn保管部201存儲(chǔ)有nn(神經(jīng)網(wǎng)絡(luò))生成數(shù)據(jù)來(lái)作為用于生成檢測(cè)物體用的神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)群。nn生成數(shù)據(jù)是指對(duì)與為了生成按照深度學(xué)習(xí)方法分目的地進(jìn)行了學(xué)習(xí)后的nn所需要的節(jié)點(diǎn)有關(guān)的參數(shù)、和/或節(jié)點(diǎn)間的網(wǎng)絡(luò)結(jié)構(gòu)等進(jìn)行了規(guī)定的數(shù)據(jù)。此外,nn生成數(shù)據(jù)的取得方法并不特別限定于該例,例如,也可以省略nn保管部201而經(jīng)由預(yù)定的網(wǎng)絡(luò)從預(yù)定的服務(wù)器等取得。
物體檢測(cè)部103a從nn保管部201讀出nn生成數(shù)據(jù),使用nn生成數(shù)據(jù)來(lái)生成物體檢測(cè)器113a、123a、133a各自要使用的神經(jīng)網(wǎng)絡(luò),將生成的各神經(jīng)網(wǎng)絡(luò)分別保存于nn存儲(chǔ)部202的保存部213、223、233。此外,nn存儲(chǔ)部202的構(gòu)成并不特別限定于上述的例子,例如,也可以是在單獨(dú)的存儲(chǔ)部存儲(chǔ)各神經(jīng)網(wǎng)絡(luò)。另外,存儲(chǔ)所生成的各神經(jīng)網(wǎng)絡(luò)的存儲(chǔ)器區(qū)域(保存部213、223、233)也可以為了提高抗故障性而進(jìn)行復(fù)用化,并復(fù)制到物體檢測(cè)器113a、123a、133a能夠參照的場(chǎng)所。
另外,物體檢測(cè)部103a對(duì)物體檢測(cè)器113a、123a、133a的工作進(jìn)行管理,將從信息取得部102輸出的圖像信息以及距離信息提供給物體檢測(cè)器113a、123a、133a,另外,按照基于來(lái)自檢測(cè)器切換部105的檢測(cè)處理分配表的物體檢測(cè)器113a、123a、133a的處理內(nèi)容,將nn保存部213、223、233的神經(jīng)網(wǎng)絡(luò)分配給物體檢測(cè)器113a、123a、133a。
物體檢測(cè)器113a、123a、133a分別使用來(lái)自信息取得部102的圖像信息以及距離信息,執(zhí)行使用了被分配來(lái)的神經(jīng)網(wǎng)絡(luò)的物體檢測(cè)處理。物體檢測(cè)器113a、123a、133a分別是相同性能的物體檢測(cè)器,優(yōu)選是相同結(jié)構(gòu)的物體檢測(cè)器。
另外,物體檢測(cè)器123a、133a將通過(guò)使用了被分配來(lái)的神經(jīng)網(wǎng)絡(luò)的物體檢測(cè)處理而檢測(cè)出的物體的檢測(cè)結(jié)果輸出給物體檢測(cè)器113a,物體檢測(cè)器113a對(duì)自身的檢測(cè)結(jié)果和物體檢測(cè)器123a、133a的檢測(cè)結(jié)果進(jìn)行整合,將整合檢測(cè)結(jié)果輸出給駕駛控制信號(hào)發(fā)送部106。
檢測(cè)器異常檢測(cè)部104檢測(cè)物體檢測(cè)器113a、123a、133a各自的異常狀態(tài),將對(duì)被檢測(cè)到異常狀態(tài)的物體檢測(cè)器進(jìn)行報(bào)告的檢測(cè)器異常信息通知給檢測(cè)器切換部105以及駕駛控制信號(hào)發(fā)送部106。
檢測(cè)器切換部105通過(guò)控制物體檢測(cè)部103a并切換物體檢測(cè)器113a、123a、133a的處理內(nèi)容,在由檢測(cè)器異常檢測(cè)部104檢測(cè)到物體檢測(cè)器113a、123a、133a中的一個(gè)物體檢測(cè)器的異常狀態(tài)的情況下,停止被檢測(cè)到異常狀態(tài)的異常物體檢測(cè)器的物體檢測(cè)處理,變更未被檢測(cè)到異常狀態(tài)的正常物體檢測(cè)器的物體檢測(cè)處理。物體檢測(cè)部103a在異常物體檢測(cè)器停止了物體檢測(cè)處理時(shí),執(zhí)行使異常物體檢測(cè)器恢復(fù)為正常狀態(tài)的復(fù)原處理。
另外,檢測(cè)器切換部105在由檢測(cè)器異常檢測(cè)部104檢測(cè)到物體檢測(cè)器113a、123a、133a中的一個(gè)物體檢測(cè)器的異常狀態(tài)的情況下,通過(guò)使正常物體檢測(cè)器要參照的nn存儲(chǔ)部202的nn保存部213、223、233變更,對(duì)正常物體檢測(cè)器要使用的神經(jīng)網(wǎng)絡(luò)進(jìn)行變更。
接著,對(duì)圖13所示的物體檢測(cè)裝置101a的工作進(jìn)行說(shuō)明。圖14是表示圖13所示的物體檢測(cè)裝置101a的啟動(dòng)時(shí)物體檢測(cè)處理的一例的流程圖。圖14所示的物體檢測(cè)處理是物體檢測(cè)裝置101a被搭載于車輛1(自動(dòng)駕駛車)(參照?qǐng)D1)并在自動(dòng)駕駛功能開(kāi)始時(shí)執(zhí)行的處理。
首先,檢測(cè)器切換部105基于內(nèi)部的存儲(chǔ)器所存儲(chǔ)的檢測(cè)處理分配表(例如,圖4所示的檢測(cè)處理分配表),將物體檢測(cè)器113a、123a、133a要實(shí)施的物體檢測(cè)處理的處理內(nèi)容通知給對(duì)物體檢測(cè)器113a、123a、133a進(jìn)行管理的物體檢測(cè)部103a(步驟s31)。
接著,物體檢測(cè)部103a基于從檢測(cè)器切換部105通知來(lái)的信息,從nn保管部201讀出nn生成數(shù)據(jù),生成各物體檢測(cè)器113a、123a、133a用的神經(jīng)網(wǎng)絡(luò)并分別保存于nn保存部213、223、233,將nn保存部213、223、233的神經(jīng)網(wǎng)絡(luò)分配給物體檢測(cè)器113a、123a、133a(步驟s32)。
圖15是表示圖13所示的物體檢測(cè)裝置101a的物體檢測(cè)器113a、123a、133a要參照的nn保存部213、223、233的一例的圖。在圖15所示的例子中,在nn存儲(chǔ)部202的nn保存部213中存儲(chǔ)有近距離的物體檢測(cè)處理用的神經(jīng)網(wǎng)絡(luò),在nn保存部223中存儲(chǔ)有中距離的物體檢測(cè)處理用的神經(jīng)網(wǎng)絡(luò),在nn保存部233中存儲(chǔ)有遠(yuǎn)距離的物體檢測(cè)處理用的神經(jīng)網(wǎng)絡(luò)。
此時(shí),物體檢測(cè)部103a對(duì)物體檢測(cè)器113a分配nn保存部213,對(duì)物體檢測(cè)器123a分配nn保存部223,對(duì)物體檢測(cè)器133a分配nn保存部233。因此,物體檢測(cè)器113a參照nn保存部213來(lái)使用近距離的物體檢測(cè)處理用的神經(jīng)網(wǎng)絡(luò),物體檢測(cè)器123a參照nn保存部223來(lái)使用中距離的物體檢測(cè)處理用的神經(jīng)網(wǎng)絡(luò),物體檢測(cè)器133a參照nn保存部233來(lái)使用遠(yuǎn)距離的物體檢測(cè)處理用的神經(jīng)網(wǎng)絡(luò)。
接著,物體檢測(cè)部103a將來(lái)自信息取得部102的圖像信息等輸入物體檢測(cè)器113a、123a、133a,按照來(lái)自檢測(cè)器切換部105的通知即檢測(cè)處理分配表,使物體檢測(cè)器113a、123a、133a分別以被通知來(lái)的處理內(nèi)容以及優(yōu)先級(jí)執(zhí)行使用了nn保存部213、223、233的神經(jīng)網(wǎng)絡(luò)的物體檢測(cè)處理,使物體檢測(cè)器113a、123a、133a的工作開(kāi)始(步驟s33)。
接著,當(dāng)物體檢測(cè)部103a開(kāi)始工作時(shí),檢測(cè)器異常檢測(cè)部104開(kāi)始各物體檢測(cè)器113a、123a、133a的監(jiān)視(步驟s34)。
接著,駕駛控制信號(hào)發(fā)送部106基于來(lái)自物體檢測(cè)部103a的檢測(cè)結(jié)果,向行駛控制裝置13輸出駕駛控制信號(hào),行駛控制裝置13基于駕駛控制信號(hào),開(kāi)始車輛1的自動(dòng)駕駛(步驟s35)。
以上成為本實(shí)施方式的物體檢測(cè)裝置101a的自動(dòng)駕駛車啟動(dòng)時(shí)(自動(dòng)駕駛功能啟動(dòng)時(shí))的處理內(nèi)容。
接著,作為物體檢測(cè)裝置101a的失效保護(hù)工作的一例,說(shuō)明在自動(dòng)駕駛開(kāi)始后物體檢測(cè)器113a、123a、133a之一發(fā)生了異常的情況。圖16是表示在圖13所示的物體檢測(cè)裝置101a的物體檢測(cè)器113a、123a、133a之一發(fā)生了異常的情況下的異常時(shí)物體檢測(cè)處理的一例的流程圖。
首先,檢測(cè)器異常檢測(cè)部104在檢測(cè)到物體檢測(cè)器113a、123a、133a之一的工作異常的情況下,向檢測(cè)器切換部105以及駕駛控制信號(hào)發(fā)送部106通知表示哪個(gè)物體檢測(cè)器為異常狀態(tài)的檢測(cè)器異常信息(步驟s41)。例如,在物體檢測(cè)器113a發(fā)生了異常的情況下,檢測(cè)器異常檢測(cè)部104向檢測(cè)器切換部105以及駕駛控制信號(hào)發(fā)送部106通知表示物體檢測(cè)器113a為異常狀態(tài)的檢測(cè)器異常信息。
接著,接收到檢測(cè)器異常信息的檢測(cè)器切換部105將要使用的檢測(cè)處理分配表從圖4所示的檢測(cè)處理分配表t1變更為物體檢測(cè)器113a、123a、133a之一發(fā)生異常時(shí)的檢測(cè)處理分配表(例如,圖9所示的檢測(cè)處理分配表t1a),向物體檢測(cè)部103a通知對(duì)物體檢測(cè)器113a、123a、133a的處理內(nèi)容進(jìn)行切換以使得進(jìn)行符合該檢測(cè)處理分配表的失效保護(hù)工作(步驟s42)。
接著,物體檢測(cè)部103a基于物體檢測(cè)器113a、123a、133a之一發(fā)生異常時(shí)的檢測(cè)處理分配表,變更nn保存部213、223、233的神經(jīng)網(wǎng)絡(luò)向物體檢測(cè)器113a、123a、133a的分配,對(duì)物體檢測(cè)器113a、123a、133a要參照的nn保存部213、223、233進(jìn)行切換,由此變更物體檢測(cè)器113a、123a、133a的處理,將變更后的整合檢測(cè)結(jié)果輸出給駕駛控制信號(hào)發(fā)送部106(步驟s43)。例如,在物體檢測(cè)器113a發(fā)生了異常的情況下,物體檢測(cè)部103a基于處理內(nèi)容t3a,進(jìn)行用于使物體檢測(cè)器113a恢復(fù)為正常狀態(tài)的“復(fù)原處理”,基于處理內(nèi)容t3a以及優(yōu)先級(jí)t4a,將物體檢測(cè)器133a的物體檢測(cè)處理變更為“近距離、檢測(cè)結(jié)果整合”以及“優(yōu)先級(jí)1”。
圖17是表示在圖13所示的物體檢測(cè)裝置101a的物體檢測(cè)器113a、123a、133a之一發(fā)生了異常的情況下物體檢測(cè)器113a、123a、133a要參照的nn保存部213、223、233的一例的圖。圖17所示的例子是物體檢測(cè)器113a發(fā)生了異常時(shí)的例子,物體檢測(cè)部103a使物體檢測(cè)器113a停止,對(duì)物體檢測(cè)器123a分配nn保存部223,對(duì)物體檢測(cè)器133a分配nn保存部213。
因此,物體檢測(cè)器133a參照nn保存部213來(lái)使用近距離的物體檢測(cè)處理用的神經(jīng)網(wǎng)絡(luò),物體檢測(cè)器123a參照nn保存部223來(lái)使用中距離的物體檢測(cè)處理用的神經(jīng)網(wǎng)絡(luò)。
并且,駕駛控制信號(hào)發(fā)送部106基于檢測(cè)器異常信息和/或物體檢測(cè)部103a的整合檢測(cè)結(jié)果,向車輛1的行駛控制裝置13發(fā)送駕駛控制信號(hào),該駕駛控制信號(hào)是用于進(jìn)行使車輛1的行駛速度下降和/或使車輛1在安全場(chǎng)所停止等的失效保護(hù)駕駛的信號(hào)(步驟s44)。
通過(guò)上述的處理,在本實(shí)施方式中,除了實(shí)施方式1的效果之外,在檢測(cè)到多個(gè)物體檢測(cè)器113a、123a、133a中的一個(gè)物體檢測(cè)器的異常狀態(tài)的情況下,通過(guò)變更正常物體檢測(cè)器要參照的nn保存部213、223、233,對(duì)未被檢測(cè)到異常狀態(tài)的正常物體檢測(cè)器要使用的神經(jīng)網(wǎng)絡(luò)進(jìn)行變更,因此,在檢測(cè)到多個(gè)物體檢測(cè)器113a、123a、133a中的一個(gè)物體檢測(cè)器的異常狀態(tài)的情況下,能夠節(jié)省新生成神經(jīng)網(wǎng)絡(luò)要花費(fèi)的時(shí)間,并防止物體檢測(cè)處理的空白期間。其結(jié)果是,即使在檢測(cè)到多個(gè)物體檢測(cè)器113a、123a、133a中的一個(gè)物體檢測(cè)器的異常狀態(tài)的情況下,也能夠瞬間變更正常物體檢測(cè)器要使用的神經(jīng)網(wǎng)絡(luò),能夠切實(shí)地繼續(xù)執(zhí)行使用了神經(jīng)網(wǎng)絡(luò)的物體檢測(cè)處理,能夠防止自動(dòng)駕駛的空白。
此外,在上述的說(shuō)明中,對(duì)將本公開(kāi)的物體檢測(cè)裝置適用于自動(dòng)駕駛車的例子進(jìn)行了說(shuō)明,但并不特別限定于該例,也可以適用于機(jī)器人、無(wú)人機(jī)(無(wú)人飛行器)等不同的產(chǎn)品領(lǐng)域。
另外,各實(shí)施方式中說(shuō)明的各構(gòu)成要素也可以作為軟件來(lái)實(shí)現(xiàn)。該情況下,軟件被記錄在一個(gè)或多個(gè)rom(readonlymemory,只讀存儲(chǔ)器)、光盤、硬盤驅(qū)動(dòng)器等非瞬時(shí)性記錄介質(zhì)中,在軟件被處理裝置(processor,處理器)執(zhí)行時(shí),由該軟件確定的功能被處理裝置以及外圍裝置執(zhí)行。
另外,各實(shí)施方式中說(shuō)明的各構(gòu)成要素,典型而言也可以實(shí)現(xiàn)為作為集成電路的lsi(largescaleintegration,大規(guī)模集成電路)來(lái)實(shí)現(xiàn)。各構(gòu)成要素可以單獨(dú)地單芯片化,也可以以包含一部分或全部的方式單芯片化。雖然此處稱為lsi,但根據(jù)集成度不同,有時(shí)也被稱為ic(半導(dǎo)體集成電路)、系統(tǒng)lsi(systemlsi)、超大lsi(superlsi)、特大lsi(ultralsi)。另外,集成電路化的方法不限于lsi,也可以通過(guò)專用電路或者通用處理器來(lái)實(shí)現(xiàn)。也可以利用在lsi制造后能夠編程的fpga(fieldprogrammablegatearray;現(xiàn)場(chǎng)可編程門陣列)和能夠?qū)si內(nèi)部的電路單元的連接以及設(shè)定進(jìn)行重構(gòu)的可重構(gòu)處理器(reconfigurableprocessor)。進(jìn)而,隨著半導(dǎo)體技術(shù)的發(fā)展或者派生的其他技術(shù)的出現(xiàn),如果出現(xiàn)能夠替代lsi的集成電路化的技術(shù),當(dāng)然也可以利用該技術(shù)進(jìn)行構(gòu)成要素的集成化。