本發明涉及一種即使在行人保護機構工作時也能夠繼續不停地進行基于照相機圖像的駕駛支援控制的圖像處理裝置。

背景技術：

當行人與以規定速度以上的速度行駛的車輛的前保險杠碰撞時，腿會被該前保險杠撞倒，上身倒在前車蓋(發動機罩)上，頭部與前風擋玻璃(以下稱“前擋玻璃”)、前支柱(a柱)等發生二次碰撞。

作為避免這種二次碰撞的措施，已知有在檢測到行人的碰撞時，使設置在發動機室的安全氣囊向前擋玻璃和前支柱(a柱)膨脹展開，覆蓋這些剛性部，以此來避免行人的頭部與剛性部直接碰撞的行人保護用安全氣囊。另外，也已知有在行人與行駛中的車輛碰撞時，讓前車蓋彈起，使該前車蓋作為緩沖部件發揮功能，以此來避免二次碰撞的技術。

但是，當車輛搭載有識別前方的車載照相機時，若行人保護用安全氣囊或前車蓋彈起等行人保護機構工作，則該行人保護機構的工作會導致行人保護用安全氣囊或前車蓋的一部分進入視角內。當該安全氣囊或前車蓋的一部分被誤識別為處于極近距離的障礙物時，自動緊急制動(aeb)等駕駛支援控制可能會誤運行。因此，當行人保護機構工作時，會讓基于車載照相機拍攝的圖像的駕駛支援控制自動停止。

但是，當駕駛支援控制停止時，會出現無法防止駕駛員為避免與行人碰撞而進行錯誤的駕駛操作(方向盤操作、加速操作等)所導致的車輛的二次碰撞(撞向電線桿、駛上路崖等)的不良情況。因此，例如專利文獻1(日本特開2004-284440號公報)公開了一種即使安全氣囊或前車蓋擋在前擋玻璃的前方遮住視野，也能夠利用設置在后視鏡前方的照相機拍攝的圖像確保視野，以此來恰當地應對的技術。

現有技術文獻

專利文獻

專利文獻1：(日本)特開2004-284440號公報

但是，上述文獻公開的技術中，即使安全氣囊或前車蓋擋在前擋玻璃的前方，也必須調整照相機與安全氣囊、前車蓋的位置關系，以免其進入照相機的視角。

其結果，當通過限制照相機的視野角(視角)來調整時，會給常規時的駕駛支援控制帶來障礙；另外，當通過限制安全氣囊的膨脹展開和前車蓋的彈起來調整時，會產生碰撞時的行人的二次碰撞的避免受到制約的不良情況。

技術實現要素：

鑒于上述情況，本發明的目的在于提供一種圖像處理裝置，其不會限制行人保護機構的動作，能夠讓基于車載照相機拍攝的圖像的駕駛支援控制繼續進行，不僅可以有效保護碰撞時的行人，還可以防患于未然地防止車輛的二次碰撞。

本發明的圖像處理裝置具有：車載照相機，其拍攝本車輛前方的行駛環境；圖像識別處理單元，其根據所述車載照相機拍攝的圖像生成圖像識別區域內的距離圖像；以及對象物識別處理單元，其根據所述車載照相機拍攝的圖像和所述圖像識別單元生成的距離圖像，識別所述圖像識別區域內的對象物和距該對象物的距離，其中，所述圖像處理裝置具有圖像模式切換單元，所述圖像模式切換單元對所述對象物識別處理單元識別的圖像識別區域進行切換，所述圖像模式切換單元檢測行人的碰撞并檢查是否向行人保護機構輸出了工作指示信號，當檢測到該工作指示信號的輸出時，從將常規的有效圖像區域整體設定為所述圖像識別區域的常規模式切換到將所述行人保護機構未映入的圖像區域設定為所述圖像識別區域的區域限制模式。

發明效果

根據本發明，圖像模式切換單元檢測行人的碰撞并在檢測到向行人保護機構輸出了工作指示信號時，將行人保護機構未映入的圖像區域設定為圖像識別區域，因此在對象物識別處理中，可以在該圖像識別區域內識別對象物和距該對象物的距離。其結果，不會限制行人保護機構的動作，能夠繼續進行基于車載照相機拍攝的圖像的駕駛支援控制，不僅可以有效保護碰撞時的行人，還可以防患于未然地防止車輛的二次碰撞。

附圖說明

圖1是行人保護用安全氣囊膨脹展開的狀態的車體前部的立體圖；

圖2是行人處理裝置和圖像處理裝置的主要部分構成圖；

圖3是表示圖像模式切換處理程序(ルーチン)的流程圖；

圖4是表示區域限制模式程序的流程圖；

圖5是表示其他方式的區域限制模式的流程圖；

圖6是車載照相機拍攝的攝影圖像的說明圖；

圖7(a)是表示有效圖像區域的實際圖像的說明圖，圖7(b)是表示有效圖像區域的距離圖像的說明圖，圖7(c)是表示圖7(b)所示的距離圖像的每一行的有效距離像素數的說明圖。

符號說明

1…車輛

2…車體前部

3…前保險杠

4…前車蓋

5…車載照相機

5a…主相機

5b…副相機

6…前擋玻璃

7…安全氣囊模塊

7a…安全氣囊

7b…氣體發生器

7c…空出部(逃げ部)

7d…上邊部

9…車蓋促動器

10…a/d轉換器

11…行人保護用安全氣囊單元

12…行人碰撞判定部

13…安全氣囊工作指示部

14…車速傳感器

15…碰撞檢測傳感器

21…圖像識別單元

22…圖像識別處理部

23…照相機控制部

24…圖像模式切換部

25…對象物識別處理部

a1…不可用區域

a2…可用區域

ie…有效圖像區域

im…實際圖像區域

具體實施方式

下面基于附圖，對本發明的一個實施方式進行說明。圖1所示的車輛1的車體前部2設置有發動機室(未圖示)，該發動機室的前部配設有前保險杠3，另外，上部用前車蓋4自由開關地覆蓋。

另一方面，車輛1的前擋玻璃6的上部內側配置有車載照相機5。該車載照相機5拍攝本車輛1前方的行駛環境，是具有主相機5a和副相機5b的彩色照相機，各照相機5a、5b配設在夾著車寬方向中央的左右等間隔的位置。主相機5a拍攝在進行立體處理時所需的基準圖像(右圖像)，副相機5b拍攝該處理中的比較圖像(左圖像)。

另外，在前車蓋4內面配設有安全氣囊模塊7作為行人保護機構。該安全氣囊模塊7具有行人保護用安全氣囊(以下簡稱“安全氣囊”)7a、使該氣囊7a展開的氣體發生器7b(參考圖2)。該前車蓋4為前開式，以設置在前車蓋4的后部車寬方向兩側的車蓋鉸鏈(未圖示)為支點進行開關。另一方面，在安全氣囊7a膨脹展開時，設置在車蓋鉸鏈上的車蓋促動器9讓前車蓋4的后部彈起，如圖1所示，使安全氣囊7a從其空隙膨脹展開。

該安全氣囊7a的膨脹展開使得前擋玻璃6的下部、左右的前支柱(a柱)8、以及未圖示的前阻風板和前雨刷等剛性部被覆蓋。進一步地，膨脹展開時的安全氣囊7a在中央部形成u形的空出部7c，該空出部7c的下部成為安全氣囊7a的上邊部7d。駕駛員和車載照相機5通過該空出部7c確保視野。

如圖2所示，設置在安全氣囊模塊7上的氣體發生器7b以及車蓋促動器9根據構成行人保護裝置的行人保護用安全氣囊單元11發來的指令信號而工作。另外，車載照相機5在兩照相機5a、5b彼此同步的狀態下，將輸出的r、g、b的各模擬圖像通過a/d轉換器10轉換為規定色階的數字圖像并輸出到圖像識別單元21。該行人保護用安全氣囊單元11和構成圖像處理裝置的圖像識別單元21構成為以微型計算機為主體，具有公知的cpu、rom、ram等，rom中存儲有cpu執行的各種程序和固定數據等。

作為cpu處理的安全氣囊工作功能，行人保護用安全氣囊單元11具有作為行人碰撞判定單元的行人碰撞判定部12、作為工作指示單元的安全氣囊工作指示部13。行人碰撞判定部12根據車速傳感器14檢測到的車速和作為碰撞檢測單元的碰撞檢測傳感器15檢測到的壓力變化，判定行人的碰撞。碰撞檢測傳感器15例如為壓力傳感器，在沿車寬方向左右延伸的前保險杠3內，與沿著該前保險杠3配設的長條狀的壓力管、壓力腔連通，并檢測壓力管、壓力腔因碰撞而被壓壞時的碰撞壓力的變化。

而且，在車速為行人碰撞判定車速以上、且碰撞檢測傳感器15檢測到的碰撞壓力為預先設定的檢測行人碰撞的壓力范圍(前保險杠3形成輕微凹陷程度的輕碰撞)時，行人碰撞判定部12判定為行人碰撞。在行人碰撞判定部12判定為行人碰撞時，安全氣囊工作指示部13向車蓋促動器9輸出驅動信號，同時對安全氣囊模塊7輸出氣體發生器7b的工作指示信號。

如此一來，車蓋促動器9使前車蓋4的后部彈起并打開，并且，安全氣囊模塊7啟動氣體發生器7b并向安全氣囊7a注入氣體。其結果，安全氣囊7a從通過車蓋促動器9打開的前車蓋4的后部向前擋玻璃6的方向左右擴張并膨脹展開，如圖1所示，覆蓋左右的前支柱(a柱)8以及未圖示的前阻風板和前雨刷等剛性部，防止頭部與這些剛性部直接碰撞。

另一方面，作為cpu處理的圖像識別處理功能，圖像識別單元21具有作為圖像識別處理單元的圖像識別處理部22、照相機控制部23、作為圖像模式切換單元的圖像模式切換部24、作為對象物識別處理單元的對象物識別處理部25。圖像識別處理部22根據車載照相機5拍攝的圖像數據，識別本車輛前方的對象物。該對象物為前行車、道路標識、信號燈、對向來車、行人等立體物、以及行駛路上描畫的白線、文字等，在識別這些各對象物的同時，根據主相機5a和副相機5b的視差求出各對象物與本車輛1的距離并生成距離圖像。

即，如圖6所示，圖像識別處理部22獲取車載照相機5拍攝的實際圖像區域im的一部分作為有效圖像區域ie。而且，如圖7(a)所示，根據各照相機5a、5b獲取的有效圖像區域ie的圖像，生成由圖7(b)所示的由具有距離信息的距離像素的分布圖像構成的距離圖像。需要說明的是，在有效圖像區域ie的垂直方向上，下側為拍攝近處的圖像、上側為拍攝遠方的圖像。

照相機控制部23讀取圖像識別處理部22處理的圖像數據的平均亮度值，設定在下一幀的拍攝中作為最優亮度的曝光時間(快門速度)，根據該曝光時間進行各照相機5a、5b的曝光控制。

圖像模式切換部24根據是否從安全氣囊工作指示部13輸出了工作指示信號，切換到將圖像識別區域設定為整個有效圖像區域ie的常規模式、和限制有效圖像區域ie的區域限制模式。在該區域限制模式中，如圖7(a)所示，當有效圖像區域ie中映入了安全氣囊7a的圖像時，檢測與前方圖像的邊界，將與該邊界相比拍攝近處的垂直方向的圖像區域作為不可用區域a1屏蔽。其結果，與邊界相比拍攝遠方的垂直方向的圖像區域成為可用區域a2，將該可用區域a2設定為圖像識別區域。

對象物識別處理部25對圖像模式切換部24設定的圖像識別區域的距離圖像(參考圖7(b))進行公知的分組處理，通過與預先存儲的三維框(窗口)進行比較，識別本車輛1前方的前行車、行人、行駛車道等對象物、以及距該對象物的距離，將這些作為對象物信息暫時存儲在ram等存儲單元中。需要說明的是，對象物與本車輛1之間的距離的求出方法是公知事項，故省略其說明。

之后，根據對象物識別處理部25識別的、暫時存儲在存儲單元中的對象物信息，執行自動轉向控制、自動跟隨控制、自動制動控制等各種駕駛支援控制，支援駕駛員的駕駛操作。

接著，根據圖3所示的圖像模式切換處理程序，對上述圖像模式切換部24執行的圖像模式切換處理進行更加詳細的說明。

即，該程序中，首先，在步驟s1中，檢查是否從行人保護用安全氣囊單元11的安全氣囊工作指示部13接收到向安全氣囊模塊7輸出的工作指示信號，未接收到工作指示信號時，進入步驟s2，執行常規模式處理，離開程序。另一方面，接收到工作指示信號時，進入步驟s3，執行區域限制模式處理，離開程序。需要說明的是，在步驟s2執行的常規模式處理中，將圖6所示的有效圖像區域ie整體設定為圖像識別區域。

上述步驟s3的區域限制模式處理按照圖4所示的區域限制模式子程序執行。該子程序中，首先，在步驟s11中，檢測不可用區域a1與可用區域a2的邊界，設定可用區域a2(參考圖7)。作為檢測不可用區域a1與可用區域a2的邊界的方式，有：

(1)通過安全氣囊7a的顏色檢測；

(2)通過距離圖像的有效距離像素數檢測等。

(1)通過安全氣囊7a的顏色檢測

該方式中，預先在rom等存儲單元中存儲安全氣囊7a的顏色(例如，根據256色階的亮度值(r、g、b)的組合進行設定)，如圖7(a)所示，從主相機5a拍攝的有效圖像區域ie的實際圖像中檢測安全氣囊7a所對應的亮度值的區域。之后，查找檢測到的亮度值的上邊部7d，將其作為安全氣囊7a與本車輛1前方的行駛環境的邊界，將與該邊界相比拍攝近處的垂直方向的圖像區域作為不可用區域a1屏蔽。其結果，與該邊界相比拍攝遠方的垂直方向的圖像區域成為可用區域a2。

然后，進入步驟s12，將該可用區域a2設定為圖像識別區域，離開程序。

需要說明的是，當為行人保護機構使前車蓋4的后部彈起保護行人的彈起車蓋方式時，預先存儲前車蓋4的后端邊緣的顏色，從實際圖像中檢測亮度值所對應的區域，將其上邊設定為邊界。

通過該方式，可用區域a2與基于安全氣囊7a的映入的不可用區域a1的邊界根據實際圖像和距離圖像而求出，因此可以確保最大限度的可用區域a2。

(2)通過距離圖像的有效距離像素數檢測

當有效圖像區域ie中映出安全氣囊7a時，會誤將安全氣囊7a的接縫和褶皺檢測為有效距離像素，因此有效距離像素數(實際上能夠為計算距離提供的像素數)極度變少。因此，求出每行(水平方向)的有效距離像素數，在圖7(b)的垂直方向上從j1行至j16行比較相鄰行的有效距離像素數，將極度增加的行(圖7(c)中為j7)識別為安全氣囊7a與本車輛1前方的行駛環境的邊界，將與該邊界相比拍攝近處的垂直方向的圖像區域作為不可用區域a1屏蔽。其結果，與邊界相比拍攝遠方的垂直方向的圖像區域成為可用區域a2。

或者，在從圖7(b)的j1行至j16行的垂直方向上比較每一行的水平方向的有效距離像素數和預先設定的不可用區域判定像素數，將從有效距離像素數≥不可用判定值切換為有效距離像素數＜不可用判定值的位置識別為邊界(圖7(c)中為j6、j7之間)，將與該邊界相比拍攝近處的垂直方向的圖像區域作為不可用區域a1屏蔽，將拍攝遠方的垂直方向的圖像區域作為可用區域a2。

需要說明的是，當行人保護機構為彈起車蓋方式時，雖然前車蓋4的內面的凹凸會被誤檢測為有效距離像素，但該有效距離像素數極少，因此，與上述相同，根據該有效距離像素數識別邊界。

另外，圖5表示區域限制模式子程序的另一種方式。上述子程序中，從實際圖像或距離圖像中識別安全氣囊7a與前方的行駛環境的邊界，而在本實施方式中，預先設定應屏蔽的不可用區域a1、以及可用區域a2，據此唯一地設定圖像識別區域。

該子程序中，首先，在步驟s21中，讀取預先存儲的不可用區域a1與可用區域a2。這兩個區域a1、a2通過實驗和模擬求出，作為固定數據存儲在rom等存儲單元中。即，首先，通過實驗和模擬，從安全氣囊7a膨脹展開時的有效圖像區域ie的映入中檢測安全氣囊7a的上邊部7d的邊界。然后，將與該邊界相比拍攝近處的垂直方向的圖像區域設定為不可用區域a1，將與該邊界相比拍攝遠方的垂直方向的圖像區域設定為可用區域a2。

之后，進入步驟s22，將有效圖像區域ie的不可用區域a1所對應的圖像區域屏蔽，另一方面，將可用區域a2所對應的圖像區域設定為圖像識別區域，離開程序。

通過該方式，可用區域a2被瞬間設定，因此可以迅速應對安全氣囊7a的膨脹展開。

如此，根據本實施方式，即使行人保護用安全氣囊7a膨脹展開，映入車載照相機5的視角，由于將安全氣囊7a映入的圖像區域作為不可用區域a1而屏蔽，將垂直方向的圖像區域設定為可用區域a2，將該可用區域a2設定為圖像識別區域，因此，能夠不限制行人保護機構的動作，而繼續進行基于照相機拍攝的圖像的駕駛支援控制。其結果，不僅可以有效保護碰撞時的行人免受二次碰撞，還可以防患于未然地防止車輛的二次碰撞。

需要說明的是，本發明并不限于上述實施方式，例如，在行人保護機構使前車蓋4的后部彈起作為緩沖部件發揮功能的方式中也可適用本發明。此時，映入圖像的前車蓋4的后端部成為不可用區域a1與可用區域a2的邊界。