本發明涉及車輛駕駛輔助裝置及車輛駕駛輔助裝置的動作方法(Driver assistance apparatus and method of thereof)，更詳細而言，涉及對立體影像的各幀基于多個動作中的各動作的執行時間來執行對多個動作的調度的車輛駕駛輔助裝置及車輛駕駛輔助裝置的動作方法。

背景技術：

車輛是向搭乘的用戶所需的方向移動的裝置。代表性的例子有汽車。

另外，為了使利用車輛的用戶方便使用，車輛具備各種傳感器和電子設備等是一種趨勢。尤其，正在開發出用于用戶的駕駛方便的各種各樣的裝置等。

最近隨著對自主車輛的關注增加，正在活躍地進行著針對搭載在自主車輛上的傳感器的研究。作為搭載在自主車輛上的傳感器有攝像頭、紅外線傳感器、雷達、GPS、激光雷達(Lidar)、陀螺儀等，其中攝像頭是起到代替人眼的作用的傳感器而占據重要的位置。

另外，對從攝像頭獲取的影像進行處理的處理器對各幀執行多個動作。一般而言，處理器針對各幀根據已經分別對多個動作進行分配的時間來執行動作。如果，在一個幀中根據所分配的時間執行多個動作的過程中，輸入下一個幀的情況下，存在在前面的幀中未完全執行的動作要中止并且要執行下一個幀中的多個動作的問題。在此情況下，有可能存在處理器中所執行的動作的結果產生錯誤的問題。并且，存在無法有效地使處理器運行的問題。

技術實現要素：

本發明的目的在于，提供一種針對立體影像的各幀基于多個動作中的各動作的執行時間來執行對多個動作的調度的車輛駕駛輔助裝置及車輛駕駛輔助裝置的動作方法。

用于達到上述目的的根據本發明的實施例的車輛駕駛輔助裝置，在基于 由立體攝像頭模塊獲取的立體影像的第一幀執行多個動作之后，基于上述立體影像的第二幀執行多個動作，上述車輛駕駛輔助裝置具有調度部，上述調度部從上述立體攝像頭模塊接收上述第一幀，并在上述第一幀中執行對上述多個動作的第一調度，測定根據上述第一調度的上述多個動作中的各動作的執行時間，從上述立體攝像頭模塊接收上述第二幀，并在上述第二幀中基于測定出的上述各動作的執行時間，執行對上述多個動作的第二調度。

用于達到上述目的的根據本發明的實施例的車輛駕駛輔助裝置的動作方法，在基于由立體攝像頭模塊獲取的立體影像的第一幀執行多個動作之后，基于上述立體影像的第二幀執行多個動作，上述車輛駕駛輔助裝置的動作方法包括：從上述立體攝像頭模塊接收上述第一幀，并在上述第一幀中執行對上述多個動作的第一調度(scheduling)的步驟；測定根據上述第一調度的上述多個動作中的各動作的執行時間的步驟；以及從上述立體攝像頭模塊接收上述第二幀，并在上述第二幀中基于測定出的上述各動作的執行時間，執行對上述多個動作的第二調度的步驟。

上述車輛駕駛輔助裝置的動作方法還包括：測定根據第二調度執行的上述多個動作中的各動作的執行時間的步驟；以及從上述立體攝像頭模塊接收上述第三幀，并在上述第三幀中基于測定出的上述第二調度執行的上述多個動作中的各動作的執行時間，執行對上述多個動作的第三調度，測定上述多個動作中的各動作的執行時間的步驟。

上述車輛駕駛輔助裝置的動作方法還包括反復執行如下過程的步驟，上述過程是：從上述立體攝像頭模塊接收上述第四幀，并在上述第四幀中基于與其之前的調度對應的測定出的各動作的執行時間，執行對上述多個動作的第四調度，測定上述多個動作中的各動作的執行時間。

上述車輛駕駛輔助裝置的動作方法還包括：在執行第一調度之后的調度時，基于測定出的上述各動作的執行時間，預測針對下一個幀的上述多個動作中的各動作的執行時間的步驟；以及設定上述多個動作中的各動作的執行順序的步驟。

上述車輛駕駛輔助裝置的動作方法還包括以下步驟：在執行第一調度之后的調度時，對預測出的上述多個動作中的各動作的執行時間進行相加，在相加后的執行預測時間在臨界值以上的情況下，排除上述多個動作中的一個 動作。

上述車輛駕駛輔助裝置的動作方法還包括：在執行第一調度之后的調度時，對預測出的上述多個動作中的各動作的執行時間進行相加，在上述相加后的預測時間在臨界值以上的情況下，判斷上述多個動作中是否存在能夠排除執行的動作的步驟；以及在由上述判斷部判斷為沒有能夠排除執行的動作的情況下，上述執行時間預測部對上述多個動作中的至少一個動作的執行預測時間進行調整的步驟。

在上述車輛駕駛輔助裝置的動作方法中，上述執行順序被設定為，按照預測出的上述多個動作中的各動作的執行時間較短的順序配置于優先順序。

在上述車輛駕駛輔助裝置的動作方法中，上述執行順序反映上述車輛的行駛環境或外部環境而設定。

在上述車輛駕駛輔助裝置的動作方法中，上述執行順序按照已設定的默認順序而設定。

在上述車輛駕駛輔助裝置的動作方法中，被排除的上述動作被設定為，在從上述立體攝像頭模塊接收下一個幀，并針對該下一個幀中執行對上述多個動作的調度的情況下，由上述執行順序設定部配置于優先順序。

在上述車輛駕駛輔助裝置的動作方法中，被排除的上述動作是第一動作，在從上述立體攝像頭模塊接收下一個幀，并針對該下一個幀中執行對上述多個動作的調度時，在上述多個動作中排除上述第一動作的任一個動作的測定出的執行時間在基準值以上的情況下，上述執行順序設定部將上述基準值以上的動作設定為比上述第一動作配置于優先順序。

在上述的車輛駕駛輔助裝置的動作方法中，在執行上述第一調度之后的調度時，在上述多個動作中的第一動作為上述車輛安全運行相關動作的情況下，將上述第一動作設定為最優先順序。

在上述車輛駕駛輔助裝置的動作方法中，上述第一動作被設定為，在從上述立體攝像頭模塊接收下一個幀，并針對該下一個幀中執行對上述多個動作的調度的情況下，由上述執行順序設定部配置于最優先順序。

在上述車輛駕駛輔助裝置的動作方法中，在預測上述多個動作中的第一動作的執行時間時，在基準時間以上的范圍內進行預測，上述第一動作是上述多個動作中必須要執行的動作，或者是在未執行基準時間以上的情況下執 行動作的結果明顯降低的動作。

上述車輛駕駛輔助裝置的動作方法還包括：在執行第一調度之后的調度時，基于測定出的上述各動作的執行時間，預測針對下一個幀的上述多個動作中的各動作的執行時間的步驟；基于預測出的上述各動作的執行時間，對在執行根據各調度的多個動作的第一動作執行部及第二動作執行部中執行的動作進行分配的步驟；以及設定被分配給上述第一動作執行部及上述第二動作執行部的動作中的各動作的執行順序的步驟。

在上述車輛駕駛輔助裝置的動作方法中，基于預測出的上述各動作的執行時間，以在上述第一動作執行部中執行的動作及在上述第二動作執行部中執行的動作形成平衡的方式進行分配。

在上述車輛駕駛輔助裝置的動作方法中，在對上述第一動作執行部分配上述多個動作中的第一動作及第二動作，并對上述第二動作執行部分配上述多個動作中的第三動作的情況下，測定上述第一及第二各動作的執行時間并進行相加，判斷相加后的預測執行時間是否在臨界值以上，在上述相加后的預測執行時間在臨界值以上的情況下，上述第二動作執行部還執行上述第一動作及第二動作中的一個動作。

上述車輛駕駛輔助裝置的動作方法還包括在執行第一調度之后的調度之前執行2D及3D基礎的前處理的步驟，對上述第一動作執行部分配多個動作中基于上述2D基礎的前處理而執行的第一動作及第二動作，對上述第二動作執行部分配多個動作中基于上述3D基礎的前處理而執行的第三動作，還包括測定上述第一及第二各動作的執行時間并進行相加、并且判斷相加后的預測執行時間是否在臨界值以上的步驟，在上述相加后的預測執行時間在臨界值以上的情況下，上述第二動作執行部基于上述3D基礎的前處理而執行上述第一動作及第二動作中任一個動作及上述第三動作。

上述車輛駕駛輔助裝置的動作方法還包括：按照各調度而執行上述多個動作的步驟；以及測定根據上述各調度的上述多個動作中的各動作的執行時間的步驟。

上述車輛駕駛輔助裝置的動作方法還包括如下步驟：基于測定出的上述根據作為當前調度的第一次調度的上述多個動作中的各動作的執行時間、和測定出的上述根據作為第一次調度之后的調度的第二次調度的上述多個動 作中的各動作的執行時間，計算出上述多個動作中的各動作的執行時間變化量。

上述車輛駕駛輔助裝置的動作方法還包括如下步驟：在從上述立體攝像頭模塊接收對應的幀，并在該幀中執行針對上述多個動作的作為第二次調度之后的調度的第三次調度的情況下，反映上述各動作的執行時間變化量。

上述車輛駕駛輔助裝置的動作方法還包括將基于根據各調度的多個動作中的各動作執行的畫面輸出到顯示器的步驟。

上述車輛駕駛輔助裝置的動作方法還包括將測定出的上述上述多個動作中的各動作的執行時間存儲唉存儲器中的步驟。

如上所述構成的本發明的至少一個實施例的效果如下。

第一，在包括立體攝像頭的車輛駕駛輔助裝置中，測定已經執行的各動作的執行時間，并基于測定出的各動作的執行時間而執行多個動作的調度，因此具有能有效地使用處理器的效果。

第二，通過有效地使用處理器，具有處理器負載減小的效果。

第三，具有能更穩定地處理立體影像的效果。

第四，具有能夠對用戶提供根據立體影像的穩定處理的信息的效果。

本發明的效果不限于以上提及的效果，本領域技術人員應該能夠根據權利要求書的記載而清楚地理解未提及的其他效果。

附圖說明

圖1是示出了根據本發明的一個實施例的具備立體攝像頭的車輛的外觀的圖。

圖2是示出了附著于圖1的車輛上的立體攝像頭的外觀的圖。

圖3A至圖3B示出了根據本發明的一個實施例的車輛駕駛輔助裝置的內部框圖的各種各樣的例子。

圖4A至圖4B示出了圖3A至圖3B的處理器的內部框圖的各種各樣的例子。

圖5A至圖5B是在圖4A至圖4B的處理器的動作說明中所參照的圖。

圖6A至圖6B是在圖3A至圖3B的車輛駕駛輔助裝置的動作說明中所參照的圖。

圖7是圖1的車輛內部的電子控制裝置的內部框圖的一個例子。

圖8A至圖8B是根據本發明的實施例的在說明車輛駕駛輔助裝置的動作時所參照的流程圖。

圖9是根據本發明的實施例對車輛駕駛輔助裝置進行說明時所參照的處理器的內部框圖。

圖10舉例示出了根據本發明的實施例車輛駕駛輔助裝置具備多個處理器的情況。

圖11A至圖11B是在說明根據本發明的實施例的車輛駕駛輔助裝置的動作時所參照的處理器的內部框圖。

圖12是根據本發明的實施例而在相同的狀況下對第一動作及第二動作的執行時間進行比較時所參照的圖。

圖13A至圖17是根據本發明的實施例而在不同的狀況下執行第一動作及第二動作的情況下、對執行時間進行比較時所參照的圖。

附圖標記說明

100:車輛駕駛輔助裝置

140:第一存儲器

141:DB

195:立體攝像頭

170:處理器

180:顯示器

410:前處理部

910:調度部

930:動作執行部

950:執行時間預測部

具體實施方式

以下，參照附圖對本說明書所公開的實施例進行詳細說明，與附圖編號無關而相同或類似的結構要素被賦予相同的附圖標記，并省略對此的重復說明。以下說明中所使用的針對結構要素的結尾詞“"模塊”及“部”是考慮到容易制作說明書而賦予或混用，其自身并不具有相互區別的意思或作用。并 且，當說明本說明書中公開的實施例時，在判斷為對相關的公知技術的具體說明會影響本說明書中公開的實施例的要點的情況下，省略其詳細的說明。并且，附圖只是為了供人們容易理解本說明書中公開的實施例，附圖并不限制本說明書中公開的技術思想，應理解為包括本發明的思想及技術范圍內所包含的所有變更、等同物以及替代物。

第一、第二等包括序數的技術用語能夠用于說明各種各樣的結構要素，但上述結構要素不受上述技術用語的限制。上述技術用語僅用作將一個結構要素區別于另一個結構要素的目的。

當提及了某個結構要素與另一個結構要素“連結”或“連接”時，應該理解成雖然能夠與該另一個結構要素直接連結或連接，但也可以在中間存在其他結構要素。相反，當提及了某個結構要素與另一個結構要素“直接連結”或“直接連接”時，應理解成在中間不存在其他結構要素。

只要在上下文中沒有明確指出不同的意思，則單數的表達包括多個的表達。

在本申請中，應理解成“包括”或“具有”等技術用語用于指定說明書中記載的特征、數字、步驟、動作、結構要素、部件或者它們的組合的存在，并不是預先排除一個或其以上的其他特征或數字、步驟、動作、結構要素、部件或它們的組合的存在或附加可能性。

以下參照附圖對本發明進行更詳細的說明。

本說明書中記載的車輛可以是包括汽車、摩托車的概念。以下，關于車輛主要說明汽車。

另外，本說明書中記載的車輛可以是包括具備發動機的車輛、具備發動機和電動馬達的混合動力車輛、具備電動馬達的電動車輛等的概念。以下，主要說明具備發動機的車輛。

另外，本說明書中記載的車輛駕駛輔助裝置可以稱為前置車輛駕駛輔助系統(Advanced Driver Assistance Systems，ADAS)或者前置車輛駕駛輔助裝置(Advanced Driver Assistance Apparatus，ADAA)。以下對根據本發明的各種各樣的實施例的車輛的車輛駕駛輔助裝置及具備該車輛駕駛輔助裝置的車輛進行說明。

圖1是示出了根據本發明的一個實施例的具備立體攝像頭的車輛的外觀 的圖。

參照附圖，車輛200可以具備：通過動力源進行旋轉的車輪103FR、103FL、103RL、..、用于調節車輛200的行進方向的方向盤150、以及設置于車輛200內部的立體攝像頭195。

立體攝像頭195可以具備多個攝像頭，由多個攝像頭獲取的立體影像可以在車輛駕駛輔助裝置(圖3的100)內進行信號處理。

另外，附圖中示出了立體攝像頭195具備兩個攝像頭的例子。

圖2是示出了附著于圖1的車輛上的立體攝像頭的外觀的圖。

參照附圖，立體攝像頭模塊195可以具有具備第一鏡頭193a的第一攝像頭195a、具備第二鏡頭193b的第二攝像頭195b。

另外，立體攝像頭模塊195可以具備分別用于遮蔽入射到第一鏡頭193a和第二鏡頭193b的光的第一遮光部(light shield)192a和第二遮光部192b。

附圖的立體攝像頭模塊195可以是能夠對車輛200的頂棚或前表面玻璃進行裝卸的結構。

具備這種立體攝像頭模塊195的車輛駕駛輔助裝置(圖3的100)從立體攝像頭模塊195獲取針對車輛前方的立體影像，并基于立體影像來執行差異(disparity)檢測，基于差異信息來執行針對至少一個立體影像的目標檢測，在目標檢測之后，繼續跟蹤目標的移動。

圖3A至圖3B示出了根據本發明的一個實施例的車輛駕駛輔助裝置的內部框圖的各種各樣的例子。

圖3A至圖3B的車輛駕駛輔助裝置100可以根據計算機視覺(computer vision)基礎對從立體攝像頭195接收的立體影像進行信號處理，從而生成車輛相關信息。在此，車輛相關信息可以包括用于直接對車輛進行控制的車輛控制信息或者用于對車輛駕駛員進行駕駛引導的車輛駕駛輔助信息。

首先，參照圖3A，圖3A的車輛駕駛輔助裝置100可以包括通信部120、接口部130、第一存儲器140、處理器170、電源供給部190以及立體攝像頭195。

通信部120能夠與移動終端600或服務器500以無線(wireless)方式交換數據。尤其，通信部120能夠與車輛駕駛員的移動終端以無線方式交換數據。作為無線數據通信方式，能夠使用藍牙(Bluetooth)、WiFi Direct、WiFi、 APiX等各種各樣的數據通信方式。

通信部120能夠從移動終端600或服務器500接收天氣信息、道路的交通狀況信息、例如TPEG(Transport Protocol Expert Group)信息。另外，在車輛駕駛輔助裝置100中，還能夠將基于立體影像而掌握的實時交通信息發送給移動終端600或服務器500。

另外，在用戶搭乘在車輛中的情況下，用戶的移動終端600和車輛駕駛輔助裝置100能夠自動地或者通過用戶的應用程序的執行而相互執行配對(pairing)。

接口部130能夠接收車輛相關數據，或者將在處理器170中進程處理或生成的信號發送至外部。為此，接口部130能夠通過有線通信或無線通信方式，與車輛內部的控制部770、AVN(Audio Video Navigation：音視頻導航)裝置400、傳感器部760等執行數據通信。

接口部130能夠通過與AVN裝置400的數據通信而接收與車輛行駛相關的地圖(map)信息。例如，AVN裝置400包括導航儀，接口部130從上述導航儀接收針對地圖(map)及地圖上的車輛的位置的信息，并傳遞給處理器170。

另外，接口部130能夠從控制部770或傳感器部760接收傳感器信息。

在此，傳感器信息可以包括車輛的滑移程度、車輛方向信息、車輛位置信息(GPS信息)、車輛角度信息、車輛速度信息、車輛加速度信息、車輛斜度信息、車輛前進/后退信息、電池信息、燃料信息、輪胎信息、車輛燈信息、車輛內部溫度信息、車輛內部濕度信息中的至少一種。

這種傳感器信息能夠從車輪速度傳感器、航向傳感器(heading sensor)、偏擺傳感器(yaw sensor)、陀螺傳感器(gyro sensor)、位置模塊(position module)、車輛前進/后退傳感器、車輪傳感器(wheel sensor)、車輛速度傳感器、車身傾斜檢測傳感器、電池傳感器、燃料傳感器、輪胎傳感器、基于方向盤旋轉的轉向傳感器、車輛內部溫度傳感器、車輛內部濕度傳感器等中獲取。另外，位置模塊可以包括用于接收GPS信息的GPS模塊。

另外，將傳感器信息中與車輛行駛相關的車輛方向信息、車輛位置信息、車輛角度信息、車輛速度信息、車輛斜度信息等命名為車輛行駛信息。

第一存儲器140能夠存儲用于處理器170的處理或控制的程序等、用于 車輛駕駛輔助裝置100總體的動作的各種各樣的數據。

第一存儲器140與處理器170電連接，能夠存儲針對單元的基本數據、用于單元的動作控制的控制數據、進行輸入輸出的數據。第一存儲器140可以是ROM、RAM、EPROM、閃存器、硬盤等之類的各種各樣的存儲設備。

另外，第一存儲器140能夠存儲測定出的多個動作中的各動作的執行時間。具體而言，第一存儲器140所具備的DB141能夠存儲在執行時間測定部950中測定的多個動作中的各動作的執行時間。例如，DB141能夠以幀為單位存儲第一至第三各動作的執行時間。

音頻輸入部(未圖示)能夠被輸入用戶聲音。為此，可以具備麥克風。所接收的聲音能夠轉換成電信號，并傳遞給處理器170。

處理器170對車輛駕駛輔助裝置100內的各單元的總體動作進行控制。

尤其，處理器170能夠執行計算機視覺(computer vision)基礎的信號處理。隨之，處理器170從立體攝像頭195獲取針對車輛前方的立體影像，并基于立體影像，執行針對車輛前方的差異運算，基于運算出的差異信息，執行針對立體影像中至少一個的目標檢測，在目標檢測之后，繼續跟蹤目標的移動。

尤其，處理器170在目標檢測時能夠執行行車線檢測(Lane Detection，LD)、周邊車輛檢測(Vehicle Detection，VD)、行人檢測(Pedestrian Detection，PD)、燈光檢測(Brightspot Detection，BD)、交通標志牌檢測(Traffic Sign Recognition，TSR)、道路表面檢測等。

而且，處理器170能夠執行相對于檢測出的周邊車輛的距離運算、檢測出的周邊車輛的速度運算、與檢測出的周邊車輛之間的速度差異運算等。

另外，處理器170能夠基于立體影像而生成行駛中的道路的路面信息。例如，處理器170能夠基于立體影像內的亮度數據的差異，區分為干燥(dry)狀態、潮濕(wet)狀態、積雪(snow)狀態、結冰(ice)狀態。具體而言，積雪狀態的亮度最高，干燥(dry)狀態、結冰狀態、潮濕狀態依次其亮度降低，通過對亮度進行區分，能夠分別區分為干燥(dry)狀態、潮濕(wet)狀態、積雪(snow)狀態、結冰(ice)狀態。作為另一個例子，車輛駕駛輔助裝置100的處理器170能夠基于影像內的發光強度(intensity)和曝光量(exposure)，區分為干燥(dry)狀態、潮濕(wet)狀態、積雪(snow) 狀態、結冰(ice)狀態。處理器170能夠基于道路前方的上坡或下坡及路面信息將用于控制制動器驅動部的控制信號輸出到控制部770。

另外，處理器170能夠通過通信部120接收天氣信息、道路的交通狀況信息、例如TPEG(Transport Protocol Expert Group)信息。

另外，處理器170還能夠實時地掌握在車輛駕駛輔助裝置100中以立體影像為基礎來掌握的車輛周邊交通狀況信息。

另外，處理器170能夠通過接口部130從AVN裝置400接收地圖信息等。

另外，處理器170能夠通過接口部130從控制部770或傳感器部760接收傳感器信息。在此，傳感器信息可以包括車輛滑移信息、車輛方向信息、車輛位置信息(GPS信息)、車輛角度信息、車輛速度信息、車輛加速度信息、車輛斜度信息、車輛前進/后退信息、電池信息、燃料信息、輪胎信息、車輛燈信息、車輛內部溫度信息、車輛內部濕度信息中的至少一種。并且，處理器170能夠通過接口部130從控制部770接收車輛所具備的各個單元的控制信息。

另外，處理器170能夠接收由導航儀提供的在車輛200處于行駛中的道路中除去立體影像中所顯示的區域以外的道路信息，從而對道路狀態進行預測。具體而言，處理器170能夠對立體影像中未顯示的車輛前方或后方的道路狀態進行預測。在此，道路狀態可以包括道路的彎道、隧道及行車線數。

另外，處理器170能夠由DSP(digital signal processor)、ASIC(application specific integrated circuit)或者微型控制器(microcontroller)形成，并安裝在預定的電路板的一面上。

電源供給部190能夠通過處理器170的控制而供給各結構要素的動作所需的電源。尤其，電源供給部190能夠接受從車輛內部的電池等提供的電源。

立體攝像頭195可以具備多個攝像頭。以下如圖2等所示，當作具備兩個攝像頭。

立體攝像頭195能夠在車輛200的頂棚或避風屏(wind shield)上進行裝卸，可以具有具備第一鏡頭193a的第一攝像頭195a、具備第二鏡頭193b的第二攝像頭195b。

另外，立體攝像頭195可以具備用于分別遮蔽入射到第一鏡頭193a和 第二鏡頭193b中的光的第一遮光部(light shield)192a和第二遮光部192b。

然后，參照圖3B，圖3B的車輛駕駛輔助裝置100與圖3A的車輛駕駛輔助裝置100相比，還可以具備輸入部110、顯示器180、音頻輸出部185。以下，僅對輸入部110、顯示器180、音頻輸出部185進行說明。

輸入部110可以具備附著于車輛駕駛輔助裝置100、尤其立體攝像頭195上的多個按鈕或觸摸屏。通過多個按鈕或觸摸屏，能夠使車輛駕駛輔助裝置100的電源接通并進行動作。此外，還能夠執行各種各樣的輸入動作。

音頻輸出部185基于處理器170中所處理的音頻信號而將聲音輸出到外部。為此，音頻輸出部185可以具備至少一個揚聲器。

顯示器180能夠顯示與車輛駕駛輔助裝置的動作相關的影像。為了顯示這種影像，顯示器180可以包括車輛內部前表面的組件(cluster)或HUD(Head Up Display)。另外，在顯示器180為HUD的情況下，可以包括對車輛200的前面玻璃投射影像的投射模塊。

另外，顯示器180能夠輸出通過按照調度執行動作而生成的畫面。例如，在調度部910執行調度，并由動作執行部930基于調度來執行多個動作的情況下，顯示器180能夠輸出基于所執行的動作的畫面。顯示器180按照處理器170的控制，能夠顯示通過按照第一調度執行多個動作中的各動作生成的畫面或者通過按照第二調度執行多個動作中的各動作生成的畫面。顯示器180按照處理器170的控制，能夠顯示通過按照第一調度執行第一至第三動作生成的畫面或者通過按照第二調度執行第一至第三動作生成的畫面。

如果，在按照第一調度執行行車線檢測(Lane Detection)、行人檢測(Pedestrian Detection)、周邊車輛檢測(Vehicle Detection)的情況下，能夠在顯示器180上顯示通過執行行車線檢測生成的行車線顯示畫面、通過執行行人檢測生成的與行人之間的距離畫面、通過執行周邊車輛檢測生成的周邊車輛的速度等。

圖4A至圖4B示出了圖3A至圖3B的處理器的內部框圖的各種各樣的例子，圖5A至圖5B是在說明圖4A至圖4B的處理器的動作時所參照的圖。

首先，參照圖4A，圖4A是處理器170的內部框圖的一個例子，車輛駕駛輔助裝置100內的處理器170可以包括影像前處理部410、差異運算部420、目標檢測部434、目標跟蹤部440、以及應用程序部450。

影像前處理部(image preprocessor)410接收來自立體攝像頭195的立體影像，并執行前處理(preprocessing)。

具體而言，影像前處理部410能夠執行針對立體影像的噪聲降低(noise reduction)、改正(rectification)、校準(calibration)、顏色增強(color enhancement)、顏色空間轉換(color space conversion；CSC)、內插(interpolation)、攝像頭增益控制(camera gain control)等。隨之，能夠獲取比立體攝像頭195中所拍攝的立體影像更加鮮明的立體影像。

差異運算部(disparity calculator)420接收在影像前處理部410中進行了信號處理的立體影像，執行針對所接收的立體影像的立體匹配(stereo matching)，獲取按照立體匹配的差異地圖(dispartiy map)。即，能夠獲取關于車輛前方的針對立體影像的差異信息。

此時，立體匹配能夠以立體影像的像素單位或者預定塊單位執行。另外，差異地圖是指將立體影像、即左、右影像的時差信息(binocular parallax information)用數值來表示的地圖。

分割部(segmentation unit)432能夠基于來自差異運算部420的差異信息，針對立體影像中的至少一個，執行分割(segment)及分組(clustering)。

具體而言，分割部432能夠基于差異信息，針對立體影像中的至少一個，分離背景(background)和前景(foreground)。

例如，能夠將差異地圖中的差異信息為預定值以下的區域運算成背景，并除去相應部分。由此，能夠相對地分離前景。

作為另一個例子，能夠將差異地圖中的差異信息為預定值以上的區域運算成前景，并抽取相應部分。由此，能夠分離前景。

如此，基于以立體影像為基礎來抽取的差異信息，分離前景和背景，從而在之后的目標檢測時能夠降低信號處理速度、信號處理量等。

然后，目標檢測部(object detector)434能夠基于來自分割部432的影像分割，檢測目標。

即，目標檢測部434能夠基于差異信息，針對立體影像中的至少一個，檢測目標。

具體而言，目標檢測部434能夠針對立體影像中的至少一個，檢測目標。例如，能夠從通過影像分割而分離的前景檢測出目標。

然后，目標確認部(object verification unit)436對所分離的目標進行分類(classify)，并進行確認(verify)。

為此，目標確認部436能夠使用利用神經式網絡(neural network)的識別法、SVM(Support Vector Machine)方法、利用Haar-like特征的利用AdaBoost識別的方法、或者HOG(Histograms of Oriented Gradients)方法等。

另外，目標確認部436能夠對存儲在第一存儲器140中的目標和檢測出的目標進行比較，從而確認目標。

例如，目標確認部436能夠確認位于車輛周邊的周邊車輛、行車線、道路表面、標志牌、危險區域、隧道等。

目標跟蹤部(object tracking unit)440執行針對所確認的目標的跟蹤。例如，能夠按順序確認所獲取的立體影像中的目標，對所確認的目標的移動或移動矢量進行運算，基于運算出的移動或移動矢量，跟蹤相應目標的移動等。隨之，能夠跟蹤位于車輛周邊的周邊車輛、行車線、道路表面、標志牌、危險區域、隧道等。

然后，應用程序部450能夠基于位于車輛周邊的各種各樣的目標、例如其他車輛、行車線、道路表面、標志牌等，對車輛200的危險程度等進行運算。并且，能夠運算與前車的碰撞可能性、車輛的滑移與否等。

而且，應用程序部450能夠基于運算出的危險程度、碰撞可能性、或滑移與否等，將用于告知用戶這種信息的消息等作為車輛駕駛輔助信息而輸出。或者，還能夠將用于車輛200的姿態控制或行駛控制的控制信號作為車輛控制信息而生成。

圖4B是處理器的內部框圖的另一個例子。

參照附圖，圖4B的處理器170與圖4A的處理器170相比，內部結構單元相同，但信號處理順序不同這一點上存在差別。以下，僅說明該差別。

目標檢測部434能夠接收立體影像，并針對立體影像中的至少一個，檢測目標。不同于圖4A，不是基于差異信息而對分割后的影像檢測目標，而是能夠從立體影像直接檢測目標。

然后，目標確認部(object verification unit)436基于來自分割部432的影像分割、及在目標檢測部434檢測出的目標，對檢測及分離后的目標進行分類(classify)，并進行確認(verify)。

為此，目標確認部436能夠使用利用神經式網絡(neural network)的識別法、SVM(Support Vector Machine)方法、利用Haar-like特征的利用AdaBoost識別的方法、或者HOG(Histograms of Oriented Gradients)方法等。

圖5A和圖5B是在以第一及第二幀區間中分別獲取的立體影像為基礎來說明圖4A的處理器170的動作方法時所參照的圖。

首先，參照圖5A，在第一幀區間期間，立體攝像頭195獲取立體影像。

處理器170內的差異運算部420接收在影像前處理部410進行了信號處理的立體影像FR1a、FR1b，執行針對所接收的立體影像FR1a、FR1b的立體匹配，獲取差異地圖(dispartiy map)520。

差異地圖(dispartiy map)520是對立體影像FR1a、FR1b之間的時差進行了水平劃分，并且能夠運算成，差異水平越大，與車輛之間的距離越近，差異水平越小，與車輛之間的距離越遠。

另外，在顯示這種差異地圖的情況下，能夠顯示成差異水平越大，具有越高的亮度，差異水平越小，具有越低的亮度。

在附圖中示出了如下情況，在差異地圖520內第一行車線至第四行車線528a、528b、528c、528d等分別具有相應的差異水平，施工區域522、第一前方車輛524、第二前方車輛526分別具有相應的差異水平。

分割部432和目標檢測部434、目標確認部436基于差異地圖520，執行針對立體影像FR1a、FR1b中的至少一個的分割、目標檢測及目標確認。

在附圖中示出了如下情況，使用差異地圖520，執行針對第二立體影像FR1b的目標檢測及確認。

即，能夠在影像530內，對第一行車線至第四行車線538a、538b、538c、538d、施工區域532、第一前方車輛534、第二前方車輛536執行目標檢測及確認。

然后，參照圖5B，在第二幀區間期間，立體攝像頭195獲取立體影像。

處理器170內的差異運算部420接收在影像前處理部410進行了信號處理的立體影像FR2a、FR2b，執行針對所接收的立體影像FR2a、FR2b的立體匹配，獲取差異地圖(dispartiy map)540。

在附圖中示出了如下情況，在差異地圖540內，第一行車線至第四行車線548a、548b、548c、548d等分別具有相應的差異水平，施工區域542、第 一前方車輛544、第二前方車輛546分別具有相應的差異水平。

分割部432和目標檢測部434、目標確認部436基于差異地圖540，執行針對立體影像FR2a、FR2b中的至少一個的分割、目標檢測及目標確認。

在附圖中示出了如下情況，使用差異地圖540，執行針對第二立體影像FR2b的目標檢測及確認。

即，能夠在影像550內對第一行車線至第四行車線558a、558b、558c、558d、施工區域552、第一前方車輛554、第二前方車輛556執行目標檢測及確認。

另外，目標跟蹤部440能夠對圖5A和圖5B進行比較，執行針對確認出的目標的跟蹤。

具體而言，目標跟蹤部440能夠基于在圖5A和圖5B中確認出的各目標的移動或移動矢量，跟蹤相應目標的移動等。隨之，能夠執行針對位于車輛周邊的行車線、施工區域、第一前方車輛、第二前方車輛等的跟蹤。

圖6A至圖6B是在說明圖3的車輛駕駛輔助裝置的動作時所參照的圖。

首先，圖6A是示出了在車輛內部所具備的立體攝像頭195中拍攝的車輛前方狀況的圖。尤其，用鳥瞰圖(bird eye view)來顯示車輛前方狀況。

參照附圖可知，從左側到右側，依次存在第一行車線642a、第二行車線644a、第三行車線646a、第四行車線648a，在第一行車線642a與第二行車線644a之間存在施工區域610a，在第二行車線644a與第三行車線646a之間存在第一前方車輛620a，在第三行車線646a與第四行車線648a之間配置有第二前方車輛630a。

然后，圖6B示出了將由車輛駕駛輔助裝置掌握的車輛前方狀況與各種信息一起顯示的情況。尤其，如圖6B的影像還能夠在車輛駕駛輔助裝置所提供的顯示器180或AVN裝置400中顯示。

圖6B不同于6a，示出了以在立體攝像頭195中拍攝的影像為基礎來顯示信息的情況。

參照附圖可知，從左側到右側依次存在第一行車線642b、第二行車線644b、第三行車線646b、第四行車線648b，在第一行車線642b與第二行車線644b之間存在施工區域610b，在第二行車線644b與第三行車線646b之間存在第一前方車輛620b，在第三行車線646b與第四行車線648b之間配置 有第二前方車輛630b。

車輛駕駛輔助裝置100能夠以立體攝像頭195中拍攝的立體影像為基礎而進行信號處理，確認針對施工區域610b、第一前方車輛620b、第二前方車輛630b的目標。并且，能夠確認第一行車線642b、第二行車線644b、第三行車線646b、第四行車線648b。

另外，在附圖中示出了如下情況，為了表示針對施工區域610b、第一前方車輛620b、第二前方車輛630b的目標確認，分別用輪廓突出顯示。

另外，車輛駕駛輔助裝置100能夠以立體攝像頭195中所拍攝的立體影像為基礎，運算針對施工區域610b、第一前方車輛620b、第二前方車輛630b的距離信息。

在附圖中示出了顯示有分別與施工區域610b、第一前方車輛620b、第二前方車輛630b對應的運算出的第一距離信息611b、第二距離信息621b、第三距離信息631b的情況。

另外，車輛駕駛輔助裝置100能夠從控制部770或傳感器部760接收針對車輛的傳感器信息。尤其，能夠接收車輛速度信息、齒輪信息、表示車輛的旋轉角(偏擺角)發生變化的速度的偏擺率信息(yaw rate)、車輛的角度信息。并且顯示這些信息。

在附圖中示出了在車輛前方影像上部670顯示車輛速度信息672、齒輪信息671、偏擺率信息673、并且在車輛前方影像下部680顯示車輛的角度信息682的情況，但能夠適用各種各樣的例子。此外，車輛的寬度信息683、道路的曲率信息681能夠與車輛的角度信息682一起顯示。

另外，車輛駕駛輔助裝置100能夠通過通信部120或接口部130來接收針對車輛行駛中的道路的速度限制信息等。在附圖中示出了顯示有速度限制信息640b的情況。

車輛駕駛輔助裝置100可以通過顯示器180等來顯示圖6B所示的各種各樣的信息，但與此不同，也可以無特殊顯示而存儲各種信息。而且，能夠利用這種信息來有效應用于各種各樣的應用程序中。

圖7是圖1的車輛內部的電子控制裝置的內部框圖的一個例子。

參照附圖，車輛200可以具備用于車輛控制的電子控制裝置700。電子控制裝置700能夠與上述的車輛駕駛輔助裝置100及AVN裝置400交換數 據。

電子控制裝置700可以具備輸入部710、通信部720、第二存儲器740、燈驅動部751、轉向驅動部752、制動器驅動部753、動力源驅動部754、天窗驅動部755、懸架裝置驅動部756、空調驅動部757、車窗驅動部758、氣囊驅動部759、傳感器部760、控制部770、顯示部780、音頻輸出部785及電源供給部790。

輸入部710可以具備配置在車輛200內部的多個按鈕或觸摸屏。通過多個按鈕或觸摸屏，能夠執行各種各樣的輸入動作。

通信部720能夠以無線(wireless)方式與移動終端600或服務器500交換數據。尤其，通信部720能夠以無線方式與車輛駕駛員的移動終端交換數據。作為無線數據通信方式，可以使用藍牙(Bluetooth)、WiFi Direct、WiFi、APiX等各種各樣的數據通信方式。

通信部720能夠從移動終端600或服務器500接收天氣信息、道路的交通狀況信息、例如TPEG(Transport Protocol Expert Group)信息。

另外，在用戶搭乘在車輛中的情況下，用戶的移動終端600和電子控制裝置700能夠自動地或者通過用戶的應用程序的執行來相互執行配對。

第二存儲器740能夠存儲用于控制部770的處理或控制的程序等、用于電子控制裝置700總體的動作的各種各樣的數據。

第二存儲器740與控制部770電連接，能夠存儲針對單元的基本數據、用于單元的動作控制的控制數據、進行輸入輸出的數據。第二存儲器740可以是ROM、RAM、EPROM、閃存器、硬盤等之類的各種各樣的存儲設備。

燈驅動部751能夠對配置在車輛內部、外部的燈的接通/斷開進行控制。并且，能夠控制燈的光的強度、方向等。例如，能夠執行針對方向指示燈、制動器燈等的控制。

轉向驅動部752能夠執行針對車輛200內的轉向裝置(steering apparatus)(未圖示)的電子式控制。由此，能夠對車輛的行進方向進行變更。

制動器驅動部753能夠執行針對車輛200內的制動器裝置(brake apparatus)(未圖示)的電子式控制。例如，能夠對配置在車輪上的制動器的動作進行控制，從而降低車輛200的速度。作為另一個例子，使分配配置在左側車輪和右側車輪上的制動器的動作不同，從而能夠將車輛200的行進 方向向左側或右側進行調整。

動力源驅動部754能夠執行針對車輛200內的動力源的電子式控制。

例如，在化石燃料基礎的發動機(未圖示)作為動力源的情況下，動力源驅動部754能夠執行針對發動機的電子式控制。由此，能夠對發動機的輸出轉矩等進行控制。在動力源驅動部754為發動機的情況下，能夠按照控制部770的控制，對發動機輸出轉矩進行限制而限制車輛的速度。

作為另一個例子，在基于電的馬達(未圖示)為動力源的情況下，動力源驅動部754能夠執行針對馬達的控制。由此，能夠對馬達的轉速、轉矩等進行控制。

天窗驅動部755能夠執行針對車輛200內的天窗裝置(sunroof apparatus)(未圖示)的電子式控制。例如，能夠對天窗的打開或關閉進行控制。

懸架裝置驅動部756能夠執行針對車輛200內的懸架裝置(suspension apparatus)(未圖示)電子式控制。例如，在道路表面上存在彎曲的情況下，通過對懸架裝置進行控制，能夠控制成使車輛200的振動減少。

空調驅動部757能夠執行針對車輛200內的空調裝置(air cinditioner)(未圖示)的電子式控制。例如，在車輛內部的溫度較高的情況下，空調裝置進行動作，從而能夠控制成使冷氣供給到車輛內部。

車窗驅動部758能夠執行針對車輛200內的車窗裝置(window apparatus)(未圖示)的電子式控制。例如，能夠對車輛的側面的左、右車窗的打開或關閉進行控制。

氣囊驅動部759能夠執行針對車輛200內的氣囊裝置(airbag apparatus)的電子式控制。例如，但存在危險時，能夠控制成使氣囊膨脹。

傳感器部760對與車輛100的行駛等相關的信號進行傳感。為此，傳感器部760可以具備航向傳感器(heading sensor)、偏擺傳感器(yaw sensor)、陀螺傳感器(gyro sensor)、位置模塊(position module)、車輛前進/后退傳感器、車輪傳感器(wheel sensor)、車輛速度傳感器、車身傾斜檢測傳感器、電池傳感器、燃料傳感器、輪胎傳感器、基于方向盤旋轉的轉向傳感器、車輛內部溫度傳感器、車輛內部濕度傳感器等。

由此，傳感器部760能夠獲取針對車輛方向信息、車輛位置信息(GPS信息)、車輛角度信息、車輛速度信息、車輛加速度信息、車輛斜度信息、 車輛前進/后退信息、電池信息、燃料信息、輪胎信息、車輛燈信息、車輛內部溫度信息、車輛內部濕度信息等的傳感信號。

另外，除此之外，傳感器部760還可以具備加速踏板傳感器、壓力傳感器、發動機轉速傳感器(engine speed sensor)、空氣流量傳感器(AFS)、進氣溫度傳感器(ATS)、水溫傳感器(WTS)、節流閥位置傳感器(TPS)、TDC傳感器、曲軸轉角傳感器(CAS)等。

控制部770能夠對電子控制裝置700內的各單元的總體動作進行控制。在此，控制部770可以是ECU(電子控制單元)。

通過由輸入部710進行的輸入，能夠執行特定動作，或者接收由傳感器部760傳感的信號，并發送到車輛駕駛輔助裝置100，從AVN裝置400接收地圖信息，對各種驅動部751、752、753、754、756的動作進行控制。

并且，控制部770能夠從通信部720接收天氣信息、道路的交通狀況信息、例如TPEG(Transport Protocol Expert Group)信息。

顯示部780能夠顯示與車輛駕駛輔助裝置的動作相關的影像。為了顯示這種影像，顯示部780可以包括車輛內部前表面的組件(cluster)或HUD(Head Up Display)。另外，在顯示部780為HUD的情況下，可以包括對車輛200的前面玻璃投射影像的投射模塊。另外，顯示部780可以包括能夠進行輸入的觸摸屏。

音頻輸出部785將來自控制部770的電信號轉換成音頻信號后進行輸出。為此，可以具備揚聲器等。音頻輸出部785還能夠輸出與輸入部710、即按鈕的動作相對應的聲音。

電源供給部790能夠通過控制部770的控制而供給各結構要素的動作所需的電源。尤其，電源供給部790能夠接受從車輛內部的電池(未圖示)等提供的電源。

圖8A至圖8B是根據本發明的實施例的說明車輛駕駛輔助裝置的動作時所參照的流程圖。

參照圖8A，處理器170接收立體影像(S810)。立體影像可以包括多個幀。車輛駕駛輔助裝置100中所包含的立體攝像頭模塊195能夠連續獲取立體影像，處理器170能夠從立體攝像頭模塊195連續接收立體影像。例如，處理器170能夠接收第一幀。接著，處理器170能夠接收第二幀。接著，處 理器170能夠接收第三幀。在此，第一至第三幀可以是按照所獲取的順序從立體攝像頭模塊195傳遞給處理器170的立體影像。第一至第三幀表示由處理器170按時間的經過接收的幀，但并不意味著必須在第一幀之后接收第二幀，而且在第二幀之后接收第三幀。即，在第一及第二幀之間可以包括至少一個幀，并且，在第二及第三幀之間可以包括至少一個幀。

若接收到立體影像，則處理器170能夠執行前處理(preprocessing)(S815)。

例如，處理器170能夠執行針對立體影像的噪聲降低(noise reduction)、改正(rectification)、校準(calibration)、顏色增強(color enhancement)、顏色空間轉換(color space conversion；CSC)、內插(interpolation)、攝像頭增益控制(camera gain control)等。隨之，能夠獲取比在立體攝像頭195中拍攝的立體影像更加鮮明的立體影像。

另外，處理器170能夠執行3D(Three Dimensional)基礎的前處理及2D(Two Dimensional)基礎的前處理。例如，處理器170能夠執行3D基礎的前處理。在此，3D基礎的前處理能夠用于執行檢測與預定目標之間的距離的動作。例如，處理器170能夠執行2D基礎的前處理。在此，2D基礎的前處理能夠用于執行目標檢測動作。處理器170在執行動作時，能夠適當選擇3D或2D基礎的前處理來利用。或者，處理器170能夠對3D或2D基礎的前處理進行組合而利用。

另外，前處理的執行能夠在處理器170所具備的前處理部410中執行。

在執行前處理后，處理器170能夠執行對多個動作的調度(S820)。在此，調度可以是對多個動作中的各動作預測執行時間對多個動作類別中的各動作設定執行順序的動作。此時，處理器170能夠基于對多個動作中的各動作測定出的執行時間來執行調度。在此，測定出的執行時間可以是在S895步驟中測定出的執行時間。或者，測定出的執行時間可以是在S897步驟中存儲在DB141中的執行時間。

處理器170能夠從立體攝像頭模塊195接收第一幀，并針對第一幀執行對多個動作的第一調度。接著，處理器170能夠按照第一調度，執行多個動作。接著，處理器170能夠測定按照第一調度執行的多個動作中的各動作的執行時間。接著，處理器170能夠從立體攝像頭模塊195接收第二幀，并針 對第二幀執行對多個動作的第二調度。此時，處理器170能夠基于測定出的多個動作中的各動作的執行時間來執行第二調度。

例如，處理器170能夠從立體攝像頭模塊195接收第一幀，并針對第一幀執行對第一至第三動作的第一調度。接著，處理器170能夠按照第一調度，執行第一至第三動作。接著，處理器170能夠測定按照第一調度執行的第一至第三各動作的執行時間。接著，處理器170能夠從立體攝像頭模塊195接收第二幀，并針對第二幀執行對第一至第三動作的第二調度。此時，處理器170能夠基于測定出的第一至第三各動作的執行時間來執行第二調度。

然后，處理器170能夠按照第二調度，執行第一至第三動作。接著，處理器170能夠測定按照第二調度執行的第一至第三各動作的執行時間。接著，處理器170能夠從立體攝像頭模塊195接收第三幀，并針對第三幀執行對第一至第三動作的第三調度。此時，處理器170在執行與第二調度對應的第一至第三動作時，能夠基于測定出的第一至第三各動作的執行時間來執行第二調度。

然后，處理器170能夠從立體攝像頭模塊195接收第四幀，并針對第四幀，基于測定出的與之前的調度對應的各動作的執行時間，來執行對第一至第三動作的第四調度，并按照第四調度執行第一至第三動作，并測定各動作的執行時間，處理器170能夠反復執行該過程。

另外，在執行第二調度后，處理器170能夠按照第二調度執行多個動作。接著，處理器170能夠測定按照第二調度執行的多個動作中的各動作的執行時間。接著，處理器170能夠基于測定出的按照第一調度執行的多個動作中的各動作的執行時間以及測定出的按照第二調度執行的多個動作中的各動作的執行時間，并計算出多個動作中的各動作的執行時間的變化量。

例如，處理器170能夠按照第一調度執行第一動作，并測定第一動作執行時間。并且，處理器170能夠按照第二調度執行第一動作，并測定第一動作執行時間。接著，處理器170能夠基于按照第一調度執行的第一動作執行時間及按照第二調度執行的第一動作執行時間，來計算出第一動作執行時間的變化量。

例如，處理器170能夠按照第一調度執行第二動作，并測定第二動作執行時間。并且，處理器170能夠按照第二調度執行第二動作，并測定第二動 作執行時間。接著，處理器170能夠基于按照第一調度執行的第二動作執行時間及按照第二調度執行的第二動作執行時間，來計算出第二動作執行時間的變化量。

例如，處理器170能夠按照第一調度執行第三動作，并測定第三動作執行時間。并且，處理器170能夠按照第二調度執行第三動作，并測定第三動作執行時間。接著，處理器170能夠基于按照第一調度執行的第三動作執行時間及按照第二調度執行的第三動作執行時間，來計算出第三動作執行時間的變化量。

另外，在從立體攝像頭模塊195接收第三幀，并針對第三幀執行對第一至第三動作的第三調度的情況下，處理器170能夠反應各動作的執行時間的變化量。例如，處理器170能夠通過對測定出的按照第二調度執行的第一至第三動作的執行時間分別加上第一至第三各動作的執行時間的變化量，來預測第一至第三各動作的執行時間。接著，處理器170能夠設定第一至第三動作中的各動作的執行順序。

可以在處理器170所具備的調度部910執行調度。具體而言，調度部910中所包含的執行時間預測部913能夠針對多個動作中的各動作預測執行時間。調度部910中所包含的執行順序設定部915能夠對多個動作分別設定執行順序。

關于調度，參照圖8B進行詳細說明。

在完成調度的情況下，處理器170能夠按照調度執行多個動作(S890)。多個動作可以在動作執行部930中執行。

例如，動作執行部930能夠在第一幀上按照第一調度來執行第一動作931、第二動作932及第三動作933。并且，動作執行部930能夠在第二幀上按照第二調度來執行第一動作931、第二動作932及第三動作933。并且，動作執行部930能夠在第三幀上按照第三調度來執行第一動作931、第二動作932及第三動作933。

在按照調度執行了動作之后，處理器170能夠針對多個動作中的各動作測定執行時間(S895)。

例如，處理器170能夠針對第一幀測定出按照第一調度執行第一動作所需的時間。并且，處理器170能夠針對第二幀測定出按照第二調度執行第一 動作所需的時間。并且，處理器170能夠針對第三幀測定出按照第三調度執行第一動作所需的時間。

例如，處理器170能夠針對第一幀測定出按照第一調度執行第二動作所需的時間。并且，處理器170能夠針對第二幀測定出按照第二調度執行第二動作所需的時間。并且，處理器170能夠針對第三幀測定出按照第三調度執行第二動作所需的時間。

例如，處理器170能夠針對第一幀測定出按照第一調度執行第三動作所需的時間。并且，處理器170能夠針對第二幀測定出按照第二調度執行第三動作所需的時間。并且，處理器170能夠針對第三幀測定出按照第三調度執行第三動作所需的時間。

對多個動作中的各動作的執行時間的測定可以在執行時間測定部950中執行。

在完成對多個動作中的各動作的執行時間的測定的情況下，處理器170能夠將測定出的執行時間存儲到DB141中(S897)。在此，DB141可以表示第一存儲器140所具備的規定的數據庫。

例如，處理器170能夠在第一幀中將測定出的第一至第三動作執行時間存儲到DB141中。例如，處理器170能夠將針對第二幀測定出的第一至第三動作執行時間存儲到DB141中。例如，處理器170能夠將針對第三幀測定出的第一至第三動作執行時間存儲到DB141中。

圖8B是根據本發明的實施例的圖8A中的S820步驟的詳細流程圖。

參照圖8B，在執行前處理之后，處理器170能夠預測多個動作中的各動作的執行時間(S82)。

處理器170能夠基于在前一個幀中測定出的多個動作中的各動作的執行時間，在下一個幀中預測多個動作中的各動作的執行時間。

根據第一實施例，處理器170能夠基于針對第一幀測定出的多個動作中的各動作的執行時間，來針對第二幀預測多個動作中的各動作的執行時間。處理器170能夠基于針對第二幀測定出的多個動作中的各動作的執行時間，來針對第三幀預測多個動作中的各動作的執行時間。

根據第二實施例，處理器170測定按照第一調度執行的多個動作中的各動作的執行時間。接著，處理器170測定按照第二調度執行的多個動作中的 各動作的執行時間。接著，處理器170能夠基于測定出的按照第一調度執行的多個動作中的各動作的執行時間以及測定出的按照第二調度執行的多個動作中的各動作的執行時間，計算出多個動作中的各動作的執行時間的變化量。接著，針對第三幀執行對多個動作的第三調度時，處理器170能夠反應各動作的執行時間的變化量。例如，處理器170通過對測定出的按照第二調度執行的多個動作中的各動作的執行時間分別加上多個動作中的各動作的執行時間的變化量，能夠預測多個動作中的各動作的執行時間。

另外，多個動作中的各動作的執行時間的變化量能夠連續計算。例如，處理器170能夠計算出與第一及第二幀相對應的各動作的執行時間的變化量。并且，處理器170能夠計算出與第二及第三幀相對應的各動作的執行時間的變化量。并且，處理器170能夠計算出與第三及第四幀相對應的各動作的執行時間的變化量。在此情況下，各個執行時間的變化量可以具有最小值、最大值及平均值。根據實施例，處理器170能夠在累積存儲的執行時間的變化量中以最大值為基準來預測多個動作中的各動作的執行時間。在此情況下，具有執行時間預測產生誤差的概率減小的優點。

根據第一實施例，處理器170能夠測定按照第一調度執行的第一動作執行時間。接著，處理器170在執行第二調度時，能夠基于測定出的按照第一調度執行的第一動作執行時間，來針對第二幀預測第一動作執行時間。并且，處理器170能夠測定按照第二調度執行的第一動作執行時間。接著，處理器170在執行第三調度時，能夠基于測定出的按照第二調度執行的第一動作執行時間，來針對第三幀預測第一動作執行時間。

根據第二實施例，處理器170能夠測定按照第一調度執行的第一動作的執行時間。并且，處理器170能夠測定按照第二調度執行的第一動作的執行時間。接著，處理器170能夠基于按照第一調度執行的第一動作執行時間及按照第二調度執行的第一動作執行時間，計算出第一動作執行時間的變化量。接著，處理器170能夠通過對按照第二調度執行的第一動作的執行時間加上第一動作執行時間的變化量，來針對第三調度預測第一動作的執行時間。

根據第一實施例，處理器170能夠測定按照第一調度執行的第二動作執行時間。接著，處理器170在執行第二調度時，能夠基于測定出的按照第一 調度執行的第二動作執行時間，來針對第二幀預測第二動作執行時間。并且，處理器170能夠測定按照第二調度執行的第二動作執行時間。接著，處理器170在執行第三調度時，能夠基于測定出的按照第二調度執行的第二動作執行時間，來針對第三幀預測第二動作執行時間。

根據第二實施例，處理器170能夠測定按照第一調度執行的第二動作的執行時間。并且，處理器170能夠測定按照第二調度執行的第二動作的執行時間。接著，處理器170能夠基于按照第一調度執行的第二動作執行時間及按照第二調度執行的第二動作執行時間，來計算出第二動作執行時間的變化量。接著，處理器170通過對按照第二調度執行的第一動作的執行時間加上第二動作執行時間的變化量，來針對第三調度預測第一動作的執行時間。

根據第一實施例，處理器170能夠測定按照第一調度執行的第三動作執行時間。接著，處理器170在執行第二調度時，能夠基于測定出的按照第一調度執行的第三動作執行時間，來針對第二幀預測第三動作執行時間。并且，處理器170能夠測定按照第二調度執行的第三動作執行時間。接著，處理器170在執行第三調度時，能夠基于測定出的按照第二調度執行的第三動作執行時間，來針對第三幀預測第三動作執行時間。

根據第二實施例，處理器170能夠測定按照第一調度執行的第三動作的執行時間。并且，處理器170能夠測定按照第二調度執行的第三動作的執行時間。接著，處理器170能夠基于按照第一調度執行的第三動作執行時間及按照第二調度執行的第三動作執行時間，來計算出第三動作執行時間的變化量。接著，處理器170通過對按照第二調度執行的第一動作的執行時間加上第二動作執行時間的變化量，能夠針對第三調度預測第三動作的執行時間。

另外，處理器170在預測第一動作的執行時間時，能夠在基準時間以上的范圍內進行預測。在此，第一動作可以是多個動作中必須要執行的動作。并且，第一動作可以是在不執行基準時間以上的情況下，執行動作的結果會明顯降低的動作。如果，執行行人檢測(Pedestrian Detection)動作的時間小于25msec時不能實現準確的檢測的情況下，處理器170能夠在25msec以上的范圍內對行人檢測進行預測。

在預測多個動作中的各動作的執行時間之后，處理器170能夠對多個動作中的各動作執行預測時間進行相加(S830)。例如，處理器170能夠對第 一至第三動作的執行預測時間進行相加。

之后，處理器170能夠設定多個動作中的各動作的執行順序(S835)。

例如，處理器170能夠根據預定的基準，來對第一至第三動作設定先執行哪個動作并且后執行哪個動作。

在此，執行順序可以是按照在S825步驟中預測的多個動作中的各動作的執行時間從短到長的順序來設定的。如果，預測出的執行時間從短到長的順序為第一動作、第二動作、第三動作的情況下，處理器170能夠以第一動作、第二動作及第三動作的順序設定執行順序。在此情況下，通過先執行預測出的執行時間較短的動作，具有能夠在有限的時間內執行更多的動作的優點。

在此，執行順序能夠通過反應車輛的行駛環境或外部環境來設定。處理器170能夠基于從立體攝像頭模塊195接收的立體影像來判斷行駛環境或外部環境。或者，處理器170能夠基于通過接口部130接收的各種傳感器信息而判斷行駛環境或外部環境。此時，行駛環境可以是車輛所行駛的道路的種類為高速道路、國道、鄉村道路及市內道路中的任一種。并且，外部環境可以是車輛所行駛的區間的狀態、車輛行駛時的天氣的狀態及車輛所行駛的時間中的任一種。

在此，執行順序能夠按照已設定的默認(default)順序進行設定。例如，在測定多個動作中的各動作的執行時間之前，處理器170能夠按照已設定的默認順序來設定執行順序、即，在前一個幀中無法測定多個動作執行時間的情況下，處理器170能夠按照已設定的默認順序來設定執行順序。如果，在最初設定執行順序的情況、或者產生錯誤之后設定執行順序的情況下，處理器170能夠按照已設定的默認順序來設定執行順序。或者，處理器170能夠在預定的環境下按照已設定的默認順序來設定執行順序。如果，在車輛的外部環境為隧道進入或退出區間的情況、日出或日落時間的情況、以及下雨或下雪的天氣的情況中的一個的情況下，處理器170能夠按照已設定的默認順序來設定執行順序。

另外，在多個動作中存在必須要執行的動作的情況下，處理器170能夠將必須執行動作設定為最優先順序。如果，在第一動作為車輛安全運行相關動作的情況下，處理器170在執行順序中能夠將第一動作設定為最優先順序。 例如，處理器170能夠將多個動作中與行人安全相關的行人檢測(Pedestrian Detection)在執行順序中設定為最優先順序。存儲器140能夠預先存儲必須要執行的動作列表。處理器170能夠按照存儲在存儲器140中的列表，在執行順序中首先設定優先順序之后，設定之后的順序。

另外，在第二幀中在多個動作中存在必須要執行的動作的情況下，處理器170能夠將必須執行動作設定為最優先順序。如果，在第二幀中第一動作為車輛安全運行相關動作的情況下，處理器170能夠在執行順序中將第一動作設定為最優先順序。接著，在從立體攝像頭模塊195接收上述第三幀并針對第三幀執行對上述第一至第三動作的第三調度的情況下，處理器170能夠反復在執行順序中將第一動作設定為最優先順序。

在設定動作執行順序之后，處理器170能夠判斷相加的執行預測時間是否在臨界值以上(S840)。在此，臨界值可以意味著處理器170能夠處理的極限值。例如，在連續接收的多個幀中，在接收下一個幀之前要完成當前幀的動作。在此情況下，臨界值可以意味著在接收下一個幀之前，在當前幀中處理器170能夠執行動作的時間。如果，在第一幀中執行多個動作之后、在第二幀中執行多個動作的情況下，處理器170在第一幀中執行的多個動作要在接收第二幀之前執行。在此情況下，臨界值可以意味著在接收第二幀之前在第一幀中處理器170能夠執行動作的時間。

在相加后的執行預測時間不在臨界值以上的情況下，處理器170能夠執行調度后的多個動作(S890)。

在相加后的執行預測時間在臨界值以上的情況下，處理器170能夠判斷在多個動作中是否存在能夠排除的動作(S845)。例如，處理器170能夠判斷在第一至第三動作中是否存在能夠排除的動作。

如果，在存在能夠排除的動作的情況下，處理器170能夠排除被判斷為能夠排除的動作(S850)。例如，在第一動作被判斷為能夠排除的動作的情況下，處理器170能夠排除第一動作。如果，在車輛進行高速道路行駛的情況下，由于在高速道路上沒有行人，因此能夠排除行人檢測。在這種狀況下，當相加后的執行預測時間在臨界值以上時，處理器170能夠在多個動作中將行人檢測動作判斷為能夠排除的動作。

另外，將被排除的動作在下一個幀中進行調度的情況下，能夠在執行順 序中配置于優先順序。例如，在第二幀中在排除第一動作的狀態下，處理器170接收第三幀并針對第三幀執行對上述第一至第三動作的第三調度的情況下，處理器170能夠將第一動作在執行順序中配置于優先順序。

另外，將被排除的動作在下一個幀中進行調度的情況下，能夠在執行順序中考慮其他動作的測定出的執行時間而配置于優先順序。例如，在第二幀中在排除第一動作的狀態下，處理器170接收第三幀并針對第三幀執行對上述第一至第三動作的第三調度的情況下，處理器170考慮第二及第三動作的執行時間而設定執行順序。具體而言，在第二及第三動作中的一個的執行時間為已設定的基準值以上的情況下，處理器170能夠將具有基準值以上的執行時間的動作判斷為重要動作。此時，處理器170能夠在執行順序中將具有基準值以上的執行時間的動作與第一動作相比配置于優先順序。

在排除了被判斷為能夠排除的動作之后，處理器170對多個動作中的各動作執行預測時間進行相加(S825)，在設定多個動作中的各動作的執行順序之后(S835)，再次判斷相加后的執行預測時間是否在臨界值以上(S840)。

如果，在不存在能夠排除的動作的情況下，處理器170能夠調整多個動作的執行預測時間(S855)。例如，處理器170能夠調整第一至第三動作中至少一個動作的執行預測時間。如果，在第一動作的執行預測時間與第二動作及第三動作的執行預測時間相比過長的情況下，處理器170能夠縮短第一動作的執行預測時間。如果，第一至第三動作的執行預測時間相似的情況下，處理器170能夠分別縮短第一至第三動作的執行預測時間。

在調整了執行預測時間之后，處理器170對多個動作中的各動作執行預測時間進行相加(S825)，在設定多個動作中的各動作的執行順序之后(S835)，再次判斷相加后的執行預測時間是否在臨界值以上(S840)。

圖9是根據本發明的實施例而說明車輛駕駛輔助裝置時所參照的處理器的內部框圖。

參照圖9，處理器170可以包括前處理部410、調度部910、動作執行部930及執行時間測定部950。

處理器170從立體攝像頭模塊195接收立體影像(S810)。立體影像可以包括多個幀。車輛駕駛輔助裝置100中所包含的立體攝像頭模塊195能夠連續獲取立體影像，處理器170能夠從立體攝像頭模塊195連續接收立體影 像。例如，處理器170能夠接收第一幀。接著，處理器170能夠接收第二幀。接著，處理器170能夠接收第三幀。在此，第一至第三幀可以是按照所獲取的順序而從立體攝像頭模塊195傳遞到處理器170的立體影像。第一至第三幀隨著時間的流逝而顯示由處理器170接收的幀，但并不意味著必須在第一幀之后接收第二幀、且在第二幀之后接收第三幀。即，在第一及第二幀之間可以包括至少一個幀，在第二及第三幀之間可以包括至少一個幀。

前處理部410能夠從立體攝像頭模塊195接收立體影像，并執行前處理。

例如，處理器170能夠執行針對立體影像的噪聲降低(noise reduction)、改正(rectification)、校準(calibration)、顏色增強(color enhancement)、顏色空間轉換(color space conversion；CSC)、內插(interpolation)、攝像頭增益控制(camera gain control)等。隨之，能夠獲取比立體攝像頭195中拍攝的立體影像更加鮮明的立體影像。

另外，前處理部410能夠執行3D基礎的前處理及2D基礎的前處理。例如，前處理部410能夠執行3D基礎的前處理。如果，3D基礎的前處理能夠用于執行檢測與預定目標之間的距離的動作。例如，前處理部410能夠執行2D基礎的前處理。如果，2D基礎的前處理能夠用于執行目標檢測動作。前處理部410在執行動作時，能夠適當選擇3D或2D基礎的前處理而利用。或者，前處理部410能夠對3D或2D基礎的前處理進行組合而利用。

調度部910能夠執行對多個動作的調度。在此，調度可以是針對多個動作中的各動作預測執行時間，并針對多個動作中的各動作設定執行順序的動作。調度部910能夠基于針對多個動作中的各動作測定出的執行時間來執行調度。在此，測定出的執行時間可以是在執行時間測定部950中測定出的執行時間。或者，測定出的執行時間可以是存儲在DB141中的執行時間。

例如，調度部910能夠接收第一幀，并針對第一幀執行對第一至第三動作的第一調度。接著，動作執行部930能夠按照第一調度來執行第一至第三動作。接著，執行時間測定部950能夠測定按照第一調度執行的第一至第三各動作的執行時間。接著，調度部910能夠接收第二幀，并針對第二幀執行對第一至第三動作的第二調度。此時，調度部910能夠基于測定出的第一至第三各動作的執行時間來執行第二調度。

另外，在執行第二調度之后，動作執行部930能夠按照第二調度來執行 第一至第三動作。接著，執行時間測定部950能夠測定按照第二調度執行的第一至第三各動作的執行時間。接著，調度部910能夠基于測定出的按照第一調度執行的第一至第三各動作的執行時間、和測定出的按照第二調度執行的第一至第三各動作的執行時間，計算出第一至第三各動作的執行時間的變化量。

具體而言，調度部910可以包括變化量計算部911、執行時間預測部913、執行順序設定部915及判斷部917。

變化量計算部911能夠計算出多個動作中的各動作的執行時間的變化量。

例如，變化量計算部911能夠基于按照第一調度執行的多個動作的執行時間及按照第二調度執行的多個動作的執行時間，計算出多個動作的執行時間的變化量。

例如，變化量計算部911能夠基于按照第一調度執行的第一動作的執行時間及按照第二調度執行的第一動作的執行時間，計算出第一動作執行時間的變化量。

例如，變化量計算部911能夠基于按照第一調度執行的第二動作的執行時間及按照第二調度執行的第二動作的執行時間，計算出第二動作執行時間的變化量。

例如，變化量計算部911能夠基于按照第一調度執行的第三動作的執行時間及按照第二調度執行的第三動作的執行時間，計算出第三動作執行時間的變化量。

另外，能夠將執行時間的變化量累積存儲到DB141中。

另外，多個動作中的各動作的執行時間的變化量能夠連續計算。例如，變化量計算部911能夠計算出第一及第二幀中的根據各動作的執行時間的執行時間的變化量。并且，變化量計算部911能夠計算出第二及第三幀中的根據各動作的執行時間的執行時間的變化量。并且，變化量計算部911能夠計算出第三及第四幀中的根據各動作的執行時間的執行時間的變化量。在此情況下，各個執行時間的變化量可以具有最小值、最大值、平均值。根據實施例，變化量計算部911能夠在累積而存儲的執行時間的變化量中以最大值為基準來預測多個動作中的各動作的執行時間。在此情況下，具有執行時間預 測產生誤差的概率降低的優點。

執行時間預測部913能夠預測多個動作中的各動作的執行時間。

執行時間預測部913能夠基于在前一個幀中測定出的多個動作中的各動作的執行時間，在下一個幀中預測多個動作中的各動作的執行時間。

根據第一實施例，執行時間預測部913能夠基于針對第一幀測定出的多個動作中的各動作的執行時間，針對第二幀預測多個動作中的各動作的執行時間。執行時間預測部913能夠基于針對第二幀測定出的多個動作中的各動作的執行時間，針對第三幀預測多個動作中的各動作的執行時間。

根據第二實施例，執行時間測定部950測定按照第一調度執行的多個動作中的各動作的執行時間。接著，執行時間測定部950測定按照第二調度執行的多個動作中的各動作的執行時間。接著，變化量計算部911能夠基于測定出的按照第一調度執行的多個動作中的各動作的執行時間、和測定出的按照第二調度執行的多個動作中的各動作的執行時間，計算出多個動作中的各動作的執行時間的變化量。接著，針對第三幀執行對多個動作的第三調度的情況下，執行時間預測部913能夠反映各動作的執行時間的變化量。例如，執行時間預測部913通過對測定出的按照第二調度執行的多個動作中的各動作的執行時間分別加上多個動作中的各動作的執行時間的變化量，能夠預測多個動作中的各動作的執行時間。

根據第一實施例，執行時間測定部950能夠測定按照第一調度執行的第一動作執行時間。接著，執行時間預測部913在執行第二調度時，能夠基于測定出的按照第一調度執行的第一動作執行時間，針對第二幀預測第一動作執行時間。并且，執行時間測定部950能夠測定按照第二調度執行的第一動作執行時間。接著，執行時間預測部915在執行第三調度時，能夠基于測定出的按照第二調度執行的第一動作執行時間，針對第三幀預測第一動作執行時間。

根據第二實施例，執行時間測定部950能夠測定按照第一調度執行的第一動作的執行時間。并且，執行時間測定部950能夠測定按照第二調度執行的第一動作的執行時間。接著，變化量計算部911能夠基于按照第一調度執行的第一動作執行時間及按照第二調度執行的第一動作執行時間，來計算出第一動作執行時間的變化量。接著，執行時間預測部915能夠通過對按照第 二調度執行的第一動作的執行時間加上第一動作執行時間的變化量，來針對第三調度預測第一動作的執行時間。

根據第一實施例，執行時間測定部950能夠測定按照第一調度執行的第二動作執行時間。接著，執行時間預測部913在執行第二調度時，能夠基于測定出的按照第一調度執行的第二動作執行時間，來針對第二幀預測第二動作執行時間。并且，執行時間測定部950能夠測定按照第二調度執行的第二動作執行時間。接著，執行時間預測部915在執行第三調度時，能夠基于測定出的按照第二調度執行的第二動作執行時間，來針對第三幀預測第二動作執行時間。

根據第二實施例，執行時間測定部950能夠測定按照第一調度執行的第二動作的執行時間。并且，執行時間測定部950能夠測定按照第二調度執行的第二動作的執行時間。接著，變化量計算部911能夠基于按照第一調度執行的第二動作執行時間及按照第二調度執行的第二動作執行時間，來計算出第二動作執行時間的變化量。接著，執行時間預測部915能夠通過對按照第二調度執行的第一動作的執行時間加上第二動作執行時間的變化量，來針對第三調度預測第一動作的執行時間。

根據第一實施例，執行時間測定部950能夠測定按照第一調度執行的第三動作執行時間。接著，執行時間預測部913在執行第二調度時，能夠基于測定出的按照第一調度執行的第三動作執行時間，來針對第二幀預測第三動作執行時間。并且，執行時間測定部950能夠測定按照第二調度執行的第三動作執行時間。接著，執行時間預測部915在執行第三調度時，能夠基于測定出的按照第二調度執行的第三動作執行時間，來針對第三幀預測第三動作執行時間。

根據第二實施例，執行時間測定部950能夠測定按照第一調度執行的第三動作的執行時間。并且，執行時間測定部950能夠測定按照第二調度執行的第三動作的執行時間。接著，變化量計算部911能夠基于按照第一調度執行的第三動作執行時間及按照第二調度執行的第三動作執行時間，計算出第三動作執行時間的變化量。接著，執行時間預測部915能夠通過對按照第二調度執行的第一動作的執行時間加上第二動作執行時間的變化量，來針對第三調度預測第三動作的執行時間。

另外，執行時間預測部913在預測第一動作的執行時間時，能夠在基準時間以上的范圍內進行預測。在此，第一動作可以是多個動作中必須要執行的動作。并且，第一動作可以是在未執行基準時間以上的情況下、執行動作的結果明顯降低的動作。如果，在行人檢測(Pedestrian Detection)動作執行小于25msec的時間的情況下，當未實現準確的檢測時，執行時間預測部913能夠在25msec以上的范圍內對行人檢測進行預測。

執行順序設定部915能夠設定多個動作中的各動作的執行順序。例如，執行順序設定部915能夠根據預定的基準，對第一至第三動作中哪個動作以在優先順序執行且哪個動作以在后順序執行進行設定。

在此，執行順序能夠設定成按照從執行時間預測部913預測出的多個動作中的各動作的執行時間較短的順序配置于優先順序。如果，在預測出的執行時間以第一動作、第二動作、第三動作的順序較長的情況下，執行順序設定部915能夠按照第一動作、第二動作及第三動作的順序設定執行順序。在此情況下，通過首先執行預測出的執行時間較短的動作，具有能夠在有限的時間內執行更多的動作的優點。

在此，執行順序可以反映車輛的行駛環境或外部環境而設定。另外，處理器170還可以包括行駛環境及外部環境判斷部(未圖示)。行駛環境及外部環境判斷部(未圖示)能夠基于從立體攝像頭模塊195接收的立體影像而判斷行駛環境或外部環境。或者，行駛環境及外部環境判斷部(未圖示)能夠基于通過接口部130接收的各種傳感器信息而判斷行駛環境或外部環境。此時，行駛環境可以是車輛所行駛的道路的種類為高速道路、國道、鄉村道路及市內道路中的任一種。并且，外部環境可以是車輛所行駛的區間的狀態、車輛行駛時的天氣的狀態及車輛所行駛的時間中的任一種。

在此，執行順序能夠按照已設定的默認(default)順序進行設定。例如，在測定多個動作中的各動作的執行時間之前，執行順序設定部915能夠按照已設定的默認順序來設定執行順序。即，在前一個幀中無法測定多個動作執行時間的情況下，執行順序設定部915能夠按照已設定的默認順序來設定執行順序。如果，在最初設定執行順序的情況、或者在產生錯誤之后設定執行順序的情況下，執行順序設定部915能夠按照已設定的默認順序來設定執行順序。或者，執行順序設定部915能夠在預定的環境下按照已設定的默認順 序來設定執行順序。如果，在車輛的外部環境為隧道進入或退出區間的情況、日出或日落時間的情況、以及下雨或下雪的天氣的情況中的任一種的情況下，執行順序設定部915能夠按照已設定的默認順序來設定執行順序。

另外，在多個動作中存在必須要執行的動作的情況下，執行順序設定部915能夠將必須執行動作設定為最優先順序。如果，在第一動作為車輛安全運行相關動作的情況下，執行順序設定部915能夠在執行順序中將第一動作設定為最優先順序。例如，執行順序設定部915能夠將多個動作中與行人安全相關的行人檢測(Pedestrian Detection)在執行順序中設定為最優先順序。存儲器140能夠預先存儲必須要執行的動作列表。執行順序設定部915能夠按照存儲在存儲器140中的列表，在執行順序中首先設定優先順序之后，設定之后的順序。

另外，在第二幀中存在多個動作中必須要執行的動作的情況下，執行順序設定部915能夠將必須執行動作設定為最優先順序。如果，在第二幀中第一動作為車輛安全運行相關動作的情況下，執行順序設定部915能夠在執行順序中將第一動作設定為最優先順序。接著，在從立體攝像頭模塊195接收上述第三幀、并針對第三幀執行對上述第一至第三動作的第三調度的情況下，執行順序設定部915能夠反復在執行順序中將第一動作設定為最優先順序。

判斷部917能夠對多個動作中的各動作執行預測時間進行相加，并判斷相加后的執行預測時間是否在臨界值以上。例如，判斷部917能夠對第一動作至第三動作的執行預測時間進行相加，并判斷相加后的執行預測時間是否在臨界值以上。

在此，臨界值可以意味著處理器170能夠處理的極限值。例如，在連續接收的多個幀中，要在接收下一個幀之前完成當前幀的動作。在此情況下，臨界值可以意味著在接收下一個幀之前、在當前幀中處理器170能夠執行動作的時間。如果，在第一幀中執行多個動作之后在第二幀中執行多個動作的情況下，處理器170在第一幀中執行的多個動作要在接收第二幀之前執行。在此情況下，臨界值可以意味著在接收第二幀之前、在第一幀中處理器170能夠執行動作的時間。

在相加后的執行預測時間不在臨界值以上的情況下，動作執行部930能 夠執行調度后的多個動作。

在相加后的執行預測時間在臨界值以上的情況下，判斷部917能夠判斷在多個動作中是否存在能夠排除的動作。例如，判斷部917能夠判斷在第一至第三動作中是否存在能夠排除的動作。

如果，在存在能夠排除的動作的情況下，判斷部917能夠排除被判斷為能夠排除的動作。例如，在第一動作被判斷為能夠排除的動作的情況下，判斷部917能夠排除第一動作。如果，在車輛進行高速道路行駛的情況下，由于在高速道路上沒有行人，因此能夠排除行人檢測。在這種狀況下，當相加后的執行預測時間在臨界值以上時，判斷部917能夠在多個動作中將行人檢測動作判斷為能夠排除的動作。

另外，被排除的動作在下一個幀中進行調度的情況下，能夠在執行順序中配置于優先順序。例如，在第二幀中排除了第一動作的狀態下，接收第三幀并針對第三幀執行對上述第一至第三動作的第三調度的情況下，執行順序設定部915能夠將第一動作在執行順序中配置于優先順序。

另外，被排除的動作在下一個幀中進行調度的情況下，能夠在執行順序中考慮其他動作的測定出的執行時間而配置于優先順序。例如，在第二幀中排除了第一動作的狀態下，接收第三幀并針對第三幀執行對上述第一至第三動作的第三調度的情況下，執行順序設定部915能夠考慮第二及第三動作的執行時間而設定執行順序。具體而言，在第二及第三動作中任一個的執行時間為已設定的基準值以上的情況下，執行順序設定部915能夠在執行順序中將具有基準值以上的執行時間的動作與第一動作相比配置于優先順序。

在排除了被判斷為能夠排除的動作之后，判斷部917能夠對多個動作中的各動作執行預測時間進行相加。執行順序設定部915能夠設定多個動作中的各動作的執行順序。判斷部917能夠再次判斷相加后的執行預測時間是否在臨界值以上。

如果，在不存在能夠排除的動作的情況下，執行時間預測部913能夠調整多個動作的執行預測時間。例如，執行時間預測部913能夠調整第一至第三動作中至少一個動作的執行預測時間。如果，在第一動作的執行預測時間與第二動作及第三動作的執行預測時間相比過長的情況下，執行時間預測部913能夠縮短第一動作的執行預測時間。如果，在第一至第三動作的執行預 測時間相似的情況下，執行時間預測部913能夠分別縮短第一至第三動作的執行預測時間。

在調整執行預測時間之后，判斷部917能夠對多個動作中的各動作執行預測時間進行相加。執行順序設定部915能夠設定多個動作中的各動作的執行順序。判斷部917能夠再次判斷相加后的執行預測時間是否在臨界值以上。

動作執行部930可以是包括在圖4A至圖4B中說明的差異運算部420、分割部432、目標檢測部434、目標確認部436、目標跟蹤部440及應用程序部450的概念。在本說明書中，關于多個動作主要舉例說明目標檢測，但是在本說明書中多個動作不限于目標檢測。即，在本說明書中多個動作可以是包括在處理器170中能夠執行的所有動作的概念。

動作執行部930能夠按照調度來執行多個動作。例如，動作執行部930能夠在第一幀中按照第一調度來執行第一動作931、第二動作932及第三動作933。并且，動作執行部930能夠在第二幀中按照第二調度來執行第一動作931、第二動作932及第三動作933。并且，動作執行部930能夠在第三幀中按照第三調度來執行第一動作931、第二動作932及第三動作933。在本附圖中僅示出至第三動作933，但當然還能夠執行第三動作933以上的動作。

例如，動作執行部930能夠執行行車線檢測(Lane Detection，LD)、周邊車輛檢測(Vehicle Detection，VD)、行人檢測(Pedestrian Detection，PD)、燈光檢測(Brightspot Detection，BD)、交通標志牌檢測(Traffic Sign Recognition，TSR)、道路表面檢測、自行車檢測(Bicyle Detection，BD)、馬達循環檢測(Motor Cycle Detection，MCD)、遠光燈協助(High Beam Assistance)等。

執行時間測定部950能夠針對多個動作中的各動作測定執行時間。

例如，執行時間測定部950能夠針對第一幀測定按照第一調度執行第一動作所需的時間。并且，執行時間測定部950能夠在第二幀中測定按照第二調度執行第一動作所需的時間。并且，執行時間測定部950能夠針對第三幀測定按照第三調度執行第一動作所需的時間。

例如，執行時間測定部950能夠針對第一幀測定按照第一調度執行第二動作所需的時間。并且，執行時間測定部950能夠在第二幀中測定按照第二 調度執行第二動作所需的時間。并且，執行時間測定部950能夠針對第三幀測定按照第三調度執行第二動作所需的時間。

例如，執行時間測定部950能夠針對第一幀測定按照第一調度執行第三動作所需的時間。并且，執行時間測定部950能夠在第二幀中測定按照第二調度執行第三動作所需的時間。并且，執行時間測定部950能夠針對第三幀測定按照第三調度執行第三動作所需的時間。

另外，針對多個動作中的各動作測定出的執行時間能夠存儲在DB141中。在此，DB141可以意味著在第一存儲器140中所具備的預定的數據庫。

圖10示出了根據本發明的實施例而在車輛駕駛輔助裝置中具備多個處理器的情況。

參照圖10，處理器170可以是多個。例如，可以包括第一處理器1010、第二處理器1020及第三處理器1030。附圖中僅示出至第三處理器1030，但還可以包括其以上的處理器。

在具備多個處理器1010、1020、1030的情況下，多個動作能夠分到多個處理器1010、1020、1030中執行。

例如，第一處理器1010可以是主處理器。第一處理器1010可以包括參照圖9進行了說明的前處理部410、調度部910、第一動作執行部930a、動作分配部(未圖示)及第一執行時間測定部950a。第二處理器1020及第三處理器1030可以是副處理器。第二處理器1020可以包括第二動作執行部930b及第二執行時間測定部950b。第三處理器1030可以包括第三動作執行部930c及第三執行時間測定部950c。各個單元的動作如參照圖9進行說明的內容。

以下，以第一處理器1010及第二處理器1020的動作為基準而進行說明。

第一處理器1010能夠基于測定出的多個動作中的各動作的執行時間，預測多個動作中的各動作的執行時間。第一處理器1010能夠基于預測出的多個動作中的各動作的執行時間，對在第一處理器1010及第二處理器1020中執行的動作進行分配。第一處理器1030能夠設定分別在第一處理器1010及第二處理器1020中執行的動作中的各動作的執行順序。

例如，第一處理器1010能夠基于測定出的各動作的執行時間，預測第一至第三各動作的執行時間。第一處理器1010能夠基于預測出的第一至第 三各動作的執行時間，對第一處理器1010以執行第一動作及第二動作的方式進行分配，對第二處理器1020以執行第三動作的方式進行分配。第一處理器1010能夠設定分配給第一處理器1010的第一動作及第二動作和分配給第二處理器1020的第三動作各自的執行順序。

另外，在對第一處理器1010分配第一動作及第二動作，且對第二處理器1020分配第三動作的情況下，第一處理器1010能夠測定第一及第二各動作的執行時間并進行相加。第一處理器1010能夠判斷相加后的預測執行時間是否在臨界值以上。在此，臨界值可以意味著第一處理器1010能夠處理的極限值。例如，在連續接收的多個幀中，要在接收下一個幀之前完成當前幀的動作。在此情況下，臨界值可以意味著在接收下一個幀之前，在當前幀中第一處理器1010能夠執行動作的時間。

如果，在相加后的預測執行時間在臨界值以上的情況下，第一處理器1010能夠將第一動作及第二動作中的一個動作再分配到第二處理器1020。在此情況下，第二處理器1020能夠進一步執行再分配的動作。即，第二處理器1020能夠進一步執行第一動作及第二動作中的一個動作。

另外，第一處理器1010中所包含的前處理部410能夠執行2D及3D基礎的前處理。此時，第一處理器1010能夠將基于2D基礎的前處理而執行的第一動作及第二動作分配給第一處理器1010，將基于3D基礎的前處理而執行的第三動作分配給第二處理器1020。在此情況下，第一處理器1010能夠測定第一及第二各動作的執行時間并進行相加，判斷相加后的預測執行時間是否在臨界值以上。在此，臨界值可以意味著第一處理器1010能夠處理的極限值。例如，在連續接收的多個幀中，要在接收下一個幀之前完成當前幀的動作。在此情況下，臨界值可以意味著在接收下一個幀之前，在當前幀中第一處理器1010能夠執行動作的時間。

如果，在相加后的預測執行時間在臨界值以上的情況下，第一處理器1010能夠將第一動作及第二動作中的一個動作再分配到第二處理器1020。在此情況下，第二處理器1020能夠進一步執行再分配的動作。在此，第二處理器1020能夠進一步執行基于3D基礎的前處理而再分配的動作。即，第二處理器1020能夠進一步基于3D基礎的前處理而執行第一動作及第二動作中的一個動作。

如上所述，通過對在第一處理器1010及第二處理器1020中執行的動作靈活地進行分配，能有效地使用處理器170。并且，處理器170能夠執行穩定的動作。

另外，第一處理器1010能夠基于預測出的各動作的執行時間，以在第一處理器1010中執行的動作及在第二處理器1020中執行的動作形成平衡的方式進行分配。即，分配成在第一處理器1010中執行的動作所需的時間、與在第二處理器1020中執行的動作所需的時間之間的時間性差別較小。如果，在預測出的第一動作執行時間為30msec，預測出的第二動作執行時間為10msec，且預測出的第三動作執行時間為5msec的情況下，第一處理器1010能夠以施加于第一及第二處理器1010、1020的負載形成平衡的方式，將第一動作分配給第一處理器1010，將第二及第三動作分配給第二處理器1020。

圖11A至圖11B是在說明根據本發明的實施例的車輛駕駛輔助裝置的動作時所參照的處理器的內部框圖。

圖11A示出了不具備調度部910及執行時間測定部950的處理器170的內部框圖。

參照圖11A，處理器170可以包括前處理部410、動作執行部930。

前處理部410能夠從立體攝像頭模塊195接收立體影像，并執行前處理。例如，前處理部410能夠執行3D基礎(Engine 3D)的前處理及2D基礎(Engine2D)的前處理。

動作執行部930能夠以前處理為基礎，按照已設定的順序及時間而執行多個動作。例如，動作執行部930能夠按照已設定的順序及時間，執行行車線檢測(Lane Detection，LD)、周邊車輛檢測(Vehicle Detection，VD)、行人檢測(Pedestrian Detection，PD)、燈光檢測(Brightspot Detection，BD)、交通標志牌檢測(Traffic Sign Recognition，TSR)、道路表面檢測、自行車檢測(Bicyle Detection，BD)、馬達循環檢測(Motor Cycle Detection，MCD)、遠光燈協助(High Beam Assistance)等。在此情況下，多個動作各自的處理時間及執行順序已經被確定，因此有可能存在難以應對可變狀況的問題。

圖11B示出了具備調度部910及執行時間測定部950的處理器170的內部框圖。

參照圖11B，處理器170包括前處理部410、調度部910、動作執行部 930及執行時間測定部950。

前處理部410能夠從立體攝像頭模塊195接收立體影像，并執行前處理。例如，前處理部410能夠執行3D基礎(Engine 3D)的前處理及2D基礎(Engine2D)的前處理。

調度部910能夠執行對多個動作的調度。在此，調度可以是針對多個動作中的各動作預測執行時間，并針對多個動作中的各動作設定執行順序的動作。調度部910能夠基于針對多個動作中的各動作測定出的執行時間來執行調度。在此，測定出的執行時間可以是在執行時間測定部950中測定出的執行時間。或者，測定出的執行時間可以是存儲在DB141中的執行時間。

動作執行部930能夠按照調度來執行多個動作。例如，動作執行部930能夠按照在調度部910中執行的調度，執行行車線檢測(Lane Detection，LD)、周邊車輛檢測(Vehicle Detection，VD)、行人檢測(Pedestrian Detection，PD)、燈光檢測(Brightspot Detection，BD)、交通標志牌檢測(Traffic Sign Recognition，TSR)、道路表面檢測、自行車檢測(Bicyle Detection，BD)、馬達循環檢測(Motor Cycle Detection，MCD)、遠光燈協助(High Beam Assistance)等。

執行時間測定部950能夠針對多個動作中的各動作測定執行時間。針對多個動作中的各動作測定出的執行時間能夠存儲在DB141中。并且，針對多個動作中的各動作測定出的執行時間能夠傳遞到調度部910。

在此情況下，基于調度來執行多個動作，因此具有穩定且有效地在車輛輔助裝置100中執行多個動作的效果。并且，通過車輛輔助裝置100的性能提高，能夠對搭乘在車輛中的用戶提供更好的便利。

圖12是根據本發明的實施例而在相同的狀況下，對第一動作及第二動作的執行時間進行比較時所參照的圖。

圖12A及圖12B分別示出了在進行相互不同區間的高速道路行駛時，通過立體攝像頭模塊195獲取的影像。

在圖12A中，處理器170能夠執行周邊車輛檢測(Vehicle Detection)。此時，處理器170能夠測定周邊車輛檢測動作執行時間為12.334msec。并且，處理器170能夠執行行車線檢測(Lane Detection)。此時，處理器170能夠測定行車線檢測動作執行時間為17.874msec。

在圖12B中，處理器170能夠執行周邊車輛檢測(Vehicle Detection)。此時，處理器170能夠測定周邊車輛檢測動作執行時間為7.634msec。并且，處理器170能夠執行行車線檢測(Lane Detection)。此時，處理器170能夠測定行車線檢測動作執行時間為23.747msec。

如果，假設處理器170能夠處理的極限值為33msec，以對周邊車輛檢測分配11msec且對行車線檢測分配22msec的方式分配時間。在此情況下，如圖11A所示，在無調度的狀況下執行動作的情況下，在圖12A中，行車線檢測能夠在被分配的時間內正常執行，而周邊車輛檢測超過了被分配的時間而無法正常執行。

并且，在圖12B中，周邊車輛檢測能夠在被分配的時間內正常執行，而行車線檢測超出了被分配的時間而無法正常執行。

如此，雖然處理器170具有能夠執行所有的周邊車輛檢測動作及行車線檢測動作的能力，但是由于對各個動作一并分配時間，存在周邊車輛檢測動作及行車線檢測動作無法全部執行的問題。

如果，如圖11B所示，在以前一個幀為基礎來執行調度之后執行動作的情況下，在圖12A中，處理器170能夠以12.334msec為基礎來預測周邊車輛檢測執行時間，能夠以17.874msec為基礎來預測行車線檢測執行時間。此時，能夠基于預測出的各自的時間來分配時間，因此12.334msec和17.874msec之和即30.198msec為作為極限值的33msec以下，因此周邊車輛檢測及行車線檢測均能正常執行。

并且，在圖12B中，處理器170也能夠以7.634msec為基礎來預測周邊車輛檢測執行時間，能夠以23.747msec為基礎來預測行車線檢測執行時間。此時，能夠基于預測出的各自的時間來分配時間，因此7.634msec和23.747msec之和即31.381為作為極限值的33msec以下，因此周邊車輛檢測及行車線檢測均能正常執行。

圖13A至圖17是根據本發明的實施例而在相互不同的狀況下，執行第一動作及第二動作的情況下，對執行時間進行比較時所參照的圖。

圖13A至圖13B是在說明在車輛專用道路上行駛時，以通過立體攝像頭模塊195獲取的影像為基礎來進行的周邊車輛檢測(Vehicle Detection)動作時進行參照。

首先，參照圖13A，在從立體攝像頭模塊195接收的影像中，處理器170能夠檢測5臺的周邊車輛1310。

此時，如圖13B所示，能夠用曲線來表示根據幀(X軸)的測定執行時間(VD)及執行時間的變化量(VD diff)。

圖13B的(a)部分表示500幀中的測定執行時間(VD)及執行時間變化量(VD diff)，圖13B的(b)部分對圖13B的(a)部分中的預定部分進行放大而表示50幀中的測定執行時間(VD)及執行時間變化量(VD diff)。

在圖13B的(a)部分中雖然看似周邊車輛檢測(VD)測定執行時間存在急劇的變化，但如圖13B的(b)部分所示，如果對圖13B的(a)部分的局部進行放大，則能夠確認到變化的幅度平緩。

周邊車輛檢測執行時間變化量(VD diff)表示之前的幀與下一個幀的測定執行時間變化量。能夠確認到周邊車輛檢測執行時間變化量(VD diff)無較大的差別而幾乎保持恒定。

結果，各幀在車輛執行時間上不存在較大的變化，因此能夠基于在之前的幀中測定出的周邊車輛檢測動作執行時間，在下一個幀中預測周邊車輛檢測動作執行時間。并且，能夠基于在之前的幀中計算出的周邊車輛檢測執行時間變化量，在下一個幀中預測周邊車輛檢測動作執行時間。

圖14A至圖14B是在說明在胡同道路上行駛時，以通過立體攝像頭模塊195獲取的影像為基礎來進行的行人檢測(Pedestrian Detection)動作時進行參照。

參照圖14A，在從立體攝像頭模塊195接收的影像中，處理器170能夠檢測出1臺周邊車輛1410。并且，處理器170能夠檢測出5名行人1420。

此時，如圖14B所示，能夠用曲線來表示根據幀(X軸)的測定執行時間(PD)及執行時間的變化量(PD diff)。

圖14B的(a)部分表示500幀中的測定執行時間(PD)及執行時間變化量(PD diff)，圖14B的(b)部分對圖14B的(a)部分的預定部分進行放大而表示50幀中的測定執行時間(PD)及執行時間變化量(PD diff)。

在圖14B的(a)部分中雖然看似行人檢測(PD)測定執行時間存在急劇的變化，但是如圖14B的(b)部分所示，如果對圖14B的(a)部分的局部進行放大，則能夠確認到變化的幅度平緩。

行人檢測執行時間變化量(PD diff)表示之前的幀與下一個幀的測定執行時間變化量。能夠確認到行人檢測執行時間變化量(PD diff)無較大的差別而幾乎保持恒定。

結果，各幀在車輛執行時間上不存在較大變化，因此能夠基于在之前的幀中測定出的行人檢測動作執行時間，在下一個幀中預測行人檢測動作執行時間。并且，能夠基于在之前的幀中計算出的行人檢測執行時間變化量，在下一個幀中預測行人檢測動作執行時間。

圖15A至圖15B是在說明在車輛專用道路上行駛時，以通過立體攝像頭模塊195獲取的影像為基礎來進行的周邊車輛檢測(Vehicle Detection)及行人檢測(Pedestrian Detection)動作時進行參照。

參照圖15A，在從立體攝像頭模塊195接收的影像中，處理器170能夠檢測出5臺周邊車輛1510。并且，處理器170能夠檢測出1名行人1520。

參照圖15B，在車輛較多的車輛專用道路上，周邊車輛檢測(VD)與行人檢測(PD)相比需要更多的時間。在本附圖中，一般而言，當考慮行人檢測(PD)與周邊車輛檢測(VD)相比需要更多的時間時，可以解釋為周邊車輛檢測(VD)與行人檢測(PD)相比需要相對較多的時間。

并且，與在胡同道路上行駛的情況(圖16B)相比時，車輛專用道路的周邊車輛檢測(VD)與胡同道路的周邊車輛檢測(VD)相比需要更多的時間。

另外，在行人較少的胡同道路上，行人檢測(PD)與周邊車輛檢測(VD)相比需要更少的時間。并且，與在胡同道路上行駛的情況(圖16B)相比時，車輛專用道路的行人檢測(PD)與胡同道路的行人檢測(PD)相比需要更少的時間。

結果，在車輛專用道路上周邊車輛檢測(VD)比行人檢測(PD)要求更多的時間。并且，在車輛專用道路的情況下，當周邊車輛檢測(VD)與行人檢測(PD)相比優先執行時，能夠更有效地使處理器170運行。

圖16A至圖16B是在說明在胡同道路上行駛時，以通過立體攝像頭模塊195獲取的影像為基礎來進行的行人檢測(Pedestrian Detection)動作時進行參照。

參照圖16A，在從立體攝像頭模塊195接收的影像中，處理器170能夠 檢測出1臺周邊車輛1610。并且，處理器170能夠檢測出5名行人1620。

參照圖16B，在行人較多的胡同道路上，行人檢測(PD)與周邊車輛檢測(VD)相比需要更多的時間。并且，與在車輛專用道路上行駛的情況(圖15B)相比時，胡同道路的行人檢測(PD)與車輛專用道路的行人檢測(PD)相比需要更多的時間。

另外，在周邊車輛較少的胡同道路上，周邊車輛檢測(VD)與行人檢測(PD)相比需要更少的時間。并且，與在車輛專用道路上行駛的情況(圖15B)相比時，胡同道路的周邊車輛檢測(VD)與車輛專用道路的周邊車輛檢測(VD)相比需要更少的時間。

結果，在胡同道路上行人檢測(PD)比周邊車輛檢測(VD)要求更多的執行時間。并且，在胡同道路的情況下，當行人檢測(PD)與周邊車輛檢測(VD)相比優先執行時，能更有效地使處理器170運行。

圖17A用曲線來表示胡同道路(圖16A)及車輛專用道路(圖15A)中的周邊車輛檢測(VD)所需要的時間。

對周邊車輛檢測(VD)所需要的時間的最小值、最大值、平均值進行比較可知，在各個中在車輛專用道路上周邊車輛檢測(VD)1720所需要的時間更多。其結果可知，與胡同道路的1710相比，在車輛專用道路上周邊車輛檢測(VD)1720中預測的執行時間要更多，這樣才能準確且有效地使處理器170運行。

圖17B用曲線來表示胡同道路(圖16A)及車輛專用道路(圖15A)中的行人檢測(PD)所需要的時間。

對行人檢測(PD)所需要的時間的最小值、最大值、平均值進行比較可知，在最小值中相似，在最大值及平均值中在胡同道路上行人檢測(PD)1730所需要的時間更多。其結果可知，與車輛專用道路的情況1740相比，在胡同道路上行人檢測(PD)1730中預測的執行時間要更多，這樣才能準確且有效地使處理器170運行。

以下，對根據本發明的各種各樣的實施例的車輛的車輛駕駛輔助裝置的動作方法進行說明。該車輛駕駛輔助裝置的動作方法可以是在基于立體影像的第一幀執行多個動作之后，基于上述立體影像的第二幀執行多個動作的動作方法。該車輛駕駛輔助裝置的動作方法可以包括：從立體攝像頭模塊接收 上述第一幀，并在上述第一幀中執行對上述多個動作的第一調度(scheduling)的步驟；按照上述第一調度，執行上述多個動作并測定上述多個動作中的各動作的執行時間的步驟；從上述立體攝像頭模塊接收上述第二幀，并在上述第二幀中基于測定出的上述各動作的執行時間，執行對上述多個動作的第二調度的步驟；以及將基于根據上述第一調度的上述多個動作中的各動作執行或者根據上述第二調度的上述多個動作中的各動作執行的畫面輸出到顯示部的步驟。

上述的本發明能夠在記錄有程序的介質中用計算機能夠讀取的代碼來實現。計算機能夠讀取的介質包括存儲有由計算機系統能夠讀取的數據的所有種類的記錄裝置。作為計算機能夠讀取的介質的例子，有HDD(Hard Disk Drive)、SSD(Solid State Disk)、SDD(Silicon Disk Drive)、ROM、RAM、CD-ROM、磁帶、軟盤、光數據存儲裝置等，并且還包括以載波(例如，通過互聯網的傳輸)形式實現的情況。并且，上述計算機還可以包括處理器170或控制部770。因此，上述的詳細說明在所有方面不應解釋為限制性的，而是要理解為示意性的。本發明的范圍應由所附的權利要求的合理性解釋來確定，在本發明的等同范圍內的所有變更均包含于本發明的范圍。