本發明涉及一種用于預測其他車輛的行駛軌跡的駕駛輔助系統。

背景技術：

在de102004021590a1中公開了用于在行駛期間借助傳感器識別兩輪車的傾斜角的裝置和方法，在這種裝置和方法中，由垂直加速度傳感器沿著兩輪車的垂直軸線測量加速度。通過所測量的加速度與重力加速度的關系確定傾斜角。根據兩輪車的傾斜角激活或者禁用用于水平調節的方法。

技術實現要素：

根據本發明，提出用于運行配備有環境傳感器機構的車輛的方法。在所述方法中，至少根據環境傳感器機構的數據識別前方行駛的和/或迎面而來的至少一個兩輪車。此外，至少根據所述環境傳感器機構的數據求取兩輪車的傾斜角，并且基于所求取的傾斜角預測兩輪車的運動走向。在此，基于所預測的運動走向實施所述車輛的運行。

根據本發明的方法提供如下優點：可以預測所識別的兩輪車的運動走向，由此能夠實現對行駛情況的更好分析。例如，可以改善在復雜場景中的情況分析，如對于自動駕駛在市中心的十字路口處。

在識別兩輪車時，也可以分別一起檢測駕駛員。僅求取兩輪車還是求取具有駕駛員的兩輪車，可以根據使用情況和所使用的傳感器機構改變。

兩輪車可以理解為具有兩個車輪的所有車輛，如自行車、小型摩托車、輕型摩托車(mopeds)、輕騎(mofas)或者摩托車。所有常見的傳感器和識別裝置可以作為環境傳感器機構來使用，其中有攝像機、立體視頻攝像機、超聲波傳感器、雷達傳感器、激光雷達和激光。

在所述方法的另一種實施方式中，為了識別兩輪車，根據借助構造成攝像機的環境傳感器機構記錄的圖像序列求取光流。

所求取的光流可以有利地有助于分割對象并且因此能夠實現在圖像區域中針對性地尋找對象類別。借助光流，可以優化根據顏色和紋理的分割并且優化點到對象的分配。典型的對象類別是行人、乘用車、載重車、自行車騎行人、摩托車騎行人、嬰兒車、路標、道路和在交通中出現的其他物體、交通參與者、建筑物、基礎設施要素、樓房、景色特征。

在所述方法的一種有利的實施方式中，在求取所述傾斜角時，考慮所述車輛的自身運動。

所述實施方式提供如下優點：通過考慮所述自身運動，能夠實現傾斜角的更準確的求取。在此，例如可以通過代表滾轉角(rollwinkel)的測量數據——如攝像機數據和/或加速度數據和/或轉速傳感器數據來得到所述自身運動。此外，根據車輛的自身運動并且根據視頻圖像中的道路的光學特征可以確定行車道表面。這些可以同樣以有利的方式有助于在由攝像機記錄的圖像中進行改善的對象分割。

在所述方法的另一種實施方式中，根據兩輪車上的通過所述環境傳感器機構檢測的至少兩個參考點求取所述傾斜角。

所述實施方式提供如下優點：可以實施快速的且簡單的傾斜角確定。根據兩輪車上的至少兩個參考點，例如輪胎接觸行車道的底點和前大燈或者后大燈，可以確定傾斜直線并且因此確定兩輪車的傾斜角。作為參考點還可以考慮任意其他的點，如輪胎、擋泥板、懸架、踏板、車把、車牌、駕駛員的位置、掛袋、油箱和待分析的兩輪車的其他典型特征。例如可以借助已知的圖像處理方法求取這些參考點。補充地，還可以分析兩輪車上的駕駛員的姿勢并且在確定所述運動走向時考慮兩輪車上的駕駛員的姿勢。

在所述方法的另一種實施方式中，所述環境傳感器機構包括攝像機。在此，為了求取所述傾斜角，給所述兩輪車分配借助攝像機記錄的數字圖像的確定的像素。

所述實施方式的優點在于，借助攝像機數據實施對象識別，該對象識別將兩輪車與環境分離。在此，在所記錄的攝像機圖像中，給兩輪車分配各個區域。由此，能夠實現兩輪車的位置的進一步分析或者傾斜角的確定。

在所述方法的另一種實施方式中，在圖像的至少兩行中分別確定分配給兩輪車的像素的中間列值。接下來，根據所述中間列值求取兩輪車的傾斜角。

所述方法的所述實施方式提供如下優點：通過逐行讀取所述圖像能夠實現傾斜角的非常快速的確定。在此，不必須讀取所有行，因為兩個所確定的中間列值已經足夠用于根據這些列值確定兩輪車的傾斜直線或者傾斜角。在此，可以任意選取所求取的列值的數量，或者使其數量匹配于所記錄的圖像。

在所述方法的一種特別有利的實施方式中，為了求取所預測的運動走向求取行車道支路。在至少一個所求取的行車道支路處，根據兩輪車的傾斜角來預測由兩輪車駛向(ansteuern)的行車道。

所述方法的所述實施方式提供如下優點：在所求取的或者已知的行車道支路的情況下可以僅僅根據兩輪車的傾斜角預測：兩輪車和/或兩輪車的駕駛員駛向哪條行車道。在此，行車道支路可以理解為如下的所有道路走向：在這些道路走向中，對于車輛和/或駕駛員能夠實現在不同的行車道上行駛和/或離開當前所行駛的行車道。這尤其包括所有可想到的十字路口情況、交通環島、道路的駛出口和駛入口、停車場和/或停車處和/或停車道的進口，和進入森林小徑和/或泥土路的支路的進口。同樣可以考慮兩輪車可以實施轉向操縱的情況。

例如可以借助環境傳感器機構檢測行車道支路和/或借助地圖材料確定行車道支路，所述地圖材料例如以數字地圖的形式存在或者可以由車輛接收。

在所述方法的另一種實施方式中，為了預測所述運動走向，確定兩輪車的速度。所述確定在此尤其借助環境傳感器機構的數據并且補充地或代替地根據傾斜角和所讀入的地圖信息來實現。

所述方法的這個實施方式提供如下優點：除所述傾斜角以外已知兩輪車的速度。由此，能夠實現更精確地預測兩輪車的運動走向。

當存在得出行車道的曲率的地圖信息時，可以根據傾斜估測兩輪車的速度。由此，可以直接測量速度的傳感器機構或者通過多個測量循環導出速度是不必要的。這必要時是可以實現具有有利的傳感器機構的避免碰撞的輔助系統的重要前提。

在本發明的另一種實施方式中，所預測的運動走向包括行駛軌跡，該行駛軌跡根據所求取的傾斜角和所求取的速度來預測。

所述方法的所述實施方式提供如下優點：借助兩輪車的傾斜角和速度能夠實現對兩輪車的行駛軌跡的非常準確的預測。借助這個軌跡可以預測兩輪車在不同時刻的位置。這些信息可以有利地用于分析交通情況并且在危險的情況下采取措施。

在所述方法的一種有利的實施方式中，車輛的運行設置警告裝置的操控和/或干預行駛動態(fahrdynamik)的至少一個執行器的操控。在此，根據所預測的兩輪車的運動走向求取：兩輪車是否駛向(zusteuern)由車輛行駛的車道。

所述方法的這種實施方式提供如下優點，如果存在危險情況，則根據存在的行駛情況借助警告裝置可以產生對于駕駛員和/或其他車輛和/或其他駕駛員和/或其他交通參與者的警告信號。此外，能夠實現實施干預車輛的行駛動態的至少一個執行器的操控。如果例如確定了兩輪車駛向由車輛行駛的車道并且存在碰撞的危險，則借助所述方法進行緊急制動和/或避讓操縱和/或對行駛動態的另一干預措施，以便避免碰撞和/或減少可能的損害。在此，例如可以借助環境傳感器機構和/或地圖信息得到由所述車輛行駛的車道。為了更精確地分析交通情況和為了確定是否實際上面臨碰撞，也可以確定車輛的軌跡。如果所預測的運動走向和兩輪車的行駛軌跡已被確定，則可以將所述車輛的軌跡與所預測的運動走向并且必要時與兩輪車的行駛軌跡來比較。

另外保護一種用于運行配備有環境傳感器機構的車輛的裝置。該裝置設計用于識別前方行駛的和/或迎面而來的至少一個兩輪車并且預測所述兩輪車的運動走向。為了預測所述運動走向，根據所述環境傳感器機構識別兩輪車的傾斜角。基于所預測的運動走向實現車輛的運行，其中，借助所保護的方法預測所述運動走向。

此外保護一種計算機程序，該計算機程序設置用于實施所保護的方法的所有步驟。

附圖說明

圖1示出示意性的方法流程圖。

圖2示出迎面而來的在轉彎姿態中的摩托車。

圖3示出對摩托車的示意性的力作用。

圖4示出確定傾斜角的可能性。

圖5示出在轉彎中的摩托車。

具體實施方式

在下面的實施例中，車輛配備有環境傳感器機構、尤其攝像機和能夠實現車輛的運行的裝置。所述裝置設計用于識別兩輪車、確定兩輪車的傾斜角并且根據該傾斜角預測兩輪車的運動走向。基于所預測的運動走向，所述裝置可以運行該車輛。為了預測所述運動走向，在該裝置上借助計算機程序實施一種方法，在圖1中描繪了該方法的示意性的流程圖。所述方法開始于步驟101。

在步驟102中，首先借助以攝像機記錄的視頻圖像并且借助已知的分類方法(例如神經網絡、決策樹(decisiontrees)、viola-jones)識別前方行駛的或者迎面而來的兩輪車201、401、501。根據車輛的自身運動和根據視頻圖像中的道路208的光學特征可以估測行車道表面402。為此，例如可以使用分割方法，所述分割方法根據紋理提取出相應于行車道表面的那樣的圖像區域。替代于此地，可以將從圖像序列計算出的光流矢量與在預期運動中的路面進行比較，該預期運動可以從攝像機的視角并且在車輛的已知的自身運動的情況下來求取。可以將以下圖像區域分配給路表面或者行車道表面：該圖像區域的光流矢量與相對于車輛運動的路面近似一致。

根據圖像序列確定的光流可以做出分割對象并且因此還用于在圖像區域中有針對性地尋找對象類別的重要貢獻。對于在圖像中識別的對象，也確定并且作為長方形(boundingbox：邊界框)206、406說明相應的圖像區域207、407。在所述實施例中，識別摩托車201、401，該摩托車相應地設有邊界框206、406。現在在圖像區域207、407中確定屬于所述對象——也就是說不屬于“背景”——的所有像素。為此，可以使用用于分割的已知圖像處理方法，例如閾值方法或者felzenszwalb-huttenlocher算法。后者是一種用于將圖像分割為對象的面向邊緣(kantenorientiert)的方法。該算法首先在圖像的每兩個相鄰的像素之間放置一個邊緣，所述邊緣根據分別鄰接的像素的特征——如亮度和顏色方面的區別進行加權。接下來，由每個單個像素構造圖像區段(bildsegment)，所述圖像區段被這樣合并，使得邊緣權重之間的區別在一個區段內保持盡可能小并且在相鄰區段之間變得盡可能大。

接下來，在步驟103中確定兩輪車201、401的傾斜角303。對于圖像區域207、407的每個圖像行203，為此確定一種“中點”或者中間列值204，其方式是，確定屬于所述對象的所有像素202的水平位置的中值。最后，可以通過曲線擬合(ausgleichsrechnung)大致確定通過所述中間列值204的直線205、405。通過迭代的ransac(隨機抽樣一致性)方法必要時可以濾除異常值并且可以更好地確定直線205、405。直線205、405關于水平線的傾斜反映了兩輪車201、401的傾斜，由此可以確定兩輪車201、401的傾斜角303。

所描述的用于確定傾斜角303的方法不一定應用于所有圖像行203(虛線加實線203)。考慮至少兩個圖像行203分布在邊界框206、406的垂直延伸上并且確定其中屬于兩輪車的像素(實線202)并且由這些像素202(實線203)確定中間列值204就足夠了。這樣在益處幾乎保持不變得情況下顯著減少計算開銷。

如果代替像點地存在關于環境的例如以三維點云形式的三維信息，如這些三維信息例如可以借助激光掃描儀或者立體攝像機產生，可以更可靠地通過與其他對象的距離并且待簡單地確定的路面/行車道平面208的提升來實施對象的分割。傾斜直線205、405的確定可以類似于以上描述的方法通過“中點”來實現。

替代地，在步驟103中還可以根據兩輪車201、401上的通過環境傳感器機構檢測的至少兩個參考點403、404來求取傾斜角303的確定。在所述實施例中，如在圖4中示出的那樣，選擇底點403和大燈404作為參考點。在相關圖像片段207、407的下面的區域中，尋找底點403，即兩輪車在行車道上的觸地點。在兩輪車201、401的距離已知時(例如通過借助雷達或者立體攝像機測量)，并且在認知或者估測行車道201時，可以確定底點403所在的水平圖像區域。

接下來，通過已知的圖像處理方法(例如斑點檢測(blob-detection))求取兩輪車201、401的大燈404和/或尾燈在圖像中的位置。在此，在圖像中確定受限的且連通的區域，所述區域的像點是相似的，也就是說，所述區域的像點具有相似的顏色或/和亮度值。摩托車在白天也有義務打開燈404，因此使圖像中的識別變得簡單。所述傾斜直線205、405和(因此)所述傾斜角303可以大致通過底點403和燈位置404來確定。

在步驟104中，根據傾斜角303預測兩輪車201、401、501的運動走向。為了預測由兩輪車201、401、501駛向的行車道208、502、503，不是必須需要兩輪車201、401、501的速度。如果兩輪車201、401、501顯著地傾斜，也就是所述傾斜角303相應地大，可以由此推斷出：兩輪車201、401、501在彎曲的(具有曲率|κ|>0)車道上運動(具有絕對速度|ν|>0)，并且所述曲率κ指向哪個方向。

對于判斷：所述兩輪車例如是否拐彎，即駛向哪個行車道，則這些信息在很多應用情形中已經足夠了。這樣的拐彎分類已經允許交通情況的解讀。與從地圖得知的關于行車道支路或者行車道走向的信息的結合以及假設——兩輪車201、401、501行駛道路208和/或自行車道——則允許兩輪車201、401、501的運動走向的良好預測。

例如可以借助所述環境傳感器機構檢測所述行車道支路和/或根據地圖材料確定所述行車道支路，所述地圖材料例如以數字地圖的形式存在或者可以由車輛接收。

對于預測駛向的行車道，可以確定以下確定的閾值：從所述閾值開始預測確定的行車道。這些閾值要么可以固定地預給定和/或匹配于相應的道路走向和已知的行車道支路。視例如側街(seitenstraβe)與當前由兩輪車201、401、501行駛的車道交叉的角度而定，可以改變傾斜角303的閾值，從所述閾值開始預測在側街上行駛。

根據所述傾斜角303和兩輪車201、401、501的位置已經可以在一些行駛情況中導出(見圖5)：兩輪車501是否在進一步的走向中從道路一側502、503變換到道路另一側502、503，并且是否將要來到迎面車流的道路一側503上來。

對于兩輪車201、401、501的運動走向的更精確的預測，可以在可選步驟103a中確定兩輪車201、401、501的速度。

可以直接地例如借助由所述環境傳感器機構包括的雷達傳感器通過分析處理多普勒頻率來測量速度，和/或，間接地通過對象距離(車輛與兩輪車201、401、501的距離)的多次測量來求取(時間追蹤)速度。例如可以借助攝像機和/或立體視頻攝像機來實施這些測量，所述攝像機和/或立體攝像機同樣由環境傳感器機構包括。為了提高精度可以額外考慮車輛的自身運動，所述自身運動例如可以通過測距法(odometrie)或者慣性導航來求取。對于慣性導航，則使用來自慣性導航系統或者慣性的導航系統的數據，其中，慣性導航系統理解為具有加速度傳感器和陀螺儀穩定器和/或轉速傳感器的三維測量系統。同樣，可以補償地考慮代表滾轉角的信息，并且因此可以補償地考慮傳感器機構的滾轉運動。

替代地或補充地，可以借助所讀取的地圖信息來確定兩輪車201、401、501的速度。所述地圖信息尤其可以包括關于兩輪車201、401、501行駛的路段的信息，例如關于兩輪車201、401、501行駛通過的轉彎的走向，和/或，包括關于在十字路口處的交通情況、拐彎可能性、交通指示燈、先行規則等的信息。如果地圖的地圖信息足夠準確，使得可以根據所述地圖信息求取道路走向的曲率κ，則借助如下公式

可以確定且/或估測兩輪車201、401、501的速度。該公式大致適用于兩輪車201、401、501的穩定的轉彎行駛。在此，α相應于傾斜角，fz304相應于離心力，fg305相應于地心引力，g相應于重力加速度，并且ν相應于速度。這些力分別作用在兩輪車201、401、501——包括可能存在駕駛員302——的重心301上(參見圖3)。根據僅單個圖像和道路曲率κ的認知，可以確定兩輪車201、401、501的速度。這是可以借助有利的傳感器機構實現避免碰撞的輔助系統的重要前提以及能夠實現輔助系統的快速的和提早的決定——如緊急制動輔助的重要前提。

如果不僅所述傾斜角303而且兩輪車201、401、501的速度已知，那么由這些值可以確定兩輪車201、401、501的行駛軌跡。借助所述行駛軌跡還可以實現關于兩輪車201、401、501的未來運動走向的更精確的說明。

在步驟105中，基于兩輪車201、401、501的所預測的運動走向來運行車輛。

如果例如由所預測的運動走向推斷出兩輪車501將會行駛到車輛的車道上并且面臨碰撞，則可以向該車輛的駕駛員和/或其他交通參與者發送警告信號。替代地或補充地，還可以操控執行器，該執行器干預該車輛的行駛動態。例如可以自動實施制動和/或避讓操縱。因此，可以在高度自動化或者完全自動化的車輛中使用這種功能。

例如還可以通過兩輪車201、401、501的所求取的行駛軌跡的曲率與行車道走向的曲率之間的比較來預測是否面臨事故的危險，所述行車道走向例如通過攝像機數據來確定或者以導航地圖形式存在。

所述方法結束于步驟106。