本發(fā)明涉及高級駕駛輔助系統(tǒng)的計算機視覺技術(shù)和圖像處理領(lǐng)域，特別涉及一種基于高斯混合模型的車輛軌跡預(yù)測方法、系統(tǒng)。

背景技術(shù)：

隨著汽車時代的全面來臨，機動車大量增加，汽車安全技術(shù)受到越來越多的重視。其中高級駕駛輔助系統(tǒng)(adas)在汽車安全領(lǐng)域中起著至關(guān)重要的作用。

在基于計算機視覺技術(shù)的高級駕駛輔助系統(tǒng)(adas)中，對車輛軌跡的準(zhǔn)確和可靠的預(yù)測，對于提高系統(tǒng)的舒適性，提前預(yù)判潛在威脅保護駕駛者安全，有著重要的意義。目前，交叉口對駕駛員輔助系統(tǒng)仍然是一個很大的挑戰(zhàn)。根據(jù)統(tǒng)計顯示，最常見的車輛事故發(fā)生在一輛汽車轉(zhuǎn)向或穿過十字路口時。為了預(yù)防這種情況，高級駕駛輔助系統(tǒng)(adas)必須應(yīng)對高度復(fù)雜的交通情況，并且通常汽車是否正在過路口或駕駛員計劃轉(zhuǎn)彎是非常不明確的。為了處理這種情況，adas必須要應(yīng)對兩個主要任務(wù)：

首先，系統(tǒng)必須檢測當(dāng)前場景中的對象，

其次，必須評估對象是否相關(guān)。

這種評估越快，類似事故就能更好得避免。到目前為止，潛在危險物體的選擇受到車輛軌跡預(yù)測能力的限制。如圖3所示，軌跡本身不僅包含汽車在未來特定時間的位置，即所謂的預(yù)測范圍，而且包含與預(yù)測位置的確切路線。這等同于在未來幾秒鐘內(nèi)預(yù)測車輛的狀態(tài)。用于運動預(yù)測的常見方法是標(biāo)準(zhǔn)濾波器方法(例如，卡爾曼濾波器)，其通過對下一時間步長的系統(tǒng)狀態(tài)直到達到所需的預(yù)測范圍的遞歸預(yù)測來進行車輛位置的預(yù)測。根據(jù)基礎(chǔ)運動學(xué)模型的準(zhǔn)確性和復(fù)雜性，基于模型的預(yù)測(例如，假設(shè)有恒定速度和偏向角)可導(dǎo)致與真實軌跡的巨大偏差并且預(yù)測失敗，特別是在轉(zhuǎn)向機動的情況下。比如在一些方法中morzym.miningfrequenttrajectoriesofmovingobjectsforlocationprediction.in:proc.ofthe5thint’lconf.onmachinelearninganddatamininginpatternrecognition.lncs4571,heidelberg:springer-verlag,2007.667-680.是由morzy等人提出一種結(jié)合前綴樹prefixspan和頻繁模式挖掘fp-tree算法挖掘移動對象動態(tài)運動規(guī)則,但是構(gòu)建前綴樹和fp-tree的時間代價較高。在另外一些方法中pantl,sumaleea,zhongrx,indra-payoongn.short-termtrafficstatepredictionbasedontemporal-spatialcorrelation.ieeetrans.onintelligenttransportationsystems,2013,14(3):1242-254.pan等人提出了基于多變元正態(tài)分布的最佳線性預(yù)測器,這一方法的不足在于預(yù)測會產(chǎn)生延遲，不能應(yīng)用于交通流的實時監(jiān)控。

技術(shù)實現(xiàn)要素：

本發(fā)明要解決的技術(shù)問題是，提供能夠提前預(yù)測車輛的軌跡情況的同時，還能預(yù)測將來的軌跡分布，能及時避免潛在危險的基于高斯混合模型的車輛軌跡預(yù)測方法。

解決上述技術(shù)問題，本發(fā)明提供了一種基于高斯混合模型的車輛軌跡預(yù)測方法，包括如下步驟：

1)將采集得到的軌跡t表示為由：在車輛坐標(biāo)系的2d平面中的n對時間ti以及當(dāng)前時間速度vi和角偏量組成，

2)采用表示法描述軌跡，獲得軌跡t的統(tǒng)一表示，

3)基于高斯混合模型分布進行軌跡t的預(yù)測，預(yù)測未來時刻的速度cv和角偏量

4)通過計算條件分布p(xf|xh)的統(tǒng)計特性預(yù)測上述cv和/或其中xf為近似的未來軌跡，xh為歷史軌跡。

更進一步，所述軌跡t表示具體為：

其中對于ti＜ti+1,i＝0,…,n-1。

更進一步，所述軌跡t的統(tǒng)一表示具體包括如下步驟：

首先，通過使用表示法描述軌跡，將兩個分量vi、轉(zhuǎn)換到區(qū)間[-1，1]，

其次，應(yīng)用切比雪夫分解，得到近似系數(shù)的兩個m維向量，分別用于速度cv和偏向角

最終，得到特征向量其中系數(shù)m＝5。

更進一步，所述高斯混合模型分布具體為：

其中，歷史和未來軌跡片段近似為xh和xf，

通過計算條件混合密度進行預(yù)測件混合密度進行如下預(yù)測：

上述參數(shù)采用高斯混合模型的均值和協(xié)方差矩陣的劃分表示，并根據(jù)平均值和協(xié)方差進行概率軌跡預(yù)測。

更進一步，上述高斯混合模型的平均值

更進一步，上述上述高斯混合模型的協(xié)方差公式

更進一步，得到所述高斯混合模型分布前還包括如下操作：

假設(shè)速度的預(yù)測近似系數(shù)的高斯分布為：

其中，m(cv，h)和cov(cv，h)是描述歷史的系數(shù)的平均值和協(xié)方差的函數(shù)。

基于上述，本發(fā)明還提供了一種基于高斯混合模型的車輛軌跡預(yù)測系統(tǒng)，包括：

軌跡預(yù)處理單元，用以將采集得到的軌跡t表示為由：在車輛坐標(biāo)系的2d平面中的n對時間ti以及當(dāng)前時間速度vi和角偏量組成，

采用表示法描述軌跡，獲得軌跡t的統(tǒng)一表示，

軌跡預(yù)測單元，用以基于高斯混合模型分布進行軌跡t的預(yù)測，預(yù)測未來時刻的速度cv和角偏量

通過計算條件分布p(xf|xh)的統(tǒng)計特性預(yù)測上述cv和/或其中xf為近似的未來軌跡，xh為歷史軌跡。

更進一步，所述軌跡預(yù)處理單元還用以，通過使用表示法描述軌跡，將兩個分量vi、轉(zhuǎn)換到區(qū)間[-1，1]，應(yīng)用切比雪夫分解，得到近似系數(shù)的兩個m維向量，分別用于速度cv和偏向角得到特征向量其中系數(shù)m＝5。

更進一步，系統(tǒng)還包括：一軌跡數(shù)據(jù)庫，用以提取歷史和未來的每個時刻的車輛運動模式

本發(fā)明的有益效果：

本發(fā)明中的基于高斯混合模型的車輛軌跡預(yù)測方法，通過使用軌跡數(shù)據(jù)庫來提取歷史和未來的每個時刻的運動模式。用切比雪夫分解后，該近似的系數(shù)用來定義特征空間，從而將軌跡表示的想法用于到了軌跡預(yù)測系統(tǒng)中。該系統(tǒng)不僅能預(yù)測單個未來軌跡，而且有在未來軌跡空間上創(chuàng)建整個概率分布的能力。

此外，本發(fā)明提出了一種不同于運動預(yù)測的常見方法——標(biāo)準(zhǔn)濾波器方法(例如，卡爾曼濾波器)，其通過對下一時間步長的系統(tǒng)狀態(tài)直到達到所需的預(yù)測范圍的遞歸預(yù)測來進行車輛位置的預(yù)測。使用運動學(xué)模型，把軌跡預(yù)測看成是機器學(xué)習(xí)問題。從先前觀察到的軌跡中學(xué)習(xí)運動模型，并建立當(dāng)前觀察歷史記錄到最可能的未來軌跡的功能映射，其優(yōu)勢主要在于:可以擺脫軌跡離散狀態(tài)分析方法的弊端，并且對于移動對象軌跡的預(yù)測，可以依據(jù)概率模型精確度量其預(yù)測誤差。

附圖說明

圖1是本發(fā)明一實施例中的方法流程示意圖；

圖2是本發(fā)明一實施例中的系統(tǒng)結(jié)構(gòu)示意圖；

圖3是在本發(fā)明中對軌跡預(yù)測的原理說明即軌跡預(yù)測旨在學(xué)習(xí)當(dāng)前觀察到歷史記錄到車輛運動的最可能的未來軌跡的功能映射；

圖4是在2秒預(yù)測范圍的預(yù)測速度的平均和協(xié)方差函數(shù)；

圖5是在2秒預(yù)測范圍的偏向角的平均和協(xié)方差函數(shù)；

圖6是在xy位置結(jié)合不確定性信息的最終預(yù)測，具體表現(xiàn)為協(xié)方差橢圓，pos即位置；

圖7是本實施例中基于高斯混合模型預(yù)測的一場景的軌跡預(yù)測示例；

圖8是本實施例中基于高斯混合模型預(yù)測的另一場景的軌跡預(yù)測示例。

具體實施方式

現(xiàn)在將參考一些示例實施例描述本公開的原理。可以理解，這些實施例僅出于說明并且?guī)椭绢I(lǐng)域的技術(shù)人員理解和實施例本公開的目的而描述，而非建議對本公開的范圍的任何限制。在此描述的本公開的內(nèi)容可以以下文描述的方式之外的各種方式實施。

如本文中所述，術(shù)語“包括”及其各種變體可以被理解為開放式術(shù)語，其意味著“包括但不限于”。術(shù)語“基于”可以被理解為“至少部分地基于”。術(shù)語“一個實施例”可以被理解為“至少一個實施例”。術(shù)語“另一實施例”可以被理解為“至少一個其它實施例”。

圖1是本發(fā)明一實施例中的方法流程示意圖，方法具體包括：

步驟s100將采集得到的軌跡t表示為由：在車輛坐標(biāo)系的2d平面中的n對時間ti以及當(dāng)前時間速度vi和角偏量組成，軌跡表示，具體而言，可將軌跡t表示為2d平面中的n對時間ti以及當(dāng)前時間的速度vi和角偏量組成，其中對于ti＜ti+1,i＝0,…,n-1。

步驟s101采用表示法描述軌跡，獲得軌跡t的統(tǒng)一表示，具體而言，軌跡近似的過程中，為了獲得軌跡的統(tǒng)一表示，應(yīng)用軌跡分量上的切比雪夫分解。本發(fā)明采用表示法描述軌跡，兩個分量都被轉(zhuǎn)換到區(qū)間[-1，1]，然后應(yīng)用切比雪夫分解。近似系數(shù)的兩個m維向量，一個用于速度cv，另一個用于偏向角最終特征向量表示為

步驟s102基于高斯混合模型分布進行軌跡t的預(yù)測，預(yù)測未來時刻的速度cv和角偏量

步驟s103通過計算條件分布p(xf|xh)的統(tǒng)計特性預(yù)測上述cv和/或其中xf為近似的未來軌跡，xh為歷史軌跡。上述步驟中的軌跡預(yù)測即是預(yù)測未來時刻的cv和本發(fā)明通過計算條件分布p(xf|xh)的統(tǒng)計特性(平均值和協(xié)方差)來進行預(yù)測，其中xf表示近似的未來軌跡，xh表示歷史軌跡。以速度的預(yù)測為例，假設(shè)速度的預(yù)測近似系數(shù)的高斯分布為

其中，m(cv，h)和cov(cv，h)是描述歷史的系數(shù)的平均值和協(xié)方差的函數(shù)。

作為本實施例中的優(yōu)選，所述軌跡t的統(tǒng)一表示具體包括如下步驟：

首先，通過使用表示法描述軌跡，將兩個分量vi、轉(zhuǎn)換到區(qū)間[-1，1]，

其次，應(yīng)用切比雪夫分解，得到近似系數(shù)的兩個m維向量，分別用于速度cv和偏向角

最終，得到特征向量其中系數(shù)m＝5。

作為本實施例中的優(yōu)選，所述高斯混合模型分布具體為：

其中，歷史和未來軌跡片段近似為xh和xf，

通過計算條件混合密度進行預(yù)測件混合密度進行如下預(yù)測：

上述參數(shù)采用高斯混合模型的均值和協(xié)方差矩陣的劃分表示，并根據(jù)平均值和協(xié)方差進行概率軌跡預(yù)測。

作為本實施例中的優(yōu)選，上述高斯混合模型的平均值

作為本實施例中的優(yōu)選，上述上述高斯混合模型的協(xié)方差公式

作為本實施例中的優(yōu)選，得到所述高斯混合模型分布前還包括如下操作：

假設(shè)速度的預(yù)測近似系數(shù)的高斯分布為：

其中，m(cv，h)和cov(cv，h)是描述歷史的系數(shù)的平均值和協(xié)方差的函數(shù)。

采用了本實施例中的方法，能夠提前預(yù)測車輛的軌跡情況的同時，還能預(yù)測將來的軌跡分布，能及時避免潛在危險。

圖2是本發(fā)明一實施例中的系統(tǒng)結(jié)構(gòu)示意圖，本實施例中的一種基于高斯混合模型的車輛軌跡預(yù)測系統(tǒng)，包括：

軌跡預(yù)處理單元1，用以將采集得到的軌跡t表示為由：在車輛坐標(biāo)系的2d平面中的n對時間ti以及當(dāng)前時間速度vi和角偏量組成，

采用表示法描述軌跡，獲得軌跡t的統(tǒng)一表示，

軌跡預(yù)測單元2，用以基于高斯混合模型分布進行軌跡t的預(yù)測，預(yù)測未來時刻的速度cv和角偏量

通過計算條件分布p(xf|xh)的統(tǒng)計特性預(yù)測上述cv和/或其中xf為近似的未來軌跡，xh為歷史軌跡。

作為本實施例中的優(yōu)選，所述軌跡預(yù)處理單元1還用以，通過使用表示法描述軌跡，將兩個分量vi、轉(zhuǎn)換到區(qū)間[-1，1]，應(yīng)用切比雪夫分解，得到近似系數(shù)的兩個m維向量，分別用于速度cv和偏向角得到特征向量其中系數(shù)m＝5。

作為本實施例中的優(yōu)選，上述系統(tǒng)中還包括：一軌跡數(shù)據(jù)庫，用以提取歷史和未來的每個時刻的車輛運動模式。

在上述的軌跡預(yù)處理單元1中，具體方法包含以下步驟：

第一，軌跡表示

將軌跡t表示為2d平面中的n對時間ti以及當(dāng)前時間的速度vi和角偏量組成，其中對于ti＜ti+1,i＝0,…,n-1。

第二，軌跡近似

為了獲得軌跡的統(tǒng)一表示，應(yīng)用軌跡分量上的切比雪夫分解。該多項式近似的系數(shù)用作描述的概率模型的輸入特征。

n維的切比雪夫多項式tn的定義如下

tn(x)＝cos(narccos(x))(2)

可以被展開為多項式。前兩個多項式定義如下

t0(x)＝1(3)

t1(x)＝x(4)

遞歸公式如下

tn+l＝2xtn(x)-tn-1(x)，n＞1(5)

由這個公式可以容易推出后面的多項式。為了在區(qū)間[-1，1]中近似任意函數(shù)f(x)，切比雪夫系數(shù)如下

其中xk是tn(x)的n個零。重建公式定義如下

其中當(dāng)m≤n可用于控制近似質(zhì)量。

在本申請中使用表示法描述軌跡，兩個分量都被轉(zhuǎn)換到區(qū)間[-1，1]，然后應(yīng)用切比雪夫分解。這近似系數(shù)的兩個m維向量，一個用于速度cv，另一個用于偏向角最終特征向量表示為系數(shù)m＝5。

在軌跡預(yù)測單元2，具體方法包含以下步驟：

基于高斯混合模型進行軌跡預(yù)測

如圖4所示是在2秒預(yù)測范圍的預(yù)測速度的平均和協(xié)方差函數(shù)；圖5是在2秒預(yù)測范圍的偏向角的平均和協(xié)方差函數(shù)，軌跡預(yù)測即是預(yù)測未來時刻的cv和如果能求出未來時刻軌跡x的概率分布，即實現(xiàn)了軌跡的預(yù)測。本實施例中通過計算條件分布p(xf|xh)的統(tǒng)計特性(例如，平均值和協(xié)方差)來進行預(yù)測，其中xf表示近似的未來軌跡，xh表示歷史軌跡。為了獲得可應(yīng)用的不確定性軌跡預(yù)測的信息，需要將這些不確定性信息轉(zhuǎn)換為車輛坐標(biāo)系的2d平面。

通過假設(shè)速度的預(yù)測近似系數(shù)的高斯分布為

其中m(cv，h)和cov(cv，h)是描述歷史的系數(shù)的平均值和協(xié)方差的函數(shù)。假設(shè)切比雪夫近似表達(7)是高斯分布變量的線性組合，因此這個近似表達也是高斯的。重寫切比雪夫近似表達

可以寫為離散時間表達式

v＝tcv，f(11)

其中現(xiàn)在t＝tnk＝tn(tk)是在任意時間戳tk(-1≤tk≤1)評估的切比雪夫多項式的矩陣。使用它，每個離散時間戳速度的期望和協(xié)方差可表示為

e[v]＝te[cv，f](12)

因此，期望和協(xié)方差是t的函數(shù)。

利用預(yù)測的速度和偏向角的平均和協(xié)方差函數(shù)，可以使用無調(diào)變換再次針對預(yù)測范圍內(nèi)的任意點計算xy平面中的不確定性。這個變換表現(xiàn)為從域到xy坐標(biāo)系統(tǒng)的統(tǒng)計特性的非線性變換。結(jié)果是由平均軌跡連同估計值的不確定性信息組成的預(yù)測。

根據(jù)以上理論，本實施例中提出了高斯混合模型。高斯混合模型(gmm)是參數(shù)概率密度函數(shù)，其由高斯分量密度的加權(quán)線性組合組成。高斯混合密度定義為

其中x是一個d維隨機變量，是具有平均值μk和協(xié)方差矩陣∑k的多變量正態(tài)分布，πk是分布p(x)的k個分量的所謂混合系數(shù)，其必須滿足0≤πk≤1，并混合形成的凸組合。從訓(xùn)練數(shù)據(jù)導(dǎo)出模型參數(shù)的算法是迭代兩步期望最大化(em)算法，其以有效的方式找到最大似然解。e階段使用隨后的m階段的當(dāng)前參數(shù)估計來計算對數(shù)似然估計的期望，m階段中獲取能使由e階段獲得的預(yù)期對數(shù)似然的期望最大化的參數(shù)。

基于應(yīng)用于軌跡預(yù)測的應(yīng)用，從而推斷聯(lián)合高斯混合分布

其中歷史和未來軌跡片段近似為xh和xf。通過計算條件混合密度進行預(yù)測，公式如下

因此這仍然是高斯混合模型。該模型的參數(shù)如下

其中

是混合模型的均值和協(xié)方差矩陣的劃分。

導(dǎo)出的分布(17)定義了未來軌跡的完全條件概率密度函數(shù)，可以估計其期望(例如，平均和協(xié)方差)。高斯混合模型的平均值和協(xié)方差公式如下

并且可以應(yīng)用在前面部分中導(dǎo)出的概率軌跡預(yù)測，如圖6所示是在xy位置結(jié)合不確定性信息的最終預(yù)測，具體表現(xiàn)為協(xié)方差橢圓，pos即位置作為軌跡參數(shù)。

本發(fā)明的效果可以通過以下實驗進一步證實，具體而言可使用christophhermes,jürgenwiest,christianulrichkreβel,andfranzkummert.manifold-basedmotionprediction.inproc.6.dortmunderauto-tag,2011.的數(shù)據(jù)集，其由69個現(xiàn)實的軌跡組成，記錄在具有不同機動方向(通過直線，左和右轉(zhuǎn))的三個不同的交叉點。該集合具有大約24km的總長度，并且包括差分gps(dgps)數(shù)據(jù)，從離散時刻ti中提取速度v(ti)和偏向速率值。使用過去25米的歷史長度和2秒的預(yù)測范圍用于生成運動模式。此配置下生成大約120.000對的軌跡片段。該集合被分成訓(xùn)練集和測試集，分別具有48和21個軌跡。測試集的軌跡和訓(xùn)練數(shù)據(jù)中的不存在交集。對于切比雪夫近似表達的精度，我們設(shè)定在四階近似，這樣生成歷史xh以及未來軌跡片段xf的d＝10維特征空間。

高斯混合模型的訓(xùn)練通過k＝75個分量和500次迭代的算法實現(xiàn)，算法是已經(jīng)提到的期望最大化算法。高斯混合模型的先驗分布的參數(shù)是β0＝1，α0＝1e^-3和w0＝20i，其中i是2d維單位矩陣。如圖7和圖8示出了本申請中所提出算法在交叉點處的兩個轉(zhuǎn)彎行為，該算法在機動開始時預(yù)測軌跡非常準(zhǔn)確，并且在結(jié)束時不過度預(yù)測。

應(yīng)當(dāng)理解，本發(fā)明的各部分可以用硬件、軟件、固件或它們的組合來實現(xiàn)。在上述實施方式中，多個步驟或方法可以用存儲在存儲器中且由合適的指令執(zhí)行系統(tǒng)執(zhí)行的軟件或固件來實現(xiàn)。例如，如果用硬件來實現(xiàn)，和在另一實施方式中一樣，可用本領(lǐng)域公知的下列技術(shù)中的任一項或他們的組合來實現(xiàn)：具有用于對數(shù)據(jù)信號實現(xiàn)邏輯功能的邏輯門電路的離散邏輯電路，具有合適的組合邏輯門電路的專用集成電路，可編程門陣列(pga)，現(xiàn)場可編程門陣列(fpga)等。

在本說明書的描述中，參考術(shù)語“一個實施例”、“一些實施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結(jié)合該實施例或示例描述的具體特征、結(jié)構(gòu)、材料或者特點包含于本發(fā)明的至少一個實施例或示例中。在本說明書中，對上述術(shù)語的示意性表述不一定指的是相同的實施例或示例。而且，描述的具體特征、結(jié)構(gòu)、材料或者特點可以在任何的一個或多個實施例或示例中以合適的方式結(jié)合。

總體而言，本公開的各種實施例可以以硬件或?qū)Ｓ秒娐贰④浖⑦壿嫽蚱淙我饨M合實施。一些方面可以以硬件實施，而其它一些方面可以以固件或軟件實施，該固件或軟件可以由控制器、微處理器或其它計算設(shè)備執(zhí)行。雖然本公開的各種方面被示出和描述為框圖、流程圖或使用其它一些繪圖表示，但是可以理解本文描述的框、設(shè)備、系統(tǒng)、技術(shù)或方法可以以非限制性的方式以硬件、軟件、固件、專用電路或邏輯、通用硬件或控制器或其它計算設(shè)備或其一些組合實施。

此外，雖然操作以特定順序描述，但是這不應(yīng)被理解為要求這類操作以所示的順序執(zhí)行或是以順序序列執(zhí)行，或是要求所有所示的操作被執(zhí)行以實現(xiàn)期望結(jié)果。在一些情形下，多任務(wù)或并行處理可以是有利的。類似地，雖然若干具體實現(xiàn)方式的細(xì)節(jié)在上面的討論中被包含，但是這些不應(yīng)被解釋為對本公開的范圍的任何限制，而是特征的描述僅是針對具體實施例。在分離的一些實施例中描述的某些特征也可以在單個實施例中組合地執(zhí)行。相反對，在單個實施例中描述的各種特征也可以在多個實施例中分離地實施或是以任何合適的子組合的方式實施。