本發明屬于汽車控制技術領域，特別涉及一種自動取車方法及裝置。

背景技術：

在日常生活中，車主通常會將車輛停放在地下車庫里，由于地下車庫的地形一般較為復雜，且其中停放的車輛很多，所以一旦車主忘記車輛停放位置，將花費大量的時間去尋找車輛。

現在有一種自動取車方案，通過將地下車庫的路線存儲至行車電腦內，在取車時，首先利用移動終端啟動車輛，然后通過車輛上的定位系統確定車輛所處的位置，最后在行車電腦內選擇與車輛所處位置對應的路線，使得汽車按照既定的線路，從停車位自動行駛至地下車庫的出口，從而避免了車主因尋找車輛而浪費大量的時間。

然而，由于該自動取車方案只能適應于已經儲存了線路的地下車庫，對于其他車庫則無法實現自動取車的功能，所以實用性較差。

技術實現要素：

為了解決車主因尋找車輛而浪費大量時間的問題，本發明實施例提供了一種自動取車方法及裝置。所述技術方案如下：

一方面，本發明實施例提供了一種自動取車方法，所述自動取車方法包括：

獲取目標終端和車輛的位置信息；

根據所述目標終端和所述車輛的位置信息，獲取所述車輛的前輪朝向與所述車輛和所述目標終端之間的連線的夾角；

檢測所述車輛附近是否存在障礙物，若所述車輛附近存在所述障礙物，則獲取所述車輛與所述障礙物的最小距離；

根據所述夾角和所述最小距離計算得到增強信號，所述增強信號用于表示所述車輛在對應的所述夾角和所述最小距離時，所述車輛朝向所述目標終端行駛的可靠程度；

根據所述夾角、所述最小距離和計算得到的所述增強信號，采用強化學習算法確定行駛策略；

根據所述行駛策略控制所述車輛的行駛軌跡，直至所述車輛行駛至所述目標終端所處的位置。

進一步地，所述檢測所述車輛附近是否存在障礙物，包括：

獲取實際探測距離和最大探測距離，所述實際探測距離為所述車輛上的距離檢測裝置與實際探測到的所述障礙物之間的距離，所述最大探測距離為所述距離檢測裝置的最大探測距離；

當所述實際探測距離等于所述最大探測距離時，所述車輛附近不存在所述障礙物；

當所述實際探測距離小于所述最大探測距離時，所述車輛附近存在所述障礙物。

進一步地，所述根據所述夾角和所述最小距離計算得到增強信號，包括：

根據以下公式，計算得到所述增強信號，

其中，r為增強信號，β為權值，θ為所述目標終端與所述車輛之間的夾角，l為所述最大探測距離，d_i為實際探測距離，i為所述距離檢測裝置的數量。

進一步地，根據以下公式，得到所述權值：

進一步地，所述根據所述夾角、所述最小距離和計算得到的所述增強信號，采用強化學習算法確定行駛策略，根據所述行駛策略控制所述車輛的行駛軌跡，包括：

根據所述夾角和所述最小距離，確定行駛策略，所述行駛策略包括針對所述車輛的方向調節和調節幅度，根據所述行駛策略控制所述車輛的行駛軌跡；

獲取調整后的所述車輛的前輪朝向與所述車輛和所述目標終端之間的連線的夾角，以及調整后的所述車輛與所述障礙物的最小距離，計算得到調整后的增強信號；

比較所述增強信號和所述調整后的增強信號，以得到比較結果；

若所述調整后的增強信號表示的可靠程度高于所述增強信號表示的可靠程度，則將所述行駛策略記錄為正確的行駛策略，

若所述調整后的增強信號表示的可靠程度低于所述增強信號表示的可靠程度，則將所述行駛策略記錄為錯誤的行駛策略；

根據所述比較結果調整所述行駛策略；

根據調整后所述行駛策略控制所述車輛的行駛軌跡。

另一方面，提供了一種自動取車裝置，所述自動取車裝置包括：

位置獲取模塊，用于獲取目標終端和車輛的位置信息；

夾角獲取模塊，用于根據所述目標終端和所述車輛的位置信息，獲取所述車輛的前輪朝向與所述車輛和所述目標終端之間的連線的夾角；

最小距離獲取模塊，用于檢測所述車輛附近是否存在障礙物，若所述車輛附近存在所述障礙物，則獲取所述車輛與所述障礙物的最小距離；

計算模塊，用于根據所述夾角和所述最小距離計算得到增強信號，所述增強信號用于表示所述車輛在對應的所述夾角和所述最小距離時，所述車輛朝向所述目標終端行駛的可靠程度；

確定模塊，用于根據所述夾角、所述最小距離和計算得到的所述增強信號，采用強化學習算法確定行駛策略；

行駛模塊，用于根據所述行駛策略控制所述車輛的行駛軌跡，直至所述車輛行駛至所述目標終端所處的位置。

具體地，所述最小距離獲取模塊包括：

探測單元，用于獲取實際探測距離和最大探測距離，所述實際探測距離為所述車輛上的距離檢測裝置與實際探測到的所述障礙物之間的距離，所述最大探測距離為所述距離檢測裝置的最大探測距離；

當所述實際探測距離等于所述最大探測距離時，所述車輛附近不存在所述障礙物；

當所述實際探測距離小于所述最大探測距離時，所述車輛附近存在所述障礙物。

具體地，所述計算模塊包括：

第一計算單元，用于根據以下公式，計算得到所述增強信號，

其中，r為增強信號，β為權值，θ為所述目標終端與所述車輛之間的夾角，l為所述最大探測距離，d_i為實際探測距離，i為所述距離檢測裝置的數量。

具體地，所述計算模塊還包括：

第二計算單元，用于根據以下公式，得到所述權值：

具體地，所述確定模塊還包括：

確定單元，用于根據所述夾角和所述最小距離，確定行駛策略，所述行駛策略包括針對所述車輛的方向調節和調節幅度，根據所述行駛策略控制所述車輛的行駛軌跡；

所述計算模塊，還用于獲取調整后的所述車輛的前輪朝向與所述車輛和所述目標終端之間的連線的夾角，以及調整后的所述車輛與所述障礙物的最小距離，計算得到調整后的增強信號；

比較單元，用于比較所述增強信號和所述調整后的增強信號，以得到比較結果，若所述調整后的增強信號表示的可靠程度高于所述增強信號表示的可靠程度，則將所述行駛策略記錄為正確的行駛策略，若所述調整后的增強信號表示的可靠程度低于所述增強信號表示的可靠程度，則將所述行駛策略記錄為錯誤的行駛策略；

學習單元，用于根據所述比較結果調整所述行駛策略。

本發明實施例提供的技術方案帶來的有益效果是：

在通過本發明實施例所提供的自動取車方法取車時，首先，獲取目標終端和車輛的位置信息，通過目標終端和車輛的位置信息獲取所述車輛的前輪朝向與所述車輛和所述目標終端之間的連線的夾角，然后，檢測車輛附近是否存在障礙物，若車輛附近存在障礙物，則獲取車輛與障礙物的最小距離，接著，根據夾角和最小距離計算得到增強信號，根據夾角、最小距離和計算得到的增強信號，采用強化學習算法確定行駛策略，最后，根據行駛策略控制車輛的行駛軌跡，直至車輛行駛至目標終端所處的位置。由于在車輛行駛的過程中能夠自主的實時探測周邊是否存在障礙物以及車輛與目標終端之間的夾角，并根據探測結果采用強化學習算法確定行駛策略，以實現對車輛行駛軌跡的控制，做到無碰撞自動取車。

附圖說明

為了更清楚地說明本發明實施例中的技術方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。

圖1是本發明實施例提供的一種自動取車方法的流程圖；

圖2是本發明實施例提供的車輛行駛朝向示意圖；

圖3是本發明實施例提供的另一種自動取車方法的流程圖；

圖4是本發明實施例提供的車輛探測障礙物示意圖；

圖5是本發明實施例提供的一種自動取車裝置的框線圖。

具體實施方式

為使本發明的目的、技術方案和優點更加清楚，下面將結合附圖對本發明實施方式作進一步地詳細描述。

本發明實施例提供的一種自動取車方法，該方法適用于從車庫內將車輛取出，車庫可以為地下車庫和地上車庫等，本發明對此不作限制。

圖1為一種自動取車方法的流程圖，如圖1所示，自動取車方法包括：

步驟101：獲取目標終端和車輛的位置信息。

在上述實現方式中，目標終端可以為具有定位功能的終端，例如手機、平板電腦等，從而可以通過目標終端自身的定位功能獲取目標終端的位置信息，通過車輛自身的定位功能獲取車輛的位置信息。

步驟102：根據目標終端和車輛的位置信息，獲取車輛的前輪朝向與車輛和目標終端之間的連線的夾角α(參見圖2)。

在上述實現方式中，目標終端可以為車主隨身攜帶的移動終端設備，例如上述手機、平板電腦等，在此情況下，車輛的前輪朝向與車輛和目標終端之間的連線的夾角，即為車輛的前輪朝向與車輛和車主之間的連線的夾角。需要說明的是，在其他實施例中，目標終端還可以為固定終端設備，例如安裝在車庫出口處的電腦等，本發明對此不作限制。

步驟103：檢測車輛附近是否存在障礙物，若車輛附近存在障礙物，則獲取車輛與障礙物的最小距離。

在上述實現方式中，可以在車輛上設置超聲波雷達，從而通過超聲波雷達監測車輛附近是否存在障礙物，車輛附近可以是以車輛為圓心，以一定半徑畫圓所形成的范圍，半徑的具體數值可以根據實際情況調整，例如3m、4m等，本發明對此不作限制。

步驟104：根據夾角和最小距離計算得到增強信號，增強信號用于表示車輛在對應的夾角和最小距離時，車輛朝向目標終端行駛的可靠程度。

在上述實現方式中，車輛朝向目標終端行駛的可靠程度可以通過兩個方面表現，一個方面為車輛與目標終端之間的夾角的絕對值，該值越小，則表示車輛越朝向目標終端所在的方向行駛，即車輛對向目標終端的準度越高，另一個方面為車輛附近的障礙物與車輛之間的距離，該距離越大，則表示車輛越不容易與障礙物發生碰撞，即車輛行駛的可靠度越高。

步驟105：根據夾角、最小距離和計算得到的增強信號，采用強化學習算法確定行駛策略。

可以理解的是，強化學習是通過一個能感知環境的自治代理(agent)，自主學習選擇能達到其目標的最優動作。具體自主學習的過程是代理在其環境中做出動作，環境會給予反饋，代理根據環境的反饋(成功給予獎勵、失敗給予懲罰)，對動作進行認識和學習，從而在后續的動作中優先考慮正確的行為和避免錯誤的行為發生，如此不斷學習，最終可以確定出最優動作，即得到最優的行駛策略。

則相應的，步驟105可以通過以下步驟實現：

步驟1051：根據夾角和最小距離，確定行駛策略，行駛策略包括針對車輛的方向調節和調節幅度，根據行駛策略控制車輛的行駛軌跡。

步驟1052：獲取調整后的車輛對應的夾角和最小距離，計算得到調整后的增強信號。

步驟1053：比較增強信號和調整后的增強信號，以得到比較結果，若調整后的增強信號表示的可靠程度高于增強信號表示的可靠程度，則將行駛策略記錄為正確的行駛策略，若調整后的增強信號表示的可靠程度低于增強信號表示的可靠程度，則將行駛策略記錄為錯誤的行駛策略。

步驟1054：根據比較結果調整行駛策略。

步驟1055：根據調整后行駛策略控制車輛的行駛軌跡。

步驟106：根據行駛策略控制車輛的行駛軌跡，直至車輛行駛至目標終端所處的位置。

在通過本發明實施例所提供的自動取車方法取車時，首先，獲取目標終端和車輛的位置信息，通過目標終端和車輛的位置信息獲取車輛的前輪朝向與車輛和目標終端之間的連線的夾角，然后，檢測車輛附近是否存在障礙物，若車輛附近存在障礙物，則獲取車輛與障礙物的最小距離，接著，根據夾角和最小距離計算得到增強信號，根據夾角、最小距離和計算得到的增強信號，采用強化學習算法確定行駛策略，最后，根據行駛策略控制車輛的行駛軌跡，直至車輛行駛至目標終端所處的位置。由于在車輛行駛的過程中能夠自主的實時探測周邊是否存在障礙物以及車輛與目標終端之間的夾角，并根據探測結果采用強化學習算法確定行駛策略，以實現對車輛行駛軌跡的控制，做到無碰撞自動取車。

圖2為另一種自動取車方法的流程圖，如圖2所示，自動取車方法包括：

步驟201：車輛接收由目標終端發出的啟動指令和取車指令。

具體實現時，當目標終端為移動終端，例如手機時，可以通過手機內的應用程序啟動車輛并發送取車指令，當目標終端為固定終端，例如電腦時，可以通過電腦內的軟件啟動車輛并發送取車指令，具體地啟動方法可以為現在常見的通過車輛物聯網實現車輛遠程啟動的方法，在此不做贅述。

需要說明的是，當車輛啟動后，車輛低速行駛，例如以低于5km/h的速度行駛等，從而進一步地保障了車輛自動行駛的安全性。

需要說明的是，啟動指令和取車指令可以采用同一條指令實現，也可以采用兩條指令實現。

步驟202：獲取目標終端和車輛的位置信息。

步驟203：根據目標終端和車輛的位置信息，確定車輛的前輪朝向與車輛和目標終端之間的連線的夾角。

具體實現時，可以通過檢測車輛的方向盤的轉動角度，來獲取車輛的前輪朝向。

步驟204：檢測車輛附近是否存在障礙物，若車輛附近存在障礙物，則獲取車輛與障礙物的最小距離。

具體實現時，步驟204可以通過如下步驟實現：

步驟2041：獲取實際探測距離和最大探測距離，實際探測距離為車輛上的距離檢測裝置與實際探測到的障礙物之間的距離，最大探測距離為距離檢測裝置的最大探測距離。

圖3為車輛探測障礙物示意圖，如圖3所示，距離檢測裝置可以為超聲波雷達，在車輛的前保險杠處、左車門處和右車門處可以分別設置第一超聲波雷達、第二超聲波雷達和第三超聲波雷達，設定三個超聲波雷達的最大探測距離均為l。

步驟2042：比較各個超聲波探測器的實際探測距離和各自的最大探測距離，當實際探測距離等于最大探測距離時，車輛附近不存在障礙物，當實際探測距離小于最大探測距離時，車輛附近存在障礙物，且障礙物與車輛之間的距離為實際探測距離。

在上述實現方式中，例如，如圖3所示的情況，第一超聲波雷達的實際探測距離d₁等于其最大探測距離l，第二超聲波雷達的實際探測距離d₂等于其最大探測距離l，則表明車輛的前保險杠和左車門附近不存在障礙物，而第二超聲波雷達的實際探測距離d₃小于其最大探測距離l，則表明車輛的右車門附近存在障礙物。

步驟205：根據夾角和最小距離計算得到增強信號，增強信號用于表示車輛在對應的夾角和最小距離時，車輛朝向目標終端行駛的可靠程度。

在上述實現方式中，車輛朝向目標終端行駛的可靠程度可以通過兩個方面表現，一個方面為車輛與目標終端之間的夾角的絕對值，該值越小，則表示車輛越朝向目標終端所在的方向行駛，即車輛對向目標終端的準度越高，另一個方面為車輛附近的障礙物與車輛之間的距離，該距離越大，則表示車輛越不容易與障礙物發生碰撞，即車輛行駛的可靠度越高。

具體實現時，根據以下公式，計算得到增強信號，

其中，r為增強信號，β為權值，θ為目標終端與車輛之間的夾角，l為最大探測距離，d_i為實際探測距離，i＝1，2，3。

在上述公式中，表示在和之間取最小值。

更具體地，根據以下公式，得到權值：

在上述公式中，當車輛的附近不存在障礙物時，β為0，此時相當于車輛行駛的主要任務是尋路，即對準目標終端，而當車輛的附近存在障礙物時，β為0.75，此時相當于主要任務是避障，而尋路為次要任務。

步驟206：根據夾角、最小距離和計算得到的增強信號，采用強化學習算法確定行駛策略。

具體實現時，步驟206可以通過如下步驟實現：

步驟2061：根據夾角和最小距離，確定行駛策略，行駛策略包括針對車輛的方向調節和調節幅度，根據行駛策略控制車輛的行駛軌跡。

具體現實時，將夾角和最小距離作為輸入量，計算得到對應的第一增強信號，根據輸入量，確定行駛策略。

步驟2062：獲取調整后的車輛的前輪朝向與車輛和目標終端之間的連線的夾角，以及調整后的車輛與障礙物的最小距離，計算得到調整后的增強信號。

具體實現時，將與調整后的車輛對應的夾角和最小距離作為輸入量，計算得到對應的第二增強信號(調整后的增強信號)。

步驟2063：比較增強信號和調整后的增強信號，以得到比較結果，若調整后的增強信號表示的可靠程度高于增強信號表示的可靠程度，則將行駛策略記錄為正確的行駛策略，若調整后的增強信號表示的可靠程度低于增強信號表示的可靠程度，則將行駛策略記錄為錯誤的行駛策略。

步驟2064：根據比較結果調整行駛策略。

在上述實現方式中，如果比較結果表示該行駛策略為正確的行駛策略，那么車輛在步驟207中繼續執行該行駛策略，直至該行駛策略在車輛行駛的過程中，因道路環境的變化而被判斷為錯誤的行駛策略，如果比較結果表示該行駛策略為錯誤的行駛策略，那么調整該行駛策略，即改變針對車輛的方向調節和調節幅度，從而提高車輛朝向目標終端行駛的可靠程度。需要說明的是，在行駛策略中，針對車輛的方向調節可以包括左和右兩個方向，調節幅度可以為車輛的最小可轉角度至最大可轉角度中的任一角度。

具體地，如果比較結果表示該行駛策略為錯誤的行駛策略，需要對行駛策略進行調整，那么可以隨機選擇另外一種行駛策略，并將錯誤的行駛策略儲存下來，從而避免車輛在后續的行駛過程中，重復選擇該錯誤的行駛策略。

需要說明的是，如果車輛第一次通過本實施例所提供的自動取車方法執行取車流程，則步驟2061中的行駛策略可以隨機選擇，然后再通過步驟2062-步驟2064的方法，不斷調節行駛策略，以使得車輛能夠自主的學習，從而在不同的車庫中實現無碰撞取車。

步驟207：根據行駛策略控制車輛的行駛軌跡，直至車輛行駛至目標終端所處的位置。

在上述實現方式中，由于車輛在行駛的過程中，不斷的根據增強信號判斷當前的行駛策略是否正確，如果正確則繼續執行，并將正確的行駛策略以正確的形式儲存下來，如果錯誤則對行駛策略進行調整，對行駛策略的調整，可以是隨機選擇一種其他的行駛策略，并將錯誤的行駛策略以錯誤形式儲存下來，從而避免車輛在后續的行駛過程中，重復選擇該錯誤的行駛策略，進而使得車輛能夠自主的學習，從而適應不同的車庫。

在通過本發明實施例所提供的自動取車方法取車時，首先，獲取目標終端和車輛的位置信息，通過目標終端和車輛的位置信息獲取車輛的前輪朝向與車輛和目標終端之間的連線的夾角，然后，檢測車輛附近是否存在障礙物，若車輛附近存在障礙物，則獲取車輛與障礙物的最小距離，接著，根據夾角和最小距離計算得到增強信號，根據夾角、最小距離和計算得到的增強信號，采用強化學習算法確定行駛策略，最后，根據行駛策略控制車輛的行駛軌跡，直至車輛行駛至目標終端所處的位置。由于在車輛行駛的過程中能夠自主的實時探測周邊是否存在障礙物以及車輛與目標終端之間的夾角，并根據探測結果采用強化學習算法確定行駛策略，以實現對車輛行駛軌跡的控制，做到無碰撞自動取車。

圖4為自動取車裝置的框線圖，如圖4所示，該自動取車裝置包括：

位置獲取模塊310，用于獲取目標終端和車輛的位置信息。

夾角獲取模塊320，用于根據目標終端和車輛的位置信息，獲取車輛的前輪朝向與車輛和目標終端之間的連線的夾角。

最小距離獲取模塊330，用于檢測車輛附近是否存在障礙物，若車輛附近存在障礙物，則獲取車輛與障礙物的最小距離。

計算模塊340，用于根據夾角和最小距離計算得到增強信號，增強信號用于表示車輛在對應的夾角和最小距離時，車輛朝向目標終端行駛的可靠程度。

確定模塊350，用于根據夾角、最小距離和計算得到的增強信號，采用強化學習算法確定行駛策略。

行駛模塊360，用于根據行駛策略控制車輛的行駛軌跡，直至車輛行駛至目標終端所處的位置。

在本實施例中，最小距離獲取模塊330包括：探測單元331，用于獲取實際探測距離和最大探測距離，實際探測距離為車輛上的距離檢測裝置與實際探測到的障礙物之間的距離，最大探測距離為距離檢測裝置的最大探測距離；當實際探測距離等于最大探測距離時，車輛附近不存在障礙物；當實際探測距離小于最大探測距離時，車輛附近存在障礙物。

在本實施例中，計算模塊340包括：第一計算單元341，用于根據以下公式，計算得到增強信號，

其中，r為增強信號，β為權值，θ為目標終端與車輛之間的夾角，l為最大探測距離，d_i為實際探測距離，i為距離檢測裝置的數量。

在本實施例中，計算模塊340還包括：第二計算單元342，用于根據以下公式，得到權值：

在本實施例中，確定模塊350還包括：

確定單元351，用于根據所述夾角和所述最小距離，確定行駛策略，所述行駛策略包括針對所述車輛的方向調節和調節幅度，根據所述行駛策略控制所述車輛的行駛軌跡。

計算模塊340，還用于獲取調整后的所述車輛的前輪朝向與所述車輛和所述目標終端之間的連線的夾角，以及調整后的所述車輛與所述障礙物的最小距離，計算得到調整后的增強信號。

比較單元352，用于比較所述增強信號和所述調整后的增強信號，以得到比較結果，若所述調整后的增強信號表示的可靠程度高于所述增強信號表示的可靠程度，則將所述行駛策略記錄為正確的行駛策略，若所述調整后的增強信號表示的可靠程度低于所述增強信號表示的可靠程度，則將所述行駛策略記錄為錯誤的行駛策略。

學習單元353，用于根據所述比較結果調整所述行駛策略。

在通過本發明實施例所提供的自動取車裝置取車時，首先，獲取目標終端和車輛的位置信息，通過目標終端和車輛的位置信息獲取車輛的前輪朝向與車輛和目標終端之間的連線的夾角，然后，檢測車輛附近是否存在障礙物，若車輛附近存在障礙物，則獲取車輛與障礙物的最小距離，接著，根據夾角和最小距離計算得到增強信號，根據夾角、最小距離和計算得到的增強信號，采用強化學習算法確定行駛策略，最后，根據行駛策略控制車輛的行駛軌跡，直至車輛行駛至目標終端所處的位置。由于在車輛行駛的過程中能夠自主的實時探測周邊是否存在障礙物以及車輛與目標終端之間的夾角，并根據探測結果采用強化學習算法確定行駛策略，以實現對車輛行駛軌跡的控制，做到無碰撞自動取車。

以上所述僅為本發明的較佳實施例，并不用以限制本發明，凡在本發明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發明的保護范圍之內。