本公開總體上涉及用于生成虛擬傳感器數據的方法、系統和裝置，并且更具體地涉及生成虛擬傳感器數據以用于訓練和測試檢測對象或障礙物——例如車輪止動器(wheelstop)或停車障礙——的模型或算法。

背景技術：

機動車輛為商業、政府和私營企業提供很大一部分運輸。由于機動車輛的高價值以及對乘客和駕駛員的潛在危害，駕駛員安全性和與其他車輛或對象發生事故或碰撞的避免極其重要。

技術實現要素：

根據本發明，提供一種方法，該方法包含：

模擬包含一個或多個對象的三維(3d)環境；

生成針對3d環境內一個或多個傳感器的多個位置的虛擬傳感器數據；

確定對應于多個位置中的每一個的虛擬地面實況，該地面實況包含關于虛擬傳感器數據內至少一個對象的信息；以及

存儲和關聯虛擬傳感器數據和虛擬地面實況。

根據本發明的一個實施例，該方法進一步包含提供虛擬傳感器數據和虛擬地面實況中的一個或多個以用于訓練或測試機器學習算法或模型。

根據本發明的一個實施例，其中機器學習模型或算法包含神經網絡。

根據本發明的一個實施例，其中一個或多個對象包含停車障礙，并且其中訓練機器學習算法或模型包含提供虛擬傳感器數據的至少一部分和對應的虛擬地面實況以訓練機器學習算法或模型以確定停車障礙的高度和位置中的一個或多個。

根據本發明的一個實施例，其中測試機器學習算法或模型包含將虛擬傳感器數據的至少一部分提供至機器學習算法或模型以確定至少一個對象的分類或位置和將分類或位置與虛擬地面實況進行比較。

根據本發明的一個實施例，其中多個位置對應于車輛上傳感器的規劃位置。

根據本發明的一個實施例，其中虛擬傳感器數據包含下列中的一個或多個：計算機生成的圖像、計算機生成的雷達數據、計算機生成的lidar數據以及計算機生成的超聲數據。

根據本發明的一個實施例，其中模擬3d環境包含隨機生成針對下列中的一個或多個的不同條件：照明、天氣、一個或多個對象的位置、以及一個或多個對象的分類或類型。

根據本發明的一個實施例，其中生成虛擬傳感器數據包含在模擬3d環境內一個或多個傳感器的運動期間周期性地生成虛擬傳感器數據。

根據本發明的一個實施例，其中確定虛擬地面實況包含生成與虛擬傳感器數據的幀互補的地面實況幀，其中地面實況幀包含針對對應于一個或多個對象的像素的相同顏色值。

根據本發明，提供一種系統，該系統包含：

環境部件，該環境部件被配置為模擬包含一個或多個障礙物的三維(3d)環境；

虛擬傳感器部件，該虛擬傳感器部件被配置為生成針對3d環境內一個或多個傳感器的多個位置的虛擬傳感器數據；

地面實況部件，該地面實況部件被配置為確定對應于多個位置中的每一個的虛擬地面實況，其中該地面實況包含關于一個或多個障礙物中的至少一個障礙物的信息；以及

模型部件，該模型部件被配置為將虛擬感知數據和地面實況提供至機器學習模型或算法以訓練或測試機器學習模型或算法。

根據本發明的一個實施例，其中模型部件被配置為訓練機器學習算法或模型，其中訓練包含：

提供虛擬傳感器數據的至少一部分和對應的虛擬地面實況以訓練機器學習算法或模型以確定至少一個障礙物的分類或位置。

根據本發明的一個實施例，其中模型部件被配置為測試機器學習算法或模型，其中測試包含：

將虛擬傳感器數據的至少一部分提供至機器學習算法或模型以確定至少一個障礙物的分類或位置；以及

將分類或位置與虛擬地面實況進行比較。

根據本發明的一個實施例，其中虛擬傳感器部件被配置為生成虛擬傳感器數據，該虛擬傳感器數據包含下列中的一個或多個：計算機生成的圖像、計算機生成的雷達數據、計算機生成的光探測和測距(lidar)數據和計算機生成的超聲數據。

根據本發明的一個實施例，其中環境部件被配置為通過隨機生成針對多個位置中的一個或多個的不同條件來模擬3d環境，其中不同條件包含下列中的一個或多個：

照明條件；

天氣條件；

一個或多個障礙物的位置；以及

一個或多個障礙物的尺寸。

根據本發明，提供一種計算機可讀存儲介質，該計算機可讀存儲介質存儲指令，當該指令由一個或多個處理器執行時，指令使一個或多個處理器：

生成針對模擬的三維(3d)環境內多個傳感器位置的虛擬傳感器數據，該模擬的3d環境包含一個或多個對象；

確定針對多個位置中的每一個的一個或多個模擬條件，其中模擬條件包含一個或多個對象中的至少一個對象的分類、位置和尺寸中的一個或多個；以及

存儲虛擬傳感器數據與模擬條件并且為虛擬傳感器數據注釋模擬條件。

根據本發明的一個實施例，其中該指令進一步使一個或多個處理器基于虛擬傳感器數據和模擬條件中的一個或多個來訓練或測試機器學習算法或模型。

根據本發明的一個實施例，其中：

該指令使一個或多個處理器通過以下方式來訓練機器學習算法或模型：提供虛擬傳感器數據的至少一部分和對應的模擬條件來訓練機器學習算法或模型以確定至少一個對象的分類、位置和尺寸中的一個或多個；以及/或者

該指令使一個或多個處理器通過以下方式來測試機器學習算法或模型：將虛擬傳感器數據的至少一部分提供至機器學習算法或模型以確定至少一個對象的分類、位置和尺寸中的一個或多個，并且將所確定的至少一個對象的分類、位置和尺寸與模擬條件進行比較。

根據本發明的一個實施例，其中生成虛擬傳感器數據包含通過針對多個位置中的一個或多個使模擬條件中的一個或多個隨機化來模擬3d環境，其中使一個或多個模擬條件隨機化包含使下列中的一個或多個隨機化：

照明條件；

天氣條件；

一個或多個對象的位置；以及

一個或多個對象的尺寸。

根據本發明的一個實施例，其中確定模擬條件進一步包含生成與虛擬傳感器數據的幀互補的地面實況幀，其中該地面實況幀包含針對對應于至少一個對象的像素的相同顏色值。

附圖說明

本公開的非限制性和非窮盡性的實施方式參照以下附圖進行描述，其中貫穿幾個視圖，相同的附圖標記指代相同的部件，除非另有說明。參考以下說明書和附圖，本公開的優點將變得更好理解，附圖中：

圖1是說明包括自動駕駛/輔助系統的車輛控制系統的實施方式的示意性框圖；

圖2是說明用于生成傳感器數據的系統的實施方式的示意性框圖；

圖3是說明定位在停車輪擋(parkingchock)附近的車輛的側視圖的示意圖；

圖4是根據一個實施例說明虛擬停車場環境的示意性俯視圖；

圖5是傳感器數據的示例幀；

圖6是根據一種實施方式圖5所說明的幀的示例互補幀；

圖7是根據一種實施方式說明模擬部件的示例部件的示意性框圖；以及

圖8是根據一種實施方式說明用于生成虛擬傳感器數據的方法的示意性流程圖。

具體實施方式

車輛碰撞或事故的非常普遍的位置發生在駐車或離開停車位置期間。因為其他車輛、行人或其它對象的近距離，如果要避免損壞車輛，包括刮擦保險杠或側板，則往往是小誤差裕度。在許多停車場中，或在其他停車位置處，停車位(parkingstall)在至少一側上通過某種停車障礙——例如停車輪擋、路緣或諸如此類——來標記或界定。停車障礙可以被用于使車輛不致于太向前(或向后)駛入車輛的另一排，并且當車輪遇到障礙時可以防止車輛移動太遠。停車障礙可以包括，或在這里被稱為，停車障礙、停車輪擋、停車止輪器、路緣或諸如此類。

當車輛被停放在停車場中時，它可能碰到車輪止動器或其他停車障礙。申請人已經認識到，車輪止動器的尺寸和高度可以顯著變化。在一些情況下，駕駛員、自動駕駛系統或自動輔助系統無法檢測到車輪止動器，并且車輛可能輾過它并且損壞前保險杠或后保險杠或護板(fascia)。為了避免這種碰撞，必須知道車輪止動器的位置和高度，以便可以避免碰到或刮擦車輛的底部。

然而，申請人已經認識到，如果通過車載感知來檢測車輪止動器或停車障礙，以便可以向駕駛員、自動駕駛系統或自動輔助系統提供警告或者以便自主制動可以根據需要被啟動，則檢測算法將需要對大量不同的數據進行訓練和測試。然而，真實世界傳感器數據花費相當多的時間和資源來獲取，通過設置物理測試或帶著傳感器四處駕駛以收集相關情景的數據。

本申請公開了用于生成合成或虛擬傳感器數據和/或相關的地面實況的系統和方法。在一個實施例中，一種方法包括模擬包括一個或多個停車障礙的三維(3d)環境。該方法包括生成針對3d環境內一個或多個傳感器的多個位置的虛擬傳感器數據。該方法進一步包括確定對應于多個位置中的每一個的虛擬地面實況，其中該地面實況包括停車障礙中至少一個的高度。該方法進一步包括存儲和關聯虛擬傳感器數據和虛擬地面實況。

一些實施方式將利用3d建模和動畫工具創建的虛擬駕駛環境與傳感器模型整合以在短時間內產生大量虛擬傳感器數據。在記錄的數據中，相關參數——例如車輪止動器的照明和定位——可以被隨機化以確保具有最小偏差的多樣化數據集。在一種實施方式中，傳感器根據其在車輛上的規劃位置而相對于道路或停車場(或其他虛擬駕駛環境)定位。虛擬傳感器可以沿著虛擬環境中的虛擬路徑被重新定位和/或被移動到它可以觀察到對象或障礙物——例如車輪止動器——的位置。

在虛擬移動或重新定位期間，虛擬傳感器可以周期性地記錄數據或生成虛擬傳感器數據。對于所記錄的數據的每一個時間步長(timestep)——例如，攝像機數據的每一個幀，自動提供注釋以記錄關于傳感器范圍內所有車輪止動器的位置以及每一個車輪止動器的高度的地面實況信息。在攝像機數據的情況下，對于圖像數據的每一個幀，地面實況數據可以包括顯示相同視野的按像素分段的圖像數據的互補幀。例如，互補幀中車輪止動器的所有像素可以是具有恒定值的純色(例如，紅-綠-藍(rgb))，以便準確地知道哪些像素屬于車輪止動器。地面實況信息可以被用于利用監督式學習來訓練感知算法，或者用于測試現有算法并量化其性能。實施例可以生成針對攝像機、光測距和探測(lidar)系統、雷達系統、超聲系統和/或不同的傳感器系統或傳感器類型的虛擬傳感器。

本文所公開的系統和方法可以提供優于真實世界數據的顯著益處。例如，相比于真實世界數據，虛擬數據在時間、金錢和資源方面更便宜。具體地，本文所公開的系統和方法可以在幾分鐘內生成針對各種條件的數千個虛擬圖像，與獲取相似數量的真實世界圖像的數小時或數月不同。具有自動注釋的虛擬傳感器數據極大地改善了在獲得對訓練和測試對象檢測或定位有用的地面實況或其他數據(例如用于車輪止動器檢測算法)方面的易用性。

盡管本公開的一些實施例討論了用于停車障礙的檢測、分類和/或尺寸確定的模擬和虛擬數據，但是這些僅僅是通過示例的方式給出。本公開預期本文所公開的系統、方法和裝置用于任何對象或障礙物的檢測、分類、定位和尺寸檢測的用途。例如，在駕駛環境中可以被車輛檢測到的任何對象或障礙物的虛擬表示在本文中是可預期的。

現在參考附圖，圖1說明了可以被用于自動檢測停車障礙的示例車輛控制系統100。自動駕駛/輔助系統102可以被用于自動或控制車輛的操作或向人類駕駛員提供輔助。例如，自動駕駛/輔助系統102可以控制車輛的制動、轉向、加速、燈、警報、駕駛員通知、無線電、或任何其它輔助系統中的一個或多個。在另一個示例中，自動駕駛/輔助系統102可能無法提供對駕駛(例如，轉向、加速或制動)的任何控制，但是可以提供通知和警報以輔助人類駕駛員安全地駕駛。自動駕駛/輔助系統102可以利用神經網絡或其它模型或算法來確定停車障礙或輪擋存在，并且還可以確定對象或障礙物——例如停車障礙或輪擋——的大小、位置和/或尺寸。

車輛控制系統100還包括一個或多個傳感器系統/裝置，該一個或多個傳感器系統/裝置用于檢測附近對象的存在或確定母車輛(例如，包括車輛控制系統100的車輛)的位置。例如，車輛控制系統100可以包括一個或多個雷達系統106、一個或多個lidar系統108、一個或多個攝像機系統110、全球定位系統(gps)112和/或一個或多個超聲系統114。車輛控制系統100可以包括數據存儲器116，該數據存儲器116用于存儲用于導航和安全性的相關或有用的數據，例如地圖數據、駕駛歷史或其他數據。車輛控制系統100還可以包括收發器118，收發器118用于與移動或無線網絡、其他車輛、基礎設施或任何其他通信系統進行無線通信。

車輛控制系統100可以包括車輛控制致動器120以控制車輛的駕駛的各個方面，例如電動馬達、開關或其他致動器，以控制制動、加速、轉向或諸如此類。車輛控制系統100還可以包括一個或多個顯示器122、揚聲器124或其他設備，以便可以向人類駕駛員或乘客提供通知。顯示器122可以包括可以被車輛的駕駛員或乘客看到的抬頭顯示器、儀表板顯示器或指示器、顯示屏或任何其它視覺指示器。揚聲器124可以包括車輛的音響系統的一個或多個揚聲器，或者可以包括專用于駕駛員通知的揚聲器。

可以領會的是，圖1的實施例僅通過示例的方式給出。在不脫離本公開的范圍的前提下，其他實施例可以包括更少或附加的部件。此外，示出的部件可以被組合或包括在其它部件內，而非限制。

在一個實施例中，自動駕駛/輔助系統102被配置為控制母車輛的駕駛或導航。例如，自動駕駛/輔助系統102可以控制車輛控制致動器120以在道路、停車場、行車道或其它位置的路徑上行駛。例如，自動駕駛/輔助系統102可以基于由部件106-118中的任何一個提供的信息或感知數據來確定路徑。傳感器系統/裝置106-110和114可以被用于獲取實時傳感器數據，以便自動駕駛/輔助系統102可以實時輔助駕駛員或駕駛車輛。自動駕駛/輔助系統102可以執行算法或利用模型——例如深度神經網絡——來處理傳感器數據并且識別停車障礙、對象或其他障礙物的存在、位置、高度和/或尺寸。然而，為了訓練或測試模型或算法，可能需要大量的傳感器數據。

現在參考圖2，示出了用于生成傳感器數據的系統200的一個實施例。該系統200包括模擬部件202、存儲器204、訓練部件206和測試部件208。模擬部件202可以被配置為模擬駕駛環境并且生成虛擬傳感器數據210和作為虛擬傳感器數據210的注釋212的虛擬地面實況或其他信息。該注釋可以包括任何類型的地面實況，例如模擬部件202所使用以生成駕駛環境和/或虛擬傳感器數據210的模擬條件。例如，虛擬地面實況可以包括傳感器與虛擬停車障礙之間的虛擬距離、虛擬停車障礙或任何其他對象或障礙物的一個或多個尺寸(例如，高度)。類似地，虛擬地面實況可以包括關于照明條件、天氣條件、傳感器位置、傳感器取向、傳感器速度和/或虛擬傳感器類型(例如，傳感器的特定模型)的一個或多個細節。模擬部件202可以為虛擬傳感器數據的幀或集合注釋對應的地面實況，或者存儲虛擬地面實況與該虛擬地面實況屬于的傳感器數據的指示。

虛擬傳感器數據210和/或包括在注釋212中的任何信息可以被存儲在存儲器204中。存儲器204可以包括例如硬盤的長期存儲器或例如隨機存取存儲器(ram)的機器存儲器。虛擬傳感器數據210和任何相關的注釋212可以被存儲作為相同文件的一部分或者可以被存儲在單獨的文件中。訓練部件206和/或測試部件208然后可以訪問和利用虛擬傳感器數據201和/或注釋212來訓練或測試停車障礙檢測算法或模型。

訓練部件206被配置為利用由模擬部件202生成的虛擬傳感器數據和地面實況來訓練機器學習算法。例如，訓練部件206可以通過以下方式來訓練機器學習算法或模型：提供虛擬傳感器數據的至少一部分和對應的虛擬地面實況來訓練機器學習算法或模型以確定一個或多個停車障礙、對象或其他障礙物的高度和位置中的一個或多個。訓練部件206可以將虛擬傳感器數據和虛擬地面實況提供至用于神經網絡的訓練算法。例如，訓練部件206可以利用在某一時間的傳感器數據和相關的地面實況的一個幀來訓練神經網絡。在一個實施例中，訓練部件206可以訓練識別虛擬傳感器數據的不同方面的多個不同的機器學習模型。例如，一個模型可以被用于將虛擬傳感器幀中的對象分類為停車障礙，而另外一個或多個其他模型可以被用于確定停車障礙、對象或其他障礙物的位置、取向、距離和/或尺寸。

測試部件208可以利用虛擬傳感器數據和虛擬地面實況來測試機器學習算法或模型。例如，測試部件208可以將虛擬傳感器數據的至少一部分提供至機器學習算法或模型以確定停車障礙、對象或其他障礙物的高度和位置中的一個或多個，并且將所確定的高度或所確定的位置與虛擬地面實況進行比較。測試部件208可以能夠準確地確定模型或算法執行得如何，因為所確定的分類或值可以與虛擬地面實況進行比較。如果算法或模型足夠精確，則它可以作為自動駕駛/輔助系統102的一部分來實施。

圖3說明了車輛302和停車障礙304的側視圖。如果車輛302到達停車障礙304，則停車障礙304可能碰撞、刮擦或損壞車輛302的保險杠或其他部分。隨著車輛移動得更近，通過車輛302的擋風玻璃停車障礙304可能不可見，并且安裝在車輛302的發動機罩或車頂上或其附近的一個或多個傳感器也可能無法檢測到停車障礙304。因此，重要的是，獲取停車障礙304的準確高度和位置，同時可檢測到停車障礙，以便當車輛被停放或以其它方式駕駛靠近停車障礙304時，可以避免車輛302與停車障礙304之間的接觸。另外，停車障礙304的位置可以被存儲在存儲器中，以便當駕駛員返回或車輛302被重新啟動時，可以提醒駕駛員或自動駕駛/輔助系統102停車障礙304的存在和位置。

圖4是具有多個停車位置和停車障礙404的虛擬停車場環境400的俯視圖。例如，虛擬停車場環境400可以由模擬部件202生成和模擬。因此，虛擬停車場環境400和所有對象可以表示由模擬部件202生成的計算機模型或模擬。虛擬停車場環境400還可以包括一個或多個照明源或其他對象以模擬真實停車場環境。例如，照明可以模擬一天中的不同時間、各種天氣類型和/或照明位置。還可以生成或模擬虛擬停車場環境400的一個或多個植物、路緣或周圍環境。

在虛擬停車場環境400內，車輛402被示為它正在接近或駛入具有停車障礙404的特定停車位。停車障礙404包括停車輪擋。停車輪擋的實施例包括混凝土、橡膠或其他障礙，其被放置在停車位置處以防止車輛移動或行駛太遠。虛擬停車場環境400包括用于每一個停車位的停車障礙404。然而，一些停車場對于停車障礙的包括可能不一致，使得駕駛員或系統不能基于其他停車位來假設特定停車位包括或不包括停車障礙。根據一個實施例，如線406所示，當車輛402駛入到停車位時，一個或多個傳感器可以獲取包括停車障礙404的一部分的數據(例如圖像或幀)。如以上所討論的，模擬部件202可以生成模擬車輛402上的傳感器在虛擬停車場環境400是真實世界環境的情況下將拍攝到的內容的感知數據的虛擬幀。

在一個實施例中，車輛402(具有任何相關的虛擬傳感器)沿著虛擬停車場環境400內的路徑移動或在虛擬停車場環境400內被隨機重新定位，并且感知數據的附加幀可以被生成。類似地，對應于模擬條件的信息可以與幀一起被保存，以便虛擬地面實況可用于每一個幀。在一個實施例中，虛擬停車場環境400內對象的位置和一個或多個其他條件可以針對多個不同的幀而被隨機化。例如，照明、位置、天氣條件或諸如此類可以在可接受的界限內隨機生成，以生成針對寬范圍的不同條件的虛擬傳感器數據。

盡管圖4說明了虛擬停車場環境400的平面圖，但是車輛可以被停放在停車障礙404或停車輪擋可能存在的各種各樣的位置中。例如，路邊停車位置、行車道停車位置或任何其他停車位置還可以包括停車障礙、停車輪擋、車輪止動器、路緣或其他對象以限定停車位置或停車位。因此，可以在一個或多個其他虛擬環境中模擬車輛被駕駛或可以被停放的任何位置。

圖5說明了由模擬部件202生成的傳感器數據的示例幀500。例如，幀500可以包括由位于虛擬環境內模擬位置處的虛擬攝像機拍攝到的虛擬圖像。幀500包括定位在虛擬環境內的停車障礙502。幀500內停車障礙502的形狀和位置可以是停車障礙502以及“拍攝”幀500的虛擬攝像機的當前位置和取向的結果。幀500的虛擬地面實況可以與幀500一起被保存或者可以與幀500相關聯，以便幀500的特定虛擬條件是已知的。虛擬地面實況可以包括傳感器與停車障礙502之間的距離(例如，以英尺、米或其他測量單位為單位的模擬距離)、傳感器的取向、停車障礙502的取向、停車障礙502的一個或多個尺寸、停車障礙502的材料、停車障礙502和拍攝幀500的傳感器兩者的具體位置、模擬的天氣條件、模擬的一天中的時間、模擬的照明位置、模擬的照明顏色或關于拍攝幀500的模擬環境的任何其他附加信息。

圖6說明了對應于圖5的幀500的互補幀600的一個實施例。該互補幀包括純色區域602，該純色區域602對應于幀500中停車障礙502的像素所在的區域。在圖6中，區域602是白色的，而互補幀600的其余部分是黑色的。然而，其他實施例可以類似于具有覆蓋停車障礙602的區域的純色的原始圖像。例如，亮綠色可以被用于區域602，而互補幀600的黑色部分可以不是黑色，但是可以與原始幀500的對應區域/像素相同。在一個實施例中，互補幀600可以被包括在幀500的地面實況信息中，以便可以訓練或測試算法。例如，互補幀600可以被提供有幀500以用于訓練用于檢測和/或識別停車障礙的尺寸的神經網絡。

雖然上面關于攝像機圖像討論了圖5和6，但是其他類型的傳感器數據幀是可預期的并且落在本公開的范圍內。例如，lidar幀、雷達幀、超聲幀或任何其它類型的傳感器數據幀可以被生成和被存儲在任何模擬的地面實況內。另外，雖然本文提供的一些實施例和示例包括停車障礙的模擬和模型，但是任何其他類型的對象或數據可以被使用。例如，可以生成在駕駛環境中可能遇到的任何類型的對象的虛擬傳感器數據。示例對象或障礙物可以包括停車障礙或路緣、其他車輛、道路或車道標線、停車標線、道路標志、行人、騎自行車的人、動物、道路碎屑、道路中的隆起或凹陷、或任何其他對象、障礙物或特征，這可能改變車輛應當操作的方式或改變車輛的路徑。

圖7是說明模擬部件202的示例部件的框圖。在所描繪的實施例中，模擬部件202包括環境部件702、虛擬傳感器部件704、地面實況部件706、存儲部件708和模型部件710。部件702-710僅以說明的方式給出，并且可能不是全部都被包括在所有的實施例中。實際上，一些實施例可以包括部件702-710中的僅一個或兩個或更多個的任意組合。部件702-710中的一些可以位于模擬部件202外部。

環境部件702被配置為生成和/或模擬虛擬環境。在一個實施例中，環境部件702模擬或生成3d停車或駕駛環境。環境部件702可以利用3d游戲或模擬引擎來創建、模擬和/或渲染車輛可以被駕駛或停放的環境。例如，用于駕駛游戲或任何其他游戲設計的游戲引擎可以被用于模擬真實世界環境的目的。

在一個實施例中，環境部件702模擬具有多個虛擬對象的環境。該虛擬對象可以包括停車障礙、車輛、樹木、植物、路緣、涂漆線、建筑物、風景、行人、動物或可能在駕駛或停車環境中找到的任何其它對象。環境部件702可以模擬具有大量車輛、行人或其他對象的擁擠狀況。環境部件702還可以模擬照明條件。例如，環境部件702可以模擬包括太陽、月光、路燈、建筑物燈、車輛前照燈、車輛制動燈或任何其它光源的光源。環境部件702還可以模擬陰影、在一天中的不同時間太陽或月亮的照明顏色、或天氣條件。例如，環境部件702可以模擬多云、多雨、多雪和其他天氣條件的照明。另外，環境部件702可以模擬虛擬環境中的道路、停車場和對象是濕的或被雪覆蓋的濕或雪條件。

在一個實施例中，環境部件702可以使模擬條件隨機化。例如，環境部件702可以周期性地使一個或多個模擬條件隨機化以生成具有寬范圍的條件的環境。在一個實施例中，環境部件702可以隨機生成針對下列中的一個或多個的不同條件：照明、天氣、一個或多個虛擬停車障礙或其他對象的位置、以及一個或多個虛擬停車障礙或其他對象的尺寸。

在一個實施例中，環境部件702可以模擬虛擬環境內傳感器的位置。環境部件702可以模擬一個或多個傳感器沿著虛擬環境內的路徑的運動，或者可以使傳感器定位隨機化。例如，環境部件702可以基于車輛上的規劃位置來模擬傳感器的位置和/或取向。在一個實施例中，環境部件702可以使虛擬環境內傳感器的位置、高度、取向或其他定位方面隨機化。傳感器的隨機化位置或者虛擬環境的其他模擬條件可以在預定義的界限內被隨機化，以增加虛擬環境類似于在真實世界情況下車輛可能遇到的狀況的可能性。

虛擬傳感器部件704被配置為生成由環境部件702生成或模擬的虛擬環境內虛擬傳感器的傳感器數據或感知數據。在一個實施例中，虛擬傳感器部件704可以包括或利用將被車輛使用的一個或多個特定傳感器的真實世界性能的模型。例如，傳感器可以具有模擬傳感器的真實世界性能的虛擬模型。虛擬傳感器部件704可以模擬傳感器如何生成幀。虛擬傳感器部件704可以生成虛擬傳感器數據，該虛擬傳感器數據包括下列中的一個或多個：計算機生成的圖像、計算機生成的雷達數據、計算機生成的lidar數據、計算機生成的超聲數據或用于其他類型的感知傳感器的其他數據。

在一個實施例中，虛擬傳感器部件704被配置為周期性地生成傳感器幀或傳感器數據。例如，虛擬傳感器部件704可以在類似于攝像機頻繁地拍攝圖像的模擬間隔內生成圖像(或其他傳感器)。在一個實施例中，虛擬傳感器部件704創建針對由環境部件702模擬的每一個位置的傳感器數據。例如，虛擬傳感器部件704可以生成針對沿著虛擬環境內由虛擬車輛行駛的路徑的位置的傳感器數據。在一個實施例中，傳感器數據的圖像或幀中的一個或多個包括虛擬停車障礙或其他對象的一部分。例如，虛擬環境中停車障礙或其他對象的計算機生成的圖像可以由虛擬傳感器部件704產生。

地面實況部件706被配置為生成針對由虛擬傳感器部件704生成的虛擬傳感器數據的虛擬地面實況。例如，地面實況部件706可以確定針對由虛擬傳感器部件704拍攝到的每一個圖像或幀的模擬條件。在一個實施例中，環境部件702可以向地面實況部件706提供模擬條件。地面實況部件706可以基于針對特定虛擬傳感器數據的模擬條件來選擇一個或多個模擬條件作為地面實況，或者計算地面實況。例如，地面實況部件706可以選擇停車障礙的尺寸(例如高度)作為計算機生成的圖像或幀的地面實況。作為另一個示例，地面實況部件706可以接收停車障礙和傳感器的虛擬位置，并且然后計算虛擬傳感器與停車障礙之間的虛擬距離(例如，視線距離和/或水平距離)。關于虛擬環境內其他對象或障礙物的類似信息也是可預期的。

虛擬地面實況可以包括關于傳感器的位置和取向、停車障礙或其他對象的位置和取向、停車障礙或其他對象的一個或多個尺寸、照明條件、天氣條件、傳感器與停車障礙或其他對象之間的距離、用于捕獲傳感器數據的傳感器的類型的信息或關于模擬條件的任何其它信息。在一個實施例中，可以確定針對由虛擬傳感器部件704生成的每一個幀或每一組傳感器數據的一組相同的地面實況。例如，針對生成虛擬傳感器數據的每一個位置的相同的地面實況信息(例如，傳感器高度、距離等)可以被計算。

在一個實施例中，地面實況部件706可以生成由虛擬傳感器部件704生成的傳感器數據的幀的互補幀(參見圖6)。例如，針對對應于一個或多個虛擬停車障礙的像素，互補幀可以具有相同的顏色值。例如，對應于虛擬停車障礙的每一個像素可以具有相同的顏色，以便訓練算法或測試算法可以清楚地確定虛擬傳感器數據的哪個部分對應于虛擬停車障礙。在一個實施例中，互補幀的每一個像素可以包括圖像像素、雷達或lidar矢量、或虛擬傳感器數據的其他像素或矩陣值。

存儲部件708被配置為存儲由虛擬傳感器部件704生成的虛擬傳感器數據和/或由地面實況部件706確定的任何地面實況。例如，存儲部件708可以將虛擬傳感器數據和/或地面實況存儲在圖2的存儲器204中。在一個實施例中，存儲部件708可以將虛擬傳感器數據與對應的地面實況或關于模擬條件的其他信息相關聯或為虛擬傳感器數據注釋對應的地面實況或關于模擬條件的其他信息。傳感器數據和地面實況然后可以被用于各種目的，例如用于訓練機器學習算法或模型或用于測試機器學習算法或模型。

模型部件710被配置為將虛擬傳感器數據和/或地面實況提供至用于機器學習算法或模型的測試或訓練的算法。例如，模型部件710可以將由虛擬傳感器部件704和/或地面實況部件706提供的虛擬傳感器數據和/或地面實況提供至圖2的訓練部件206或測試部件208。在另一個實施例中，模型部件710可以包括訓練部件206和/或測試部件208。例如，虛擬傳感器數據和/或虛擬地面實況可以被用于訓練或測試用于檢測、識別、確定停車障礙或其他對象的一個或多個性質的神經網絡、深層神經網絡和/或卷積神經網絡(convolutionneuralnetwork)。例如，機器學習算法或模型可以被訓練或測試以包括在圖1的自動駕駛/輔助系統102中。

現在參考圖8，說明了用于生成虛擬傳感器數據和地面實況的方法800的示意性流程圖。方法800可以由模擬部件或用于生成傳感器數據的系統——例如圖2或7的模擬部件202或圖2的用于生成傳感器數據的系統200——來執行。

在802，方法800開始，并且環境部件702模擬包含一個或多個停車障礙或其他對象的三維(3d)環境。在804，虛擬傳感器部件704生成針對3d環境內一個或多個傳感器的多個位置的虛擬傳感器數據。在806，地面實況部件706確定對應于多個位置中的每一個的虛擬地面實況。該地面實況可以包括關于虛擬傳感器數據內至少一個對象——例如在圖像或其他傳感器數據中捕獲的具有一個或多個特征的對象——的信息。該信息可以包括關于在此所討論的對象的任何信息，例如對象的尺寸、位置或取向。例如，地面實況可以包括停車障礙或其他對象中至少一個的高度。在808，存儲部件708存儲并關聯虛擬傳感器數據和虛擬地面實況。該方法還可以包括模型部件710將虛擬傳感器數據和/或虛擬地面實況提供至圖2的訓練部件206或測試部件208以用于訓練或測試機器學習算法或模型。在訓練和/或測試模型(例如深層神經網絡)之后，該模型可以被包括在圖1的車輛控制系統100中以用于在真實世界駕駛條件期間激活對象或停車障礙檢測和尺寸估算。

示例

以下示例涉及另外的實施例。

示例1是一種方法，該方法包括模擬包括一個或多個對象(例如停車障礙)的3d環境。該方法包括生成針對3d環境內一個或多個傳感器的多個位置的虛擬傳感器數據。該方法包括確定對應于多個位置中的每一個的虛擬地面實況。該地面實況包括關于傳感器數據內至少一個對象的信息。例如，該地面實況可以包括至少一個停車障礙的高度。該方法還包括存儲和關聯虛擬傳感器數據和虛擬地面實況。

在示例2中，示例1的方法進一步包括提供虛擬傳感器數據和虛擬地面實況中的一個或多個以用于訓練或測試機器學習算法或模型。

在示例3中，示例2中的機器學習模型或算法包括神經網絡。

在示例4中，示例2-3中任一個中訓練機器學習算法或模型包括提供虛擬傳感器數據的至少一部分和對應的虛擬地面實況以訓練機器學習算法或模型以確定一個或多個停車障礙或其他對象的高度和位置中的一個或多個。

在示例5中，示例2-4中任一個中測試機器學習算法或模型包括將虛擬傳感器數據的至少一部分提供至機器學習算法或模型以確定至少一個對象的分類或位置并且將分類或位置與虛擬地面實況進行比較。

在示例6中，示例1-5中任一個中的多個位置對應于車輛上傳感器的規劃位置。

在示例7中，示例1-6中任一個中的虛擬傳感器數據包括下列中的一個或多個：計算機生成的圖像、計算機生成的雷達數據、計算機生成的lidar數據、和計算機生成的超聲數據。

在示例8中，示例1-7中任一個中模擬3d環境包括隨機生成針對下列中的一個或多個的不同條件：照明、天氣、一個或多個對象的位置、以及一個或多個對象的分類或類型。

在示例9中，示例1-8中任一個中生成虛擬傳感器數據包括在模擬3d環境內一個或多個傳感器的運動期間周期性地生成虛擬傳感器數據。

在示例10中，示例1-9中任一個中確定虛擬地面實況包括生成與虛擬傳感器數據的幀互補的地面實況幀，其中該地面實況幀包括針對對應于一個或多個對象的像素的相同顏色值。

示例11是一種系統，該系統包括環境部件、虛擬傳感器部件、地面實況部件和模型部件。環境部件被配置為模擬包含一個或多個虛擬對象或障礙物的3d環境。虛擬傳感器部件被配置為生成針對3d環境內一個或多個傳感器的多個位置的虛擬傳感器數據。地面實況部件被配置為確定對應于多個位置中的每一個的虛擬地面實況，其中該地面實況包括關于一個或多個障礙物中至少一個障礙物的信息。模型部件被配置為將虛擬感知數據和地面實況提供至機器學習算法或模型以訓練或測試機器學習算法或模型。

在示例12中，示例11中的模型部件被配置為訓練機器學習算法或模型，其中訓練包括提供虛擬傳感器數據的至少一部分和對應的虛擬地面實況以訓練機器學習算法或模型以確定至少一個障礙物的分類或位置。

在示例13中，示例11-12中任一個中的模型部件被配置為測試機器學習算法或模型。測試包括將虛擬傳感器數據的至少一部分提供至機器學習算法或模型以確定至少一個障礙物或對象的分類或位置和將分類或位置與虛擬地面實況進行比較。

在示例14中，示例11-13中任一個中的虛擬傳感器部件被配置為生成虛擬傳感器數據，該虛擬傳感器數據包含下列中的一個或多個：計算機生成的圖像、計算機生成的雷達數據、計算機生成的lidar數據和計算機生成的超聲數據。

在示例15中，示例11-14中任一個中的環境部件被配置為通過隨機生成針對多個位置中的一個或多個的不同條件來模擬3d環境，其中不同條件包含下列中的一個或多個：照明條件；天氣條件；一個或多個障礙物或對象的位置；以及一個或多個障礙物或對象的尺寸。

示例16是一種計算機可讀存儲介質，該計算機可讀存儲介質存儲指令，當指令由一個或多個處理器執行時，指令使一個或多個處理器生成針對模擬的3d環境內多個傳感器位置的虛擬傳感器數據，該模擬的3d環境包含一個或多個虛擬對象。該指令使一個或多個處理器確定針對多個位置中的每一個的一個或多個模擬條件，其中模擬條件包含一個或多個對象中至少一個對象的分類、位置和尺寸中的一個或多個。該指令使一個或多個處理器存儲虛擬傳感器數據與模擬條件并且為虛擬傳感器數據注釋模擬條件。

在示例17中，示例16中的指令進一步使一個或多個處理器基于虛擬傳感器數據和模擬條件中的一個或多個來訓練或測試機器學習算法或模型。

在示例18中，示例16-17中任一個中的指令進一步使處理器執行下列操作中的一個或多個：通過以下方式訓練機器學習算法或模型：提供虛擬傳感器數據的至少一部分和對應的模擬條件以訓練機器學習算法或模型以確定至少一個對象的分類、位置和尺寸中的一個或多個；以及通過以下方式測試機器學習算法或模型：將虛擬傳感器數據的至少一部分提供至機器學習算法或模型以確定至少一個對象的分類、位置和尺寸中的一個或多個并且將所確定的至少一個對象的分類、位置和尺寸與模擬條件進行比較。

在示例19中，在示例16-18中任一個中生成虛擬傳感器數據包括通過針對多個位置中的一個或多個使模擬條件中的一個或多個隨機化來模擬3d環境，其中使一個或多個模擬條件隨機化包含使下列中的一個或多個隨機化：照明條件；天氣條件；一個或多個虛擬對象的位置；以及一個或多個虛擬對象的尺寸。

在示例20中，示例16-19中任一個中確定模擬條件進一步包括生成與虛擬傳感器數據的幀互補的地面實況幀，其中該地面實況幀包含針對對應于至少一個對象的像素的相同顏色值。

示例21是一種系統或裝置，該系統或裝置包括用于實施示例1-20中任一個的方法或實現示例1-20中任一個的系統或裝置的手段。

在以上公開內容中，參考附圖，附圖形成本公開的一部分并且在附圖中通過例證示出可以實踐本公開的特定實施方式。應當理解的是，在不脫離本公開的范圍的前提下，可以利用其他實施方式并且可以進行結構變化。說明書中引用“一個實施例”、“一實施例”，“一個示例實施例”等表明所描述的實施例可以包括特定特征、結構或特性，但每一個實施例可能未必包括特定特征、結構或特性。另外，這樣的短語未必是指同一實施例。此外，當特定特征、結構、或特性關于一個實施例進行描述時，可以主張的是，無論是否明確描述，關于其他實施例改變這樣的特征、結構或特性在本領域技術人員的知識的范圍之內。

如本文所使用的，“自主車輛”可以是完全獨立于人類駕駛員作用或操作的車輛；或者可以是在一些情況下獨立于人類駕駛員作用或操作的車輛而在其他情況下人類駕駛員可以能夠操作車輛；或者可以是主要由人類駕駛員操作但是具有自動駕駛/輔助系統的輔助的車輛。

本文所公開的系統、裝置和方法的實施方式可以包含或利用專用或通用計算機，該專用或通用計算機包括計算機硬件，例如，一個或多個處理器和系統存儲器，如本文所討論的。在本公開的范圍內的實施方式還可以包括用于承載或存儲計算機可執行指令和/或數據結構的物理和其他計算機可讀介質。這樣的計算機可讀介質可以是可以由通用或專用計算機系統訪問的任何可用介質。存儲計算機可執行指令的計算機可讀介質是計算機存儲介質(裝置)。承載計算機可執行指令的計算機可讀介質是傳輸介質。因此，舉例來說，而非限制，本公開的實施方式可以包含至少兩種明顯不同種類的計算機可讀介質：計算機存儲介質(裝置)和傳輸介質。

計算機存儲介質(裝置)包括隨機存取存儲器(ram)、只讀存儲器(rom)、電可擦除可編程只讀存儲器(eeprom)、只讀光盤存儲器(cd-rom)、固態驅動器(“ssd”)(例如，基于ram)、閃速存儲器、相變存儲器(“pcm”)、其他類型的存儲器、其它光盤存儲器、磁盤存儲器或其它磁性存儲設備、或者可以被用于存儲以計算機可執行指令或數據結構的形式的所需的程序代碼手段并且可以由通用或專用計算機訪問的任何其它介質。

本文所公開的裝置、系統和方法的實施方式可以在計算機網絡上進行通信?！熬W絡”被定義為允許電子數據在計算機系統和/或模塊和/或其他電子設備之間傳輸的一個或多個數據鏈路。當信息通過網絡或另一通信連接(硬線連接、無線、或硬線連接或無線的組合)被傳送或提供至計算機時，計算機適當地將該連接視為傳輸介質。傳輸介質可以包括可以被用于承載以計算機可執行指令或數據結構的形式的所需的程序代碼手段并且可以由通用或專用計算機來訪問的網絡和/或數據鏈路。上述組合也應該被包括在計算機可讀介質的范圍之內。

計算機可執行指令包含例如指令和數據，當該指令和數據在處理器中執行時，使通用計算機、專用計算機、或專用處理設備來執行某些功能或功能組。計算機可執行指令可以是例如二進制、例如匯編語言的中間格式指令、或甚至源代碼。雖然本發明主題已經以針對結構特征和/或方法論動作的語言進行了描述，但是應當理解的是，在所附權利要求中限定的發明主題不一定局限于所描述的特征或以上所述的動作。相反，所描述的特征和動作被公開作為實施權利要求的示例形式。

本領域技術人員將領會的是，本公開可以在網絡計算環境中通過許多類型的計算機系統配置來實踐，包括內置式車輛計算機、個人計算機、臺式計算機、膝上型計算機、消息處理器、手持式設備、多處理器系統、基于微處理器或可編程的消費者電子產品、網絡個人電腦(pc)、小型計算機、大型計算機、移動電話、個人數字助理(pda)、平板電腦、尋呼機、路由器、交換機、各種存儲設備和諸如此類。本公開也可以在本地和遠程計算機系統都執行任務的分布式系統環境中實踐，本地和遠程計算機系統通過網絡鏈接(或者通過硬線數據鏈路、無線數據鏈路或者通過硬線和無線數據鏈路的組合)。在分布式系統環境中，程序模塊可以位于本地和遠程存儲器存儲設備中。

此外，在適當情況下，本文所描述的功能可以在下列中的一種或多種中執行：硬件、軟件、固件、數字部件、或模擬部件。例如，一個或多個專用集成電路(asic)可以被編程為執行本文所描述的系統和程序中的一個或多個。在整個說明書和權利要求書中，某些術語被用來指代特定的系統部件。本領域技術人員將領會的是，部件可以通過不同的名稱來稱呼。本文不旨在區分名稱不同但作用相同的部件。

應當指出的是，以上所討論的傳感器實施例可以包含計算機硬件、軟件、固件或其任何組合以執行其功能的至少一部分。例如，傳感器可以包括被配置為在一個或多個處理器中執行的計算機代碼，并且可以包括由計算機代碼控制的硬件邏輯/電子電路。本文提供這些示例設備是為了說明的目的，并不旨在進行限制。本公開的實施例可以在其他類型的設備中實施，如相關領域技術人員將已知的那樣。

本公開的至少一些實施例涉及包含存儲在任何計算機可用介質上的這樣的邏輯(例如，以軟件的形式)的計算機程序產品。這樣的軟件，當在一個或多個數據處理設備中執行時，使設備如本文所描述的那樣操作。

雖然以上已經描述了本公開的各種實施例，但是應當理解的是，它們已僅通過舉例的方式呈現，而非限制。對相關領域的技術人員來說將顯而易見的是，形式和細節的各種改變可以在不脫離本公開的精神和范圍的前提下進行。因此，本公開的廣度和范圍不應該被上述示例性實施例中的任一個限制，而是應該僅根據下面的權利要求書及其等同物來限定。為了說明和描述的目的，前面的描述已被呈現。它不旨在是窮盡或將本公開限制為所公開的精確形式。鑒于以上教導，許多修改和變化是可能的。此外，應該指出的是，上述替代實施方式中的任一個或全部可以以任意所需的組合使用以形成本公開的附加混合實施方式。

此外，雖然本公開的特定實施方式已被描述和說明，但是本公開不被限于所描述和所說明的特定的形式或部件的布置。本公開的范圍由所附的權利要求、本申請中和不同申請中所提交的任何未來的權利要求及其等同物來限定。