本發明構思涉及自動駕駛車輛領域。尤其，本發明涉及對用于感知模型的訓練的訓練數據進行標注的方法和裝置。

背景技術：

1、近年來，隨著技術的發展，圖像捕獲和處理技術已經廣泛應用于不同的技術領域。尤其，當今生產的車輛通常配備有某種形式的視覺或者感知系統，以確保新的功能。而且，越來越多的現代車輛擁有先進的駕駛員輔助系統(adas)，以提高車輛安全性，并且更一般地提高道路安全性。adas——比如可以由自適應巡航控制(acc)、碰撞避免系統、前方碰撞警告、車道支持系統等表示——是可以輔助車輛的駕駛員的電子系統。當今，正在進行與adas和自動駕駛(ad)領域二者相關聯的許多技術領域內的研究和開發。adas和ad也可以統稱為對應于所有不同級別的自動化的通用術語自動駕駛系統(ads)，如例如由sae?j3016定義的駕駛自動化級別(0-5)。

2、這些系統的一些功能可以使用簡單的基于規則的技術來實施。然而，為了處理現實世界駕駛場景的復雜性——這涉及不斷變化的道路狀況、人類或者非人類行為的不可預測性以及快速變化的環境——使用機器學習模型已經被證明可以增強ads的安全性、能力和性能。諸如深度學習模型或者神經網絡的機器學習模型作為用于例如檢測、識別或者跟蹤車輛的周圍環境中的物體的ads感知系統的一部分尤其有用。

3、利用深度學習算法解決實現自動駕駛所必須的感知任務要求大量標記的訓練數據。這樣的數據集需要覆蓋駕駛時可能存在的任何可以想象的場景。收集數據是相對容易的任務。然而，對數據進行標注以使其對機器學習模型的訓練有用的成本要昂貴許多數量級，因為它通常要求人工參與。當轉向要求標注的序列數據的時空模型時，這些問題只會變得更糟，給標注成本帶來新的維度。所以，ad發展的圣杯之一是找到以自動化方式進行這一點的方法。本發明構思提供了用于以更自動化的方式獲取高保真度標注的技術，這可以消除或者大大減少對人類參與的需要。

技術實現思路

1、本文中公開的技術旨在減輕、緩解或者消除現有技術中的一個或多個上述缺陷和缺點，以解決涉及獲取標注的訓練數據的各種問題。大型語言模型中的最新進展已經表明，當模型的規模或者其輸入數據集的大小沒有明確限制時，深度學習最強大。發明人意識到，這些方面也可以用于其它領域，諸如用于數據的標注的自動駕駛開發領域。當前公開的技術至少部分地建立在利用易于收集的數據來訓練離線模型的基礎上，以能夠標注訓練數據，然后訓練數據可以用于訓練在配備有自動駕駛系統ads的車輛中使用的在線(或者生產)模型。

2、如上所述，數據收集比標注的成本低許多數量級。出于該原因，當前公開的技術利用不需要顯式標記的數據。然后，基本問題變成了為模型定義目標函數，使其能夠利用該大量未標記的數據，同時建立可以用于解決諸如物體或者車道跟蹤的相關的ad任務的對車輛周圍世界的理解。所提出的技術使人們能夠訓練用于離線自動標注的模型，該模型僅受收集的原始數據的量(例如測試車輛或者車隊)和用于訓練的可用計算資源的限制，而不受用于人工標注的資源的限制。所提出的用于訓練數據的隨后標注的離線感知模型的目標函數在本文中被選擇為基于傳感器數據序列中的可用的傳感器數據來預測傳感器數據序列中缺失的傳感器數據的問題。

3、所公開的發明的各個方面和實施方式在下面以及所附的獨立權利要求和從屬權利要求中限定。

4、根據第一方面，提供了一種為訓練數據的隨后標注提供離線感知模型的計算機實施的方法。訓練數據可以用于在線感知模型的訓練。方法包括使用第一訓練數據集訓練基礎模型以預測與時間實例序列中的時間實例的物理環境有關的傳感器數據，該預測基于時間實例序列中的剩余時間實例的傳感器數據。方法進一步包括通過向經訓練的基礎模型添加任務特定層來形成離線感知模型。任務特定層被配置為執行離線感知模型的感知任務。方法進一步包括使用第二訓練數據集對離線感知模型進行微調，以執行感知任務。第二訓練數據集包括針對所述感知任務進行了標注的訓練數據。

5、根據第二方面，提供了一種包括指令的計算機程序產品，當程序由計算裝置執行時，這些指令使計算裝置執行根據第一方面的任何實施方式的方法。根據第二方面的可替代的實施方式，提供了一種(非瞬態)計算機可讀存儲介質。非瞬態計算機可讀存儲介質存儲一個或多個程序，該一個或多個程序被配置為由處理系統的一個或多個處理器執行，該一個或多個程序包括用于執行根據第一方面的任何實施方式的方法的指令。在適用的情況下，第一方面的任何上述特征和優點也適用于第二方面。為了避免不必要的重復，請參考上述內容。

6、根據第三方面，提供了一種為訓練數據的隨后標注提供離線感知模型的裝置。訓練數據然后可以用于在線感知模型的訓練。裝置包括控制電路。控制電路被配置為使用第一訓練數據集訓練基礎模型訓練以預測與時間實例序列中的時間實例的物理環境有關的傳感器數據，該預測基于時間實例序列中的剩余時間實例的傳感器數據。控制電路進一步被配置為通過向經訓練的基礎模型添加任務特定層來形成離線感知模型。任務特定層被配置為執行離線感知模型的感知任務。控制電路進一步被配置為使用第二訓練數據集對離線感知模型進行微調，以執行感知任務。第二訓練數據集包括針對所述感知任務進行了標注的訓練數據。在適用的情況下，其它方面的任何上述特征和優點也適用于該第三方面。為了避免不必要的重復，請參考上述內容。

7、根據第四方面，提供了一種對用于在線感知模型的隨后訓練的數據進行標注的計算機實施的方法。在線感知模型被配置為執行配備有自動駕駛系統的車輛的感知任務。方法包括獲得與物理環境有關的傳感器數據。方法進一步包括通過將獲得的傳感器數據輸入到由根據第一方面的任何實施方式的方法提供的離線感知模型中來確定感知輸出。方法進一步包括將傳感器數據與感知輸出一起存儲為標注數據，以用于在線感知模型的隨后訓練。在適用的情況下，其它方面的任何上述特征和優點也適用于該第四方面。為了避免不必要的重復，請參考上述內容。

8、根據第五方面，提供了一種包括指令的計算機程序產品，當程序由計算裝置執行時，這些指令使計算裝置執行根據第四方面的任何實施方式的方法。根據第五方面的可替代的實施方式，提供了一種(非瞬態)計算機可讀存儲介質。非瞬態計算機可讀存儲介質存儲一個或多個程序，該一個或多個程序被配置為由處理系統的一個或多個處理器執行，該一個或多個程序包括用于執行根據第四方面的任何實施方式的方法的指令。在適用的情況下，其它方面的任何上述特征和優點也適用于該第五方面。為了避免不必要的重復，請參考上述內容。

9、根據第六方面，提供了一種對用于在線感知模型的隨后訓練的數據進行標注的裝置。在線感知模型被配置為執行配備有自動駕駛系統的車輛的感知任務。裝置包括控制電路。控制電路被配置為獲得與物理環境有關的傳感器數據。控制電路進一步被配置為通過將獲得的傳感器數據輸入到根據第一方面的任何實施方式的方法提供的離線感知模型中來確定感知輸出。控制電路進一步被配置為將傳感器數據與感知輸出一起存儲為標注數據，以用于在線感知模型的隨后訓練。在適用的情況下，其它方面的任何上述特征和優點也適用于該第六方面。為了避免不必要的重復，請參考上述內容。

10、如在本文中使用的術語“非瞬態”旨在描述排除傳播電磁信號的計算機可讀存儲介質(或者“存儲器”)，但不旨在以其它方式限制由短語計算機可讀介質或者存儲器所囊括的物理計算機可讀存儲設備的類型。比如，術語“非瞬態計算機可讀介質”或者“有形存儲器”旨在囊括包括例如隨機存取存儲器(ram)的不必須永久存儲信息的存儲設備類型。以非瞬態形式存儲在有形計算機可訪問存儲介質上的程序指令和數據可以進一步通過傳輸介質或者諸如電信號、電磁信號或者數字信號的信號來傳輸，傳輸介質或者信號可以經由諸如網絡和/或無線鏈路的通信介質來傳送。因此，如在本文中使用的術語“非瞬態”是對介質本身(即有形的，而不是信號)的限制，而不是對數據存儲持久性(例如ram與rom)的限制。

11、所公開的方面和優選實施方式可以以本領域普通技術人員顯而易見的任何方式適當地彼此組合，使得與一個方面相關的一個或多個特征或者實施方式也可以視為與另一方面或者另一方面的實施方式相關。此外，在適用的情況下，與一個方面相關的任何優點也適用于其它方面。

12、如前所述，當前公開的技術可能是有利的，因為它能夠以較少的人為參與來標注訓練數據。除了相對較小的帶標注的數據的訓練數據集(與第一訓練數據集相比的第二訓練數據集)之外，用于標注數據的離線感知模型可以使用大量不要求顯式標注的數據來提供。因此，人們可以簡單地駕駛周圍安裝有適當的傳感器的車輛，并且收集相關的傳感器數據。因此，可以用于在線感知模型的訓練的訓練數據的高保真度標注隨后可以以更時間高效并且以遠大于以前使用現有技術可行的數量的方式生成，這反過來可以改進在線感知模型的隨后訓練。利用隱式標注的數據和/或基礎模型的半監督學習的效果使得幾乎不需要付出任何努力即可容易地收集這些大量的數據。而且，通過將用于數據標注的感知模型部署為離線模型，使得能夠將模型和數據集大小推向新的高度。以上方面的效果可以是離線感知模型可以學習預測從作為模型的輸入提供的傳感器數據序列中缺失的傳感器數據的復雜任務。在足夠大且多樣化的數據集上解決此任務可以產生可以理解環境的動態并且學習場景的時間演變的模型。因此，按照目前已知的情況，本技術提供的離線感知模型可能比僅在有限的一組人工標記的數據上進行訓練的任何自動標注模型(例如在能力、準確性和總體性能的意義上)更強大。所提供的離線感知模型也比用對比損失或者分類任務進行訓練的模型更強大，因為這些目標不會直接取代在線感知模型旨在執行的相關的ad任務。換句話說，模型可以學習最小化對比損失，而無需實際上對對象跟蹤或者其它感知任務有一般的了解。

13、最后，與其它解決方案相比，所提出的用于離線感知模型的訓練的目標函數在模型的輸入和輸出可以包括類似數量的信息的意義上可能是字節高效的。

14、在從屬權利要求中定義了進一步實施方式。應強調的是，當在此說明書中使用時，術語“包括(comprise)/包括(comprising)”用于指定所敘述的特征、整數、步驟或者組件的存在。其不排除一個或多個其它特征、整數、步驟、組件或者其組的存在或者添加。

15、將在下面參考下文中描述的實施方式進一步闡明所公開的技術的這些和其它特征和優點。