本公開涉及圖像標注，諸如帶標注的街道道路圖像的創建，該街道道路圖像可以(尤其)用于訓練機器學習道路檢測部件。本公開還涉及可以在這個背景下使用的相關系統和方法，但是該相關系統和方法也具有在其他背景下的應用。

背景技術：

1、快速新興的技術是自主車輛(av)，自主車輛可以在城市道路和其他道路上自行導航。這種車輛不僅必須在人和其它車輛之間執行復雜的操控，而且它們必須經常這么做直到確保對不利事件發生的概率的嚴格約束，不利事件例如為與環境中的這些其它智能體的碰撞。為了使av安全地計劃，能夠準確且可靠地觀察其環境是至關重要的。這包括對車輛附近的道路結構的準確的和可靠的檢測的需要。

2、因此，在自主駕駛的領域中，常見的要求是具有結構檢測部件(也稱為機器視覺部件)，其在被給予視覺輸入時能夠確定諸如道路或車道結構的真實世界結構，例如，圖像的哪個部分是路面，圖像的哪個部分構成道路上的車道等。

3、這經常通過使用卷積神經網絡的機器學習來實現。這樣的網絡需要大量的訓練圖像。這些訓練圖像類似于將從自主車輛中的相機看到的圖像，但是它們已經被標注有神經網絡需要學習的信息。例如，它們將具有標記圖像上的哪些像素是路面和/或圖像的哪些像素屬于車道的標注。在訓練時，給網絡提供數千或優選地數十萬的這種帶標注的圖像，并且網絡自行學習圖像的什么特征指示像素是車道的一部分或路面。運行時，網絡然后可以利用它之前從未見過的圖像，即它在訓練期間沒有遇到過的圖像，自己做出這個決定。

4、用于創建帶標注的訓練圖像的常規技術是讓人類手動標注圖像。每幅圖像可能花費數十分鐘(并且因此招致非常顯著的時間、顯著的成本以獲得所需的大量圖像)。使用這種手動過程創建數十萬訓練圖像需要大量的人力，這又使得手動過程成為昂貴的練習。實際上，手動過程對可以實際提供的訓練圖像的數量施加了限制，這進而可能對訓練后的結構檢測部件的性能不利。

5、自主車輛，也稱為自動駕駛車輛，是指具有用于監測其外部環境的傳感器系統和能夠使用那些傳感器自動地做出和實現駕駛決策的控制系統的車輛。這特別包括基于來自傳感器系統的輸入來自動地適配車輛的速度和行駛方向的能力。完全自主或“無人駕駛”的車輛具有足夠的決策能力以在沒有來自人類駕駛員的任何輸入的情況下操作。然而，如本文所使用的術語自主車輛還適用于半自主車輛，半自主車輛具有更有限的自主決策能力，并且因此仍然需要來自人類駕駛員的一定程度的監督。

技術實現思路

1、本文解決的核心問題是快速且高效地但是仍然準確地對道路圖像進行標注，其中標注指示了視覺道路結構。這樣的圖像例如可以用于準備非常大的帶標注的道路圖像的訓練集，該訓練集適于訓練卷積神經網絡(cnn)或其他現有技術的機器學習(ml)結構檢測部件。

2、通過使用新穎的自動或半自動圖像標注技術來解決該問題，下面闡述該技術的各方面和實施例。該技術通過去除或至少顯著地減少對人力的需要，允許比這樣的手動標注更高效和更快速地生成大量訓練圖像。

3、這種訓練后的結構檢測部件的性能對訓練集的質量和大小都有很強的依賴性。生成準確地帶標注的道路圖像的大訓練集的能力(該大訓練集的大小簡直可能是使用常規標注不實際的)進而意味著有可能當(在運行時)應用于其在訓練中未遇到過的圖像時增加訓練后的結構檢測部件的準確性。

4、本發明的第一方面提供了一種標注道路圖像的方法，該方法包括在圖像處理系統處實現以下步驟：接收由行駛車輛的圖像捕獲裝置所捕獲的二維圖像的時間序列；處理圖像以在三維空間中重建車輛所行駛的路徑；使用重建后的車輛路徑來確定沿著該重建后的車輛路徑延伸的預期道路結構；以及通過執行三維空間中的預期道路結構到該圖像的二維平面上的幾何投影，來生成道路標注數據，以用于采用預期道路結構位置來標記圖像中的至少一個。

5、優選地，僅使用從由圖像捕獲裝置所捕獲的圖像數據導出的信息(即，從所捕獲的圖像的圖像數據導出的車輛路徑，以及可選地從由圖像捕獲裝置所捕獲的圖像數據導出的一個或更多個參考參數)來確定預期道路結構，而不使用任何其他車輛傳感器并且不需要圖像捕獲裝置的任何校準。例如，圖像捕獲裝置(圖像捕獲裝置)的一個或更多個參數和/或預期道路結構的一個或更多個參數可以(僅)從圖像捕獲裝置所捕獲的圖像數據導出。可以使用下面闡述的一種或更多種技術從圖像數據中導出。這提供了一種低成本的解決方案，其中采集圖像所需的唯一設備是標準車輛和基礎相機，例如行車記錄儀。

6、在實施例中，使用重建后的車輛路徑來確定預期道路結構的步驟包括：確定預期道路結構邊界，其被定義為平行于重建后的車輛路徑延伸的三維空間中的曲線，其中道路標注數據用于標記圖像中的預期道路結構邊界的位置。

7、在該圖像中的預期道路結構位置可以根據在該圖像被捕獲之后車輛所行駛的路徑確定。

8、在該圖像中的預期道路結構位置可以根據在該圖像被捕獲之前車輛所行駛的路徑確定。

9、帶標注的道路圖像可以用于訓練針對自主車輛的自動道路檢測部件。

10、可以基于以下中的至少一個來確定預期道路結構：道路寬度或車道寬度，以及車輛與道路邊界或車道邊界的偏移。

11、可以對圖像的時間序列的至少一部分應用恒定的道路或車道寬度或偏移。

12、道路寬度或車道寬度可基于一個或更多個手動寬度調節輸入來確定。這些可以根據如下所述的本公開的第四方面來接收。

13、手動寬度調節輸入可以關于一個圖像被接收，并且被用于修改預期道路結構并且將修改后的道路結構投影到圖像中的一個或更多個其他圖像中。

14、可以基于道路法向矢量來確定預期道路結構。

15、從圖像估計的道路法向矢量n為：

16、

17、可以基于前向方向矢量來確定預期道路結構。

18、從圖像估計的前向方向矢量為：

19、

20、f和n可以用于確定預期道路結構的邊界點。

21、邊界點可以被確定為：

22、

23、ri是在重建車輛路徑時為圖像i確定的照相機姿態，gi是圖像捕獲裝置下方的道路點。

24、攝相機下方的道路點可以被計算為

25、gi＝ci+hrin

26、其中h是照相機的高度，ci是在重建車輛路徑時確定的圖像捕獲裝置的3d位置。

27、可以使用同步定位與建圖(slam)過程來重建車輛路徑。

28、在執行slam過程時，可為每個圖像i確定照相機姿態ri。

29、在執行slam過程時，可為每個圖像i確定3d照相機位置ci。

30、可以基于圖像捕獲裝置的相對角度定向來確定預期道路結構，所述相對角度定向是從根據下面闡述的第四方面或其任何實施例的圖像所測量的。

31、可以基于根據下面闡述的第三方面或其任何實施例的圖像所測量的圖像捕獲裝置的相對旋轉定向來確定預期道路結構。

32、可以基于車輛中的圖像捕獲裝置的高度來執行投影。

33、可以基于圖像捕獲裝置的重建后的路徑的平均高度及從圖像計算出的3d道路結構網格來估計高度。

34、此外，還認識到，除了上面提出的核心問題之外，上面提出的基于圖像的測量技術還可以用于其它情況。因此，這些構成了本公開的可以獨立地應用和實現的單獨方面。

35、本發明的第二方面提供了一種測量車輛內的圖像捕獲裝置的相對角度定向的方法，該方法包括在圖像處理系統處實現以下步驟：接收由車輛的圖像捕獲裝置所捕獲的二維圖像的時間序列；處理圖像以在三維空間中重建車輛所行駛的路徑，并且針對重建后的路徑上的至少一個參考點來估計圖像捕獲裝置的絕對角度定向；確定前向方向矢量，所述前向方向矢量被定義為重建后的路徑上的參考點之前的點與重建后的路徑上的參考點之后的點之間的矢量間隔；使用前向方向矢量和針對參考點確定的圖像捕獲裝置的絕對角度定向來確定圖像捕獲裝置相對于車輛的估計角度定向。

36、在實施例中，在處理步驟中，可以針對重建后的路徑上的多個參考點確定圖像捕獲裝置的絕對角度定向，并且針對每個參考點執行確定和使用步驟，以針對每個參考點確定圖像捕獲裝置相對于車輛的估計角度定向，并且其中，該方法還包括確定相對圖像捕獲裝置角度定向的平均值的步驟。

37、平均值可以是加權平均值。

38、可以根據在較早參考點與較后的參考點之間的路徑中呈現的方向變化來對每個相對圖像捕獲裝置角度定向進行加權。

39、該方法還可以包括以下步驟：確定參考點與重建后的路徑上的參考點之前的點之間的第一分離矢量；以及確定參考點與重建后的路徑上的參考點之后的點之間的第二分離矢量；其中，根據第一分離矢量和第二分離矢量的矢量點積對相對圖像捕獲裝置角度定向中的每一個進行加權。

40、圖像捕獲裝置相對于車輛的估計角度定向可以是以圖像捕獲裝置的參考系中的車輛的估計縱軸的形式。

41、參考點或每個參考點可以與該參考點之前的點和該參考點之后的點是等距的。

42、圖像捕獲裝置相對于車輛的估計角度定向可以與在路徑上的另一點處的圖像捕獲裝置的角度定向的估計一起使用，以確定在路徑上的另一點處的車輛的絕對角度定向的估計。

43、在處理所捕獲的圖像時可以創建三維表面圖，其中，在路徑上的另一點處的車輛的絕對角度定向被用于確定在三維表面圖上的兩點之間的沿著該點處的車輛的軸的距離。

44、在處理所捕獲的圖像時可以創建三維表面圖，其中，在路徑上的另一點處的車輛的絕對角度定向可以被用于確定在圖像捕獲裝置與三維表面圖上的點之間的沿著該點處的車輛的軸的距離。

45、本發明的第三方面提供了一種測量車輛內的圖像捕獲裝置的相對旋轉定向的方法，所述方法包括在圖像處理系統處實現以下步驟：接收由車輛的圖像捕獲裝置所捕獲的二維圖像的時間序列；處理圖像以在三維空間中重建車輛所行駛的路徑，并且針對重建后的路徑上的至少一個參考點來估計圖像捕獲裝置的絕對旋轉定向；確定參考點與重建后的路徑上的參考點之前的點之間的第一分離矢量；確定參考點與重建后的路徑上的參考點之后的點之間的第二分離矢量；使用第一分離矢量和第二分離矢量以及針對參考點確定的圖像捕獲裝置的絕對旋轉定向來確定圖像捕獲裝置相對于車輛的估計旋轉定向。

46、在實施例中，該方法可以包括確定針對參考點的法向矢量的步驟，該法向矢量垂直于第一分離矢量和第二分離矢量，其中法向矢量和絕對旋轉定向用于確定圖像捕獲裝置相對于車輛的估計旋轉定向。

47、可以通過計算第一分離矢量和第二分離矢量的矢量叉積來確定法向矢量。

48、在處理步驟中，可以針對重建后的路徑上的多個參考點確定圖像捕獲裝置的絕對旋轉定向，并且可以針對每個參考點執行確定和使用步驟，以針對每個參考點確定圖像捕獲裝置相對于車輛的估計旋轉定向，并且其中，該方法還可以包括確定相對圖像捕獲裝置旋轉定向的平均值的步驟。

49、平均值可以是加權平均值。

50、可以根據該參考點處的第一分離矢量與第二分離矢量之間的偏移角度針對參考點中的每一個對相對圖像捕獲裝置旋轉定向進行加權。

51、可以根據矢量叉積的大小對相對圖像捕獲裝置旋轉定向進行加權。

52、可以根據參考點之前的點與參考點之后的點之間的路徑的曲率變化來針對參考點中的每一個對相對圖像捕獲裝置旋轉定向進行加權。

53、圖像捕獲裝置相對于車輛的估計旋轉定向可以是以圖像捕獲裝置的參考系中的車輛的估計豎軸的形式。

54、圖像捕獲裝置相對于車輛的估計旋轉定向可以與在路徑上的另一點處的圖像捕獲裝置的旋轉定向的估計一起用于確定在路徑上的另一點處的車輛的絕對旋轉定向的估計。

55、在處理所捕獲的圖像時可以創建三維表面圖，其中，在路徑上的另一點處的車輛的絕對旋轉定向可以用于確定在三維表面圖上的兩點之間的沿著該點處的車輛的軸的距離。

56、在處理所捕獲的圖像時可以創建三維表面圖，其中，在路徑上的另一點處的車輛的絕對旋轉定向可以被用于確定在圖像捕獲裝置與三維表面圖上的點之間的沿著該點處的車輛的軸的距離。

57、在本發明的上述第一方面中，基于重建后的車輛路徑創建3d道路模型，3d道路模型又可以被投影到圖像的圖像平面中以自動生成2d標注數據。如上文所述，此方面的實施例提供快速手動“微調”(其可有效地應用于多個圖像)。此外，還認識到，可以在具有通過其他手段獲得的3d道路模型的圖像標注工具中實現該相同的技術，以獲得同時遍及多個圖像的快速、手動修改的相同益處。

58、在另一方面，一種確定圖像捕獲裝置相對于車輛的估計定向的方法包括：執行第二方面或其任何實施例的步驟來估計車輛內的圖像捕獲裝置的角度定向；以及執行第三方面或任何實施例的步驟來估計在車輛內的圖像捕獲裝置的旋轉定向；其中圖像捕獲裝置相對于車輛的估計定向包括估計旋轉定向和估計角度定向。

59、圖像捕獲裝置相對于車輛的估計定向可以與在路徑上的另一點處的圖像捕獲裝置的絕對定向的估計一起用于確定在三維表面圖上的兩點之間或者在圖像捕獲裝置與三維表面圖上的點之間的沿著該點處的車輛的軸的距離。

60、本發明的第四方面提供了一種圖像標注系統，包括：輸入，其被配置為接收由車輛的圖像捕獲裝置所捕獲的二維圖像序列；建模部件，其被配置為在捕獲圖像的同時生成車輛所行駛的環境的三維結構模型；路徑確定部件，其被配置為針對所捕獲的圖像中的每一個，確定當捕獲該圖像時在環境內的圖像捕獲裝置的對應位置和定向；標注部件，其被配置為通過將三維結構模型幾何地投影到由對應的圖像捕獲裝置位置和定向限定的每個圖像的圖像平面上來生成用于標記與三維結構模型對應的圖像的區域的二維圖像標注數據；呈現部件，其被配置為經由用戶界面呈現圖像中的至少一個及其二維圖像標注數據；以及模型適配部件，其被配置為根據經由用戶界面接收的指令來適配三維結構模型，其中，標注部件被配置為基于適配后的三維結構模型來修改針對所捕獲的圖像中的每個圖像的二維圖像標注數據，并且呈現部件被配置為經由用戶界面來呈現針對至少一個圖像的修改后的標注數據，從而允許用戶使用至少一個圖像及其二維圖像標注數據作為參考來同時實現針對多個所捕獲的圖像的二維圖像標注數據的修改。

61、在實施例中，三維結構模型可以包括根據第一方面或其任何從屬權利要求確定的預期道路結構。

62、路徑確定部件可以被配置為通過處理所捕獲的圖像的序列來確定圖像捕獲位置和定向。

63、建模部件可以被配置為基于通過由所確定的圖像捕獲裝置位置限定的環境的路徑來確定三維結構模型的預期結構。

64、預期結構可平行于由圖像捕獲裝置位置限定的路徑而延伸。

65、建模部件可以被配置為向三維結構模型的至少一個結構分配標簽，且標注部件可以被配置為將標簽與圖像中標記的對應區域相關聯。

66、建模部件可被配置為將平行結構標簽分配給預期平行結構。

67、建模部件可以被配置為將以下標簽中的一個分配給預期平行結構：道路標簽、車道標簽、不可行駛標簽、自我車道標簽、非自我車道標簽、自行車或公交車車道標簽、平行道路標記或邊界標簽。

68、預期道路結構可垂直于由圖像捕獲位置限定的路徑延伸。

69、建模部件可以被配置為將垂直結構標簽分配給預期垂直結構。

70、建模部件可以被配置為向預期垂直結構分配交叉路口標簽、垂直道路標記或邊界標簽、讓路線標簽。

71、三維結構模型可以具有由用戶經由用戶界面創建的至少一個結構。

72、三維結構模型可以具有至少一個對應于靜止目標的結構。

73、對應于靜止目標的結構可以是用戶創建的。

74、建模部件可以被配置為使用以下參考參數中的一個或更多個來產生三維結構模型：圖像捕獲裝置相對于車輛的位置、圖像捕獲裝置相對于車輛的定向、沿著車輛的軸測量的兩個真實世界元素之間的距離。

75、圖像標注系統可以包括參數計算部件，參數計算部件被配置為通過處理由車輛的圖像捕獲裝置所捕獲的圖像數據來估計一個或更多個參考參數。

76、圖像數據可以包括所捕獲的圖像序列的圖像數據。

77、模型適配部件可以被配置為響應于經由用戶界面接收的平行結構創建指令來創建三維結構模型的新結構，該新結構被定向為平行于以下中的至少一個：由圖像捕獲裝置位置限定的路徑，以及三維結構模型的現有結構，其中，新結構的定向由模型適配部件基于路徑或現有結構的定向自動確定。

78、模型適配部件可以被配置為響應于經由用戶界面接收的平行結構適配指令來適配三維結構模型的現有平行結構。

79、模型適配部件可被配置為改變現有平行結構的寬度，或改變現有平行結構的位置。

80、模型適配部件可以被配置為改變現有結構的第二部分的寬度，同時保持平行結構的第一部分的寬度固定。

81、模型適配部件可以被配置為在第一部分與第二部分之間插值適配后結構的中間體。

82、本發明的第五方面提供了一種用于自主車輛的定位系統，該定位系統包括：圖像輸入，其被配置為從自主車輛的圖像捕獲裝置接收所捕獲的圖像；道路地圖輸入，其被配置為接收預定道路地圖；道路檢測部件，其被配置為處理所捕獲的圖像以識別其中的道路結構；以及定位部件，其被配置為通過將在圖像中識別出的道路結構與預定道路地圖的對應道路結構進行匹配來確定自主車輛在道路地圖上的位置。

83、提供了一種車輛控制系統，其包括定位系統和車輛控制部件，車輛控制部件被配置為基于所確定的車輛位置來控制自主車輛的操作。

84、本發明的第六方面提供了一種用于自主車輛的道路結構檢測系統，所述道路結構檢測系統包括：圖像輸入，其被配置為從自主車輛的圖像捕獲裝置接收所捕獲的圖像；道路地圖輸入，其被配置為接收預定道路地圖數據；以及道路檢測部件，其被配置為處理所捕獲的圖像以識別其中的道路結構；其中，所述道路檢測部件被配置為將所述預定道路地圖數據與在所述圖像中識別出的道路結構合并。

85、提供了一種車輛控制系統，其包括道路結構檢測和車輛控制部件，該車輛控制部件被配置為基于合并后的數據來控制自主車輛的操作。

86、本發明的第七方面提供了一種用于自主車輛的控制系統，所述控制系統包括：圖像輸入，其被配置為從自主車輛的圖像捕獲裝置接收所捕獲的圖像；道路地圖輸入，其被配置為接收預定道路地圖；道路檢測部件，其被配置為處理所捕獲的圖像從而識別其中的道路結構；以及地圖處理部件，其被配置為在道路地圖上選擇對應道路結構；以及車輛控制部件，其被配置為基于在所捕獲的圖像中識別出的道路結構和在預定道路地圖上所選擇的對應道路結構來控制自主車輛的操作。

87、在第七方面的實施例中，控制系統可以包括定位部件，其被配置為確定車輛在道路地圖上的當前位置。道路檢測部件可以被配置為確定所識別的道路結構相對于車輛的位置。地圖處理部件可以基于車輛的當前位置選擇對應的道路結構，例如通過基于當前車輛位置(例如，對應于圖像捕獲裝置的預期視場)選擇包含對應的道路結構的道路地圖的區域，例如以便將地圖的該區域與識別出的道路結構合并。可替代地，地圖處理部件可以通過將圖像中識別出的道路結構與道路地圖進行比較來選擇對應的車輛結構，以將識別出的道路結構與對應的道路結構進行匹配，例如以允許定位部件基于此(例如基于識別出的道路結構相對于車輛的位置)確定當前車輛位置。

88、本發明的各種實施例在從屬權利要求中限定。關于本發明的上述方面中的任何一個所描述或要求保護的特征可以在本發明的任何其它方面的實施例中實現。

89、提供了一種計算機程序產品，包括存儲在計算機可讀存儲介質上的代碼，并且所述代碼被配置為當在一個或更多個處理器上執行時實現任一前述權利要求的方法或系統。