本發明涉及一種用于運行自動引導的無人駕駛的機動車——特別是乘用車——的方法，其中，對由機動車的環境傳感器記錄的傳感器數據就在軌跡計劃中要考慮的對象方面進行評估，該環境傳感器包括至少一個攝像機(6)，所述對象通過至少一個對所屬的傳感器數據進行評估的分類器能被分類為障礙或非障礙。此外本發明涉及一種監控系統，包括機動車和移動通信裝置。

背景技術：

用于乘用車和其它在道路交通中使用的機動車的車輛運行的自動化是逐漸增加地出現的配置。從而已知駕駛員輔助系統，駕駛員輔助系統可以為駕駛員接管泊車過程等。在其它領域內已經提出，例如在專用的停車區域、特別是停車樓內，能以全自動和無人駕駛的方式將機動車停泊在目標停車位上。

車輛系統的主要組成部分——車輛系統特別是當駕駛員不在場的情況下被設計用于全自動地引導機動車——是將通過機動車的環境傳感器探測的對象分類為障礙或非障礙，以便能計劃自動運行的其它軌跡。環境傳感器、例如攝像機、雷達傳感器、激光雷達傳感器、超聲波傳感器等因此提供傳感器數據，該傳感器數據描述了在機動車周圍環境中的對象，并且該傳感器數據在傳感器合并成不同的對象信息的范圍內可以被評估用于各個對象或周圍環境的各個片段。在本文中已知，使用分類器——特別是作為通過軟件轉換的算法來實現，以便確定，對象是顯示為危險、還是能在相應的當前行駛情況下被駛過或從下方穿過。例如已知的是，使用機動車的應用占用地圖的和/或以對象為基礎的環境模型，該環境模型包含合并的且必要時已經至少部分評估的傳感器數據，該傳感器數據能根據對象分配并且因此能將對象相應地分類為障礙或非障礙。當然在此還可以使用分類器，該分類器能進一步更為精確地分類對象，從而例如交通指示牌、系繩柱、路緣石等能被自動識別出，其中，然而通過分類器至少嘗試，確定對象是否顯示為對于機動車的障礙，其中，分類為障礙或非障礙還可以與當前行駛情況相關。

然而在多種情況下通常不能確定，對象是否為障礙。例如可以出現下述情況，即對象在所應用的分類器中不可知并且因此完全不能或不能以足夠的可靠性來分派。在下述情況下也可能會出現問題：出現一種“傳感器錯誤”，例如看上去是實心的對象不是實心的，或者顏色改變不是三維物體。針對這種對象的典型的實例——該對象難以識別或者例如可能錯誤地分類為障礙——是樹葉、紙盒或紙張、在行車道上的顏色較深的污點等，該污點可能被分類為孔。

在機動車自動運行時尤其可能會出現，不能到達當前目標位置或者當前目的地，因為對象已經被錯誤地分類為障礙或危險。這種問題可能在現有技術中出現，因為對普通對象的一般性的且明確的說明在技術上還不能完全地通過機動車的環境傳感器來展示。

技術實現要素：

因此本發明的目的在于，在無人駕駛的情況下通過改進地分類難以分類的對象而改進機動車的全自動引導。

為了實現所述目的，在開頭所述類型的方法中根據本發明規定：在不能或不能以足夠的可靠性將對象分類為障礙或非障礙時和/或存在至少一個阻礙機動車繼續行駛至當前目的地的對象時，利用所述至少一個攝像機中的至少一個拍攝相應的對象的至少一個攝像機圖像，將該至少一個攝像機圖像傳輸給由機動車的使用者攜帶的便攜式移動通信裝置并且在那里示出，使用者的、將對象分類為障礙或非障礙的輸入被接收作為分類信息，所述分類信息被回傳給機動車并且在進一步自動引導機動車時被考慮。

因此本發明基于以下構思，將駕駛員或其它人員、例如監控停車樓的人員——他或他們借助存在的圖像資料以及必要時其它發送的數據可以更好地判定對象——考慮作為附加的分類器，以便能仍然正確地分類難以分類的對象和/或在機動車錯誤地“停滯”時仍然能在下述情況下繼續行駛：對象已經被錯誤地分類為針對機動車不可逾越的障礙。因此在一種情況下——其中，機動車、特別是乘用車以無人駕駛的方式且完全自動地運行，因此存在機動車的自動化的縱向和橫向引導，機動車的攝像機被用作錄像設備，以便在確定的情況下為駕駛員提供作為潛在障礙的對象的攝像機圖像，從而駕駛員能認可繼續行駛(對象不是障礙)或者能將對象歸為危險/阻礙。

因此如原則上已知的那樣，在自動化運行期間且無需駕駛員任何干預的情況下，在機動車周圍環境中的對象被分類，并且機動車的運行借助這種分類來控制。為了能實現分類，如原則上已知的那樣可以規定，執行不同環境傳感器的傳感器數據的傳感器合并，以便特別是實現機動車的環境模型，該環境模型例如能以占用地圖的形式和/或作為以對象為基礎的模型存在。如果例如使用占用地圖，則可以將機動車周圍環境的各個片段歸入關于此的信息，在那里是否存在對象(占用＝障礙)，其中，還可以歸入其它元數據(Metadaten)，例如在所謂的樹形圖(Tree-Maps)中，其中，元數據被存儲在樹形結構中。然而還已知了以對象為基礎的附件，其能特別有利地在存在動態對象時使用，這些動態對象當然還可以通過相應的分類器進行分類。如已經說明的那樣，分類器優選可以作為在軟件中實現的算法存在。還可以考慮學習型分類器。

現在存在詢問標準，該詢問標準在特殊的、特別是極少出現的情況下可能導致將對象的攝像機圖像傳輸給使用者的移動通信裝置以及關于分類詢問該使用者。這種詢問標準可以是，對象不能被分類或者至少不能以足夠的可靠性、例如也就是說在可信值處于閾值之下時被分類為障礙或非障礙。同樣可使用的詢問標準是，不能再計算將來要使用的、至目的地的軌跡，其中，特定對象的去除可能能實現至少一個這種軌跡。不能或不能足夠精確地由分類器分類的對象或干擾性的、被分類為障礙的對象顯示為根據詢問標準然后要由機動車使用者分類的對象，所述對象因此在使用與移動通信裝置通信連接的情況下基于在環境傳感器的情況下存在的攝像機而能以圖像的方式示出。駕駛員可以進行分類，該分類然后作為分類信息被回傳給機動車，從而該機動車可以在計算軌跡時相應地考慮分類信息。

也就是說，機動車本身已經對對象進行分類，因此也相應地在下述情況下作出反應：例如由于以下原因而使對象是已知的并且被分類為障礙，基于至少一個環境傳感器的已知的失真、例如由于錯誤的地面標記等而使用繞開的軌跡或繼續行駛。然而，如果對象不可知或者不能計算替選的行車道，則關于此的信息被傳輸給移動單元、移動通信裝置，從而使用者、通常是機動車的駕駛員或者監控停車區域的人員被要求分類對象或者允許進行行駛。

此外以這種方式，沒有通過駕駛員或其它人員直接控制機動車，而是僅進行分類。機動車的整體運行可以被改進并且特別是還可以避免機動車在自動化運行中錯誤的停滯。在此，駕駛員或其它人員負責判定駛過對象，因為其以分類為“非障礙”最終有意支持繼續行駛。以這種方式，駕駛員或其它人員在緊要情況中被考慮作為分類器，而不需要持久地監控機動車的全自動運行。

本發明的一種改進方案提出，將移動電話——特別是智能手機——用作所述移動通信裝置。移動電話、特別是智能手機尤其適合作為移動通信裝置，因為移動通信裝置原本能由機動車的多個使用者隨身攜帶，并且特別是智能手機通過所謂的“App(應用)”提供了要簡單實現的可能性：接收、顯示詳細的攝像機圖像和必要時附加信息，并且接收使用者的輸入，據此將分類信息回傳給機動車。

攝像機圖像和分類信息的傳輸在此可以通過已知的不同的無線通信連接來實現，優選至少部分地通過移動網絡、特別是在使用移動電話時和/或通過W-LAN實現。在此一般來說，不強制性需要直接在機動車和移動通信裝置之間進行攝像機圖像和分類信息的傳輸，而是相反，下述情況可以是極其適合的：傳輸通過位置固定的機動車外部的服務器裝置、特別是后端來實現。這種服務器裝置——其例如可以配屬于駛過的環境、特別是停車區域、如停車樓——在此還可以實現其它有利于在周圍環境中完全自動運行機動車的功能，例如提供周圍環境的數字地圖等。在本發明的范圍內，這種服務器裝置首先可以有利地用于存儲所傳輸的攝像機圖像(以及必要時附加信息)和分類信息作為事件信息，從而這些事件信息隨后能被掌握并且能查出例如由使用者引起的錯誤分類。

然而下述情況是特別適宜的：在服務器裝置上存儲數字的、描述機動車在其中進行運動的區域(環境)的地圖數據，其中，將由使用者分類的對象利用對應的分類信息存儲在地圖數據中。因此以這種方式，通過使用者側的分類過程實現擴展數字地圖數據，所述地圖數據為后續的機動車提供了有利的基礎，以便尤其是在使用者沒有事先詢問的情況通過下述方式繼續全自動運行：考慮在地圖中已經存在的、來自于其他使用者的分類信息。在此特別有利地可以規定，將多個使用者針對相同的對象的分類信息以統計的方式評估為總分類信息。因此可以考慮針對特定的對象以統計的方式評估分類信息，以便排除由使用者引起的個別錯誤分類。例如可以規定，總分類信息只有在下述情況時才被提供用于其它自動化運行的機動車：存在特定數量的來自使用者的單分類信息，其可以被評估，用于盡可能避免錯誤分類，其中，例如為了分類對象能在下述情況下將“非障礙”作為總分類信息保存在數字地圖數據中：使用者的超過閾值的份額、例如使用者的60％以上已經將對象分類為“非障礙”。特別有利地，在停車區域、例如可以配有服務器裝置的停車樓中可以使用這種設計方案。

總之下述情況是特別有利的：數字地圖數據由服務器裝置傳輸給機動車并且在自動引導機動車時進行考慮。例如在停車區域的情況下總是在機動車駛入停車區域中時可以將數字地圖數據的最新版本傳輸給機動車，該機動車借助數字地圖數據控制自動運行，該地圖數據還特別適宜地包括其他使用者的分類信息，特別是以統計的方式被評估為總分類信息。因此，以有利的方式進一步使用其他使用者的分類決定。

在有利的改進方案中，在移動通信裝置上針對要分類的對象可以顯示至少一個附加信息、特別是利用攝像機圖像傳輸的附加信息。因此能提供附加信息，該附加信息能為使用者提供對機動車的總體行駛情況的改進的估算。有利地在本文中例如可以規定，將機動車的當前周圍環境的地圖和/或通過環境傳感器、特別是超聲波傳感器和/或雷達傳感器和/或激光掃描器確定的對象尺寸用作附加信息，在該當前周圍環境的地圖中顯示了要分類的對象和/或其它已經進行分類的對象和/或機動車的位置。而且除了攝像機之外的其它環境傳感器的其它傳感器數據可以被使用。從而對象可以由使用者在考慮更全面的情況下被分類并且改進地進行判定。

此外下述情況是有利的：在顯示之前對攝像機圖像進行后處理——特別是校正——以用于實現更好的易讀性。為車輛系統提供多個傳感器數據的、作為環境傳感器使用的攝像機尤其使用圖像格式和透鏡、例如廣角鏡或魚眼鏡，以便實現盡可能廣泛的檢測。形成的攝像機圖像部分地變形并且能通過使用者在必要時不直接地且以簡單的方式和方法來表現。因此提出了，如此對攝像機圖像進行后處理，使得所述攝像機圖像對于使用者來說能更容易地讀出，其中，特別優選地進行校正。另一種變型提出，在不同的攝像機的檢測區域的重疊區域和/或接觸區域內存在對象時，待發送的攝像機圖像由不同的攝像機的、至少兩個、特別是分別示出對象一部分的原圖組成。這個過程還已知為術語“拼接”圖像。

如已經說明的那樣，將軟件應用優選地用于執行要在移動通信裝置方面實施的步驟。剛好在所謂的智能手機上、而且例如還在平板電腦上或作為移動通信裝置的類似設備上，這種軟件應用已知為所謂的“App(應用)”。這種應用也就同樣能實現，能為機動車的使用者在其移動終端設備上顯示對象或者說情況的攝像機圖像以及必要時顯示地圖圖示。所述輸入特別是通過適合的操作元件接收和回傳，優選如已經所述的那樣通過服務器裝置。

在一種優選實施方式中，使用在整個角度范圍內覆蓋機動車的周圍環境的攝像機、特別是至少四個具有廣角鏡的攝像機。這種攝像機布置已知為所謂的頂視攝像機/鳥瞰攝像機(Top-View-Kamera)，據此其通常例如沿著車頂的邊緣布置，以便能在整個360°的角度范圍上檢測機動車的周圍環境。這種頂視攝像機例如還用于車輛系統，其能在機動車中實現圍繞機動車的視野和/或能產生一種機動車俯視圖。這種頂視攝像機在本發明的范圍內能特別有利地使用，因為對象與相對于機動車的角度無關地在攝像機圖像中進行檢測并且因此能為使用者在移動通信裝置上顯示。

除了所述方法之外，本發明還涉及一種監控系統，包括：能自動引導的機動車——特別是乘用車——和移動通信裝置，所述機動車具有環境傳感器，該環境傳感器包括至少一個攝像機，能由控制設備對該環境傳感器所記錄的傳感器數據就在軌跡計劃中要考慮的對象方面進行評估，所述對象通過至少一個對所屬的傳感器數據進行評估的分類器能被分類為障礙或非障礙；其中，所述監控系統被設計用于執行根據本發明的方法。關于根據本發明的方法的所有實施方式可以類似地用于根據本發明的監控系統，因此利用所述監控系統同樣能獲得所述優點。

附圖說明

本發明的其它優點和細節由下面描述的實施例以及借助附圖得出。其中：

圖1示出了根據本發明的監控系統，

圖2示出了根據本發明的方法的實施例的流程圖，

圖3示出了示例性的行駛情況，

圖4示出了在移動通信裝置上的示例性的視圖，和

圖5示出了以統計的方式評估分類信息。

具體實施方式

圖1以原理圖的形式示出了根據本發明的監控系統，其在此安裝在停車區域、特別是停車樓中，其中，相應設計的機動車能以無人駕駛和全自動引導的方式行駛至其相應的停車位并且在那里泊車或者退出停車場。當然，所述方法然而還可以用于其它能由機動車完全自動駛過的區域。

機動車1位于在此僅示意性示出的停車區域2中并且以全自動的方式在沒有駕駛員的情況下運行，為此使用相應的具有控制設備4的車輛系統3，其還被設計用于執行下面還要闡述的根據本發明的方法的、機動車方面的步驟。機動車1具有多個環境傳感器，其中，在此出于清晰的原因僅示出了雷達傳感器5和六個攝像機6，它們分別具有廣角鏡并且因此能在整個360°角度范圍上覆蓋機動車的周圍環境。

環境傳感器的傳感器數據例如通過控制設備4在機動車1的環境模型中(Umgebungsmodell)合并，其中，環境模型在此通過傳感器數據描述在機動車1周圍環境中的不同的對象。借助通過在控制設備4中的軟件實現的分類器可以確定，對象是應當被視為障礙、還是能被駛過或從下方穿過。當然，分類器還可以提供其它更精確的關于對象的信息，例如是否是其它停止的機動車、指示牌、墩柱等，就此而言設置相應的分類器。

基于在環境模型中被分類的對象，在停車區域2中能自動地引導機動車1。此外，上述情況通過由同樣屬于監控系統的、用作后端服務器的服務器裝置7——其作為公共設施設備配屬于停車區域2——傳輸的數字地圖數據來輔助，該地圖數據在那里預先保留在存儲裝置8中。因此在服務器裝置7和機動車1之間存在通信連接9——在此為WLAN連接，其在機動車1駛過停車區域2時建立。當然，針對通信連接9還可以考慮其它類型的通信連接。

由機動車1經由服務器裝置7或直接地，還可以建立與機動車1的使用者12的移動通信裝置11的通信連接10，其中，通信連接10在此通過移動網絡來建立。相應地，由使用者12攜帶的移動通信裝置11是移動電話、具體而言是智能手機。該移動電話——如原則上已知的那樣——具有顯示器14，在其上可以顯示信息。在移動通信裝置11上安裝軟件應用13(“App”)，該軟件應用同樣在現在要闡述的根據本發明的方法的范圍內使用。

參照圖2在根據本發明的方法的現在示出的實施例中，假設在機動車1和移動通信裝置11之間通過服務器裝置7進行每一次通信，因此實現了通信連接9和10，為此機動車1可以向服務器裝置7通知例如移動通信裝置11在移動網絡中的通信地址、具體而言即為電話號碼，但是必要時為用戶ID，其在與機動車1耦聯時已經生成。

此外在前面要注意，在機動車1駛過停車區域2時服務器裝置7已經向機動車1提供停車區域2的、在存儲裝置8中存在的數字地圖數據，以便借助車輛系統3來輔助機動車1的全自動的無人駕駛運行。

現在圖2示出了根據本發明的方法的實施例的流程圖。在那里在機動車1全自動運行期間在步驟S1中持續地檢查，是否滿足用于關于要由使用者12分類的對象進行詢問的詢問標準。在此考慮兩個詢問標準。第一詢問標準檢查，通過環境傳感器探測的對象是否不能或不能充分可信地被分類，即因此在控制設備4中的分類器是否不能提供表明對象被分類為障礙或非障礙的結果，或者可能的分類是否不足夠可靠，因此低于用于可信值的閾值。第二詢問標準總是在下述情況下觸發：至少一個對象如此阻塞機動車1繼續行駛，使得不能再到達當前的目的地。在這種情況下，要通過使用者來分類的對象是至少一個妨礙繼續行駛的對象，特別是至少一個下述對象：該對象已經最不可靠地被分類和/或該對象作為唯一一個對象或幾個對象中的一個防礙繼續行駛。當然可以規定詢問標準的相應的細節，從而并非在機動車1的周圍環境中的所有對象全都作為要由使用者分類的對象而被選出。

圖3示例性示出了機動車1在停車區域2內的行駛情況。顯而易見，通過支柱15分開的停車位至少部分地由其它機動車16占用。在機動車1前方存在不能分類的對象17、在此為樹葉堆。由于樹葉堆17不能由機動車1的控制設備4來分類，所以未明確，該對象是否針對繼續行駛形成障礙。因此滿足了在步驟S1中的第一詢問標準。然而在此還示例性地在步驟S1中滿足了第二詢問標準，然后顯而易見地，機動車1不能將對象17分類為無危險地越過、即“非障礙”，并且因此不能繼續其行程，因為既不能在左側也不能在右側繞行對象17。換句話說發生了機動車“停滯”，因為不能計劃出替選的軌跡。

如果滿足了在步驟S1中的至少一個詢問標準，則在步驟S2中整理關于要通過使用者12分類的對象17的通信信息。該通信信息一方面包含向前的攝像機6的攝像機圖像，由于已知相應的廣角鏡的性能，該攝像機圖像已經被相應地校正以改進易讀性。此外，附上關于對象17的附加信息，其還通過環境傳感器收集，例如對象17的尺寸；最后在作為附加信息的通信信息中附加了具有機動車1的當前環境的地圖，由該地圖中可以看出機動車1、對象17以及其它對象的位置。這些通信信息在步驟S2中首先被傳輸給服務器裝置7，該服務器裝置相應地存儲關于詢問的標注/警告(Verweis)并且使用通信連接10，以便將通信信息進一步傳輸給移動通信裝置11，上述情況在步驟S3中發生。

在步驟S4中，軟件應用13接收通信信息，向使用者12發出視覺和/或聽覺和/或觸覺指示信息，從而該使用者注意到該詢問，并且產生了用于顯示器14的圖示，如其示例性地在圖4中示出。可以看出，圖示在顯示器14上的較大部分由攝像機圖像18占據。可以看出，較小的部分是地圖19以及其它附加信息20、例如尺寸。在攝像機圖像18之下示出了兩個操作元件21、22，使用者可以通過所述操作元件對對象17進行分類，該對象還可以在攝像機圖像18中被突出。如果使用者12操縱操作元件21，則產生了分類信息——該分類信息將對象17描述為障礙，如果使用者操縱操作元件22，則產生分類信息——該分類信息將對象17分類為“非障礙”。當然還可以通過軟件應用13提供其它功能，例如放大地圖19、顯示其它附加信息等。

在步驟S5中，使用者12通過操作元件21、22進行的輸入被接收并且產生分類信息，該分類信息首先被回傳給服務器裝置7，步驟S6。在服務器裝置7中，分類信息在步驟S7中與所屬的對象17保存在存儲裝置8中，進一步被評估——上述情況應參照圖5進一步闡述，并且通過通信連接9被傳輸給機動車1。

在機動車1中，分類信息在步驟S8中相應地被考慮用于進一步自動引導機動車1。在圖3中示出的情況下，駕駛員可能將樹葉堆、即對象17指定為非障礙、因此能駛過，從而能繼續自動行駛運行。

最后圖5示出了在服務器裝置7中以統計的方式評估分類信息的流程圖，該分類信息涉及同樣的要分類的對象17。在步驟S9中在那里檢查，來自不同的使用者12的分類信息是否多到足以實現統計評估。如果是這種情況，則在步驟S10中檢查，大多數使用者12已經進行哪個分類，并且已經進行這種分類的使用者12的份額是否超過閾值。如果是后一種情況，則產生總分類信息23，該總分類信息以附屬于對象17的方式被補充到數字地圖數據中并且因此提供給其它機動車。

在這種情況下，圖1的步驟S3可以如下擴展，即當屬于對象17的總分類信息23已經存在時，該總分類信息被直接作為回答回傳給機動車1，因此不再需要詢問使用者，并且可以直接以步驟S8繼續進行。