本申請涉及相機領域，更具體地涉及一種基于魚眼相機的目標檢測方法及其裝置、車輛。

背景技術：

1、魚眼相機憑借其具有較大視場角的優勢，應用到諸如但不限于車輛、監控等各個場合，可以利用魚眼相機進行諸如但不限于目標測距等。相關技術中在對魚眼相機進行安裝時，需要保證魚眼相機的光心與目標檢測對象的中心處于同一水平面，導致安裝要求較嚴苛，增大了安裝難度。

技術實現思路

1、為了解決上述問題中的至少一個而提出了本申請。根據本申請第一方面，提供了一種基于魚眼相機的目標檢測方法，所述目標檢測方法包括：獲取所述魚眼相機的相機坐標系和所述世界坐標系之間的第一轉換關系，所述魚眼相機的所述相機坐標系和像素坐標系之間的第二轉換關系；根據所述第一轉換關系、所述第二轉換關系以及所述魚眼相機的光軸相對所述世界坐標系中設定平面的偏轉角度，確定所述魚眼相機拍攝的圖像中目標點在所述世界坐標系中的對應坐標。

2、在本申請的一個實施例中，所述目標檢測方法還包括：所述偏轉角度為預先根據所述魚眼相機的安裝位置標定得到的；或，所述偏轉角度為根據所述第一轉換關系解算得到的。

3、在本申請的一個實施例中，所述魚眼相機的光軸與所述設定平面的偏轉角度不小于0°且不大于90°。

4、在本申請的一個實施例中，所述根據所述第一轉換關系、所述第二轉換關系以及所述魚眼相機的光軸相對所述世界坐標系中設定平面的偏轉角度，確定所述魚眼相機拍攝的圖像中目標點在所述世界坐標系中的對應坐標，包括：根據所述魚眼相機拍攝的圖像，獲取目標點在所述像素坐標系中對應的第一坐標；根據所述第一坐標、所述第二轉換關系以及所述偏轉角度，確定所述目標點在所述相機坐標系中對應的第二坐標；根據所述第二坐標以及所述第一轉換關系，確定所述目標點在所述世界坐標系中對應的第三坐標。

5、在本申請的一個實施例中，所述根據所述第一坐標、所述第二轉換關系以及所述偏轉角度，確定所述目標點在所述相機坐標系中對應的第二坐標，包括：獲取所述目標點在所述世界坐標系中距離所述設定平面的垂直距離；根據所述第一坐標、所述第二轉換關系、所述偏轉角度和所述垂直距離，確定所述目標點在所述相機坐標系中對應的所述第二坐標。

6、在本申請的一個實施例中，所述目標檢測方法還包括：采用目標檢測算法檢測所述圖像上的目標物體，并根據所述目標物體確定所述目標點。

7、在本申請的一個實施例中，所述采用目標檢測算法檢測所述圖像上的目標物體，并根據所述目標物體確定所述目標點，包括：采用所述目標檢測算法的檢測框，在所述圖像上框定所述目標物體；根據所述檢測框，確定所述目標物體的所述目標點。

8、在本申請的一個實施例中，所述根據所述檢測框，確定所述目標物體的目標點，包括：將所述檢測框的下邊沿的中點作為所述目標點。

9、在本申請的一個實施例中，所述目標檢測方法還包括：根據所述第三坐標和設定點在所述世界坐標系中的設定坐標，確定所述目標點與所述設定點之間的距離。

10、在本申請的一個實施例中，所述根據所述第三坐標和設定點在所述世界坐標系中的設定坐標，確定所述目標點與所述設定點之間的距離，包括：根據所述第三坐標和所述設定坐標，確定所述目標點和所述設定點分別在所述設定平面上垂直投影的第一投影點和第二投影點，并確定所述第一投影點和所述第二投影點之間的距離。

11、在本申請的一個實施例中，所述設定點為所述世界坐標系的原點或所述魚眼相機的光心。

12、在本申請的一個實施例中，所述設定平面與所述世界坐標系中的第一坐標軸和第二坐標軸均平行。

13、在本申請的一個實施例中，所述確定所述魚眼相機的相機坐標系和世界坐標系之間的第一轉換關系，包括：獲取至少四個校準點對的坐標，每個校準點對包括：像素坐標系校準點、以及與所述像素坐標系校準點對應的世界坐標系校準點；其中，所述像素坐標系校準點的坐標為所述像素坐標系校準點在所述像素坐標系中的坐標，所述世界坐標系校準點的坐標為所述世界坐標系校準點在所述世界坐標系中的坐標，且所有的所述世界坐標系校準點均位于所述設定平面中；根據至少四個所述四個校準點對的坐標和所述第二轉換關系，確定所述相機坐標系與所述世界坐標系之間的旋轉向量和平移向量；根據所述旋轉向量和所述平移向量，得到所述魚眼相機的外參矩陣，并將所述外參矩陣作為所述第一轉換關系。

14、在本申請的一個實施例中，所述第二轉換關系包括所述魚眼相機的內參矩陣和畸變系數。

15、根據本申請第二方面，還提供了一種基于魚眼相機的目標檢測裝置，所述目標檢測裝置包括：存儲介質和處理器，所述存儲介質上存儲有由所述處理器運行的計算機程序，所述計算機程序在被所述處理器運行時，使得所述處理器執行上述任意一種基于魚眼相機的目標檢測方法。

16、根據本申請第三方面，還提供了一種車輛，所述車輛包括：車輛本體、設置在所述車輛本體上的魚眼相機、以及上述任意一種基于魚眼相機的目標檢測裝置。

17、根據本申請實施例提供的魚眼相機的目標檢測方法及其裝置、車輛，通過先獲取魚眼相機的相機坐標系和世界坐標系之間的第一轉換關系、以及魚眼相機的相機坐標系和像素坐標系之間的第二轉換關系；再根據第一轉換關系、第二轉換關系以及魚眼相機的光軸相對世界坐標系中設定平面的偏轉角度，確定魚眼相機拍攝的圖像中目標點在世界坐標系中的對應坐標。相比現有技術需要保證魚眼相機的光心與目標檢測對象的中心處于同一水平面的安裝要求，本申請在完成內外參標定之后，根據第一轉換關系、第二轉換關系以及魚眼相機的光軸相對世界坐標系中設定平面的偏轉角度，確定魚眼相機拍攝的圖像中目標點在世界坐標系中的對應坐標，無需使魚眼相機的光心與目標檢測對象的中心處于同一水平面，支持魚眼相機不同的安裝角度，降低安裝要求和安裝難度，使用場景更多。

技術特征：

1.一種基于魚眼相機的目標檢測方法，其特征在于，包括：

2.如權利要求1所述的目標檢測方法，其特征在于，還包括：

3.如權利要求1所述的目標檢測方法，其特征在于，所述魚眼相機的光軸與所述設定平面的偏轉角度不小于0°且不大于90°。

4.如權利要求1所述的目標檢測方法，其特征在于，所述根據所述第一轉換關系、所述第二轉換關系以及所述魚眼相機的光軸相對所述世界坐標系中設定平面的偏轉角度，確定所述魚眼相機拍攝的圖像中目標點在所述世界坐標系中的對應坐標，包括：

5.如權利要求4所述的目標檢測算法，其特征在于，所述根據所述第一坐標、所述第二轉換關系以及所述偏轉角度，確定所述目標點在所述相機坐標系中對應的第二坐標，包括：

6.如權利要求4所述的目標檢測方法，其特征在于，還包括：

7.如權利要求6所述的目標檢測方法，其特征在于，所述采用目標檢測算法檢測所述圖像上的目標物體，并根據所述目標物體確定所述目標點，包括：

8.如權利要求7所述的目標檢測方法，其特征在于，所述根據所述檢測框，確定所述目標物體的所述目標點，包括：

9.如權利要求8所述的目標檢測方法，其特征在于，還包括：

10.如權利要求9所述的目標檢測方法，其特征在于，所述根據所述第三坐標和設定點在所述世界坐標系中的設定坐標，確定所述目標點與所述設定點之間的距離，包括：

11.如權利要求9所述的目標檢測方法，其特征在于，所述設定點為所述世界坐標系的原點或所述魚眼相機的光心。

12.如權利要求1所述的目標檢測方法，其特征在于，所述設定平面與所述世界坐標系中的第一坐標軸和第二坐標軸均平行。

13.如權利要求1所述的目標檢測方法，其特征在于，所述獲取所述魚眼相機的相機坐標系和世界坐標系之間的第一轉換關系，包括：

14.如權利要求1所述的目標檢測方法，其特征在于，所述第二轉換關系包括所述魚眼相機的內參矩陣和畸變系數。

15.一種基于魚眼相機的目標檢測裝置，其特征在于，包括：

16.一種車輛，其特征在于，包括：

技術總結
本發明公開了一種基于魚眼相機的目標檢測方法及其裝置、車輛，所述目標檢測方法包括：獲取所述魚眼相機的相機坐標系和所述世界坐標系之間的第一轉換關系，所述魚眼相機的所述相機坐標系和像素坐標系之間的第二轉換關系；根據所述第一轉換關系、所述第二轉換關系以及所述魚眼相機的光軸相對所述世界坐標系中設定平面的偏轉角度，確定所述魚眼相機拍攝的圖像中目標點在所述世界坐標系中的對應坐標。無需使魚眼相機的光心與目標檢測對象的中心處于同一水平面，支持魚眼相機不同的安裝角度，降低安裝要求和安裝難度，使用場景更多。

技術研發人員：任歡,梁豐收,文李華,梁昌源,郭琪
受保護的技術使用者：比亞迪股份有限公司
技術研發日：
技術公布日：2025/4/28