本發明涉及深度圖的生成，并且特別地但非排他性地涉及基于場景捕捉圖像生成支持視圖合成/移位的深度圖。

背景技術：

1、近年來，隨著新的利用和消費視頻的服務和方式的不斷開發和引入，圖像應用和視頻應用的種類和范圍顯著增加。

2、例如，一種越來越流行的服務是以如下方式提供圖像序列的，使得觀看者能夠主動且動態地與系統交互以改變呈現的參數。在許多應用中，一個非常吸引人的特征是能夠改變觀看者的有效觀看位置和觀看方向，例如允許觀看者在正在呈現的場景中四處移動并環顧四周。

3、已經提出的視頻服務或應用的示例是沉浸式視頻，其中，在例如vr頭戴式設備上回放視頻以提供三維體驗。對于沉浸式視頻，觀看者可以在所呈現的場景中自由觀看和移動，從而可以感覺到像從不同的視點觀看一樣。然而，在許多典型的方法中，移動量受到限制，例如被限制在標稱視點周圍的相對較小的區，該標稱視點通常對應于已經從其執行了場景的視頻捕捉的視點。在這樣的應用中，常常提供三維場景信息，其允許針對相對接近(一個或多個)參考視點的視點的高質量視圖圖像合成，但是如果視點偏離參考視點太多，則這種視圖合成會劣化。

4、沉浸式視頻常常也被稱為6自由度(6dof)或3dof+視頻。mpeg沉浸式視頻(miv)是一種新興的標準，其中，元數據用于現有視頻編解碼器之上以實現沉浸式視頻并將其標準化。

5、在許多應用中，真實世界場景的捕捉基于多個在空間上有區別的相機，例如，排成一行的相機。這提供了來自不同觀看位置的場景圖像。另外，可以一起提供捕捉圖像和深度圖，該深度圖提供了關于從相機到正被捕捉的場景的對象的距離的信息。例如，沉浸式視頻數據可以以多視圖的形式來提供，可能伴隨有場景的深度數據(mvd)表示。

6、在一些應用中，可以基于捕捉圖像中的信息(例如通過估計不同圖像中的對應對象的視差值)來估計深度信息。然而，由于這種估計往往是次優的，并且可能導致不準確和錯誤，因此許多捕捉系統包括能夠捕捉到對象的距離的專用深度傳感器。例如，基于間接飛行時間(itof)的深度傳感器已經變得流行，并且已經開發出許多結合了光學傳感器和深度傳感器的相機。在許多捕捉系統中，多個這樣的相機可以用于針對不同的觀看姿態提供一組圖像和深度。

7、然而，雖然將一個或多個深度傳感器包括到捕捉布置中傾向于增加魯棒性和更可靠的深度信息，但是深度傳感器也可能遭受錯誤或不準確。最值得注意的是，由于深度傳感器接收到模糊/混合的信號，在深度轉變(臺階)附近進行準確的深度測量往往是困難的。應當注意，在基于圖像匹配(相關性)的立體或多視圖深度估計中，已知存在類似的問題，因為像素由于遮擋而無法匹配。

8、另一個問題是：由于實際實施的限制，深度傳感器和光學傳感器通常會相對于彼此發生物理偏移。正因如此，所測量的深度信息將用于相對于捕捉圖像發生偏移的姿態，因此圖像和深度圖將不會完全對齊。當例如基于深度圖執行視圖移位和呈現時，這可能導致錯誤和不準確。

9、因此，改進的方法將是有利的。特別地，允許改進操作、提高靈活性、降低復雜性、促進實施、提高合成圖像質量、改善呈現、改善深度信息、改善深度圖與關聯圖像之間的一致性、改善和/或促進針對不同觀看姿態的視圖合成、降低數據需求和/或改善性能和/或操作的方法將是有利的。

技術實現思路

1、因此，本發明尋求單獨地或以任何組合方式優選地減輕、緩解或消除一個或多個上述缺點。

2、根據本發明的一個方面，提供了一種用于生成針對表示場景的視圖的圖像的深度圖的裝置，所述裝置包括：位置接收器，其被布置為接收針對所述圖像的捕捉位置，所述捕捉位置是對所述圖像的捕捉的位置；深度接收器，其被布置為接收來自第一位置的提供深度值的第一深度圖和來自第二位置的提供深度值的第二深度圖，所述第一深度圖包括被指定為深度不確定像素的至少一些像素，并且所述第二深度圖包括被指定為深度不確定像素的至少一些像素；視圖移位處理器，其被布置為：執行所述第一深度圖從所述第一位置到所述捕捉位置的第一視圖移位以生成第一視圖移位深度圖，并且執行所述第二深度圖從所述第二位置到所述捕捉位置的第二視圖移位以生成第二視圖移位深度圖，所述視圖移位處理器還被布置為將以下像素指定為不確定的：所述第一視圖移位沒有將所述第一深度圖中未被指定為不確定像素的像素的深度值投影到的所述第一視圖移位深度圖中的像素，以及所述第二視圖移位沒有將所述第二深度圖中未被指定為不確定像素的像素的深度值投影到的所述第二視圖移位深度圖中的像素；組合器，其被布置為通過組合所述第一視圖移位深度圖和所述第二視圖移位深度圖的相同位置像素的深度值來生成針對所述捕捉位置的組合深度圖，所述組合器被布置為：如果任何相同位置像素被指定為不確定像素，則將所述組合深度圖的像素指定為深度不確定像素；以及深度圖生成器，其被布置為通過以下操作來生成針對所述捕捉位置的輸出深度圖：使用所述圖像的圖像值和所述組合深度圖中未被指定為不確定的像素的深度值中的至少一項來確定對所述組合深度圖中被指定為不確定像素的像素指定的深度值。

3、該方法可以允許基于來自其他位置處的深度傳感器的深度圖來生成針對圖像的改善的深度圖。該方法可以允許針對不同觀看姿態的改進的圖像合成。在許多實施例中，可以生成允許高效且高質量的視圖移位和合成的深度數據。

4、術語“姿態”或“放置”在本領域中通常用來指位置和/或取向。

5、該方法可以允許來自不同深度傳感器和深度圖的深度信息的有效組合。特別地，該方法可以在許多情境中防止由于使用錯誤或不準確的深度值而導致的偽影、錯誤和不準確。它可以在許多情境中提供提高的一致性。

6、該方法可以允許高效且便利的實施方式，并且可以在許多情境中提供降低的計算資源使用量和復雜性。

7、位置可以是場景位置。位置可以參考場景坐標系。不同深度圖中的相同位置的像素(表示來自相同位置的深度)是表示來自給定位置的相同觀看方向的像素。

8、在許多情況下，不確定像素可以被稱為未知的、不可靠的、無效的和/或不可信的像素。

9、在許多實施例中，所述裝置可以包括視圖合成器，所述視圖合成器被布置為生成針對具有與來自圖像和輸出深度圖的捕捉位置不同的位置的觀看姿態的視圖圖像。

10、根據本發明的任選特征，從所述捕捉位置到所述第一位置的方向與從所述捕捉位置到所述第二位置的方向之間的角度不小于90°。

11、這可以在許多實施例中提供特別有利的操作和/或實施方式。在許多實施例中，該角度可以不小于100°、120°、140°或160°。

12、在一些實施例中，將捕捉位置連接到第一位置的線與將捕捉位置連接到第二位置的線之間的角度不小于90°、100°、120°、140°、160°。

13、在一些實施例中，穿過捕捉位置和第一位置的線與穿過捕捉位置和第二位置的線之間的角度不小于90°、100°、120°、140°、160°。

14、根據本發明的任選特征，所述第一位置、所述第二位置和所述捕捉位置被布置在線性配置中，其中，所述捕捉位置位于所述第一位置與所述第二位置之間。

15、這可以在許多實施例中提供特別有利的操作和/或實施方式。

16、根據本發明的任選特征，所述第一位置、所述第二位置和所述捕捉位置被布置為使得：對于所述第一視圖移位和所述第二視圖移位，相同深度處的像素的移動方向是相反方向。

17、這可以在許多實施例中提供特別有利的操作和/或實施方式。

18、在一些實施例中，所述第一位置、所述第二位置和所述捕捉位置被布置為使得：對于所述第一視圖移位和所述第二視圖移位，針對給定深度的圖像坐標的移動方向在相反方向上。

19、根據本發明的任選特征，所述組合器被布置為將所述組合深度圖中針對給定像素的深度值確定為第一深度值與第二深度值的加權組合，所述第一深度值針對的是所述第一視圖移位圖中未被指定為深度不確定像素的并且具有與所述給定像素相同位置的像素，所述第二深度值針對的是所述第二視圖移位圖中未被指定為深度不確定像素的并且具有與所述給定像素相同位置的像素。

20、這可以在許多實施例中提供特別有利的操作和/或實施方式。它通常可以提供對深度噪聲或錯誤的抑制。

21、在一些實施例中，如果第一深度值針對的是第一深度圖中未被指定為深度不確定像素的像素，并且第二深度值針對的是第二深度圖中未被指定為深度不確定像素的像素，則組合器可以被布置為將組合深度圖中針對給定視圖方向的深度值確定為針對第一視圖移位圖中的給定視圖方向的第一深度值與針對第二視圖移位圖中的給定視圖方向的第二深度值的加權組合。

22、根據本發明的任選特征，所述深度圖生成器被布置為通過根據所述組合深度圖中未被指定為不確定的像素的深度值進行估計來生成所述組合深度圖中被指定為不確定的像素的深度值。

23、這可以在許多實施例中提供特別有利的操作和/或實施方式。

24、根據本發明的一個方面，提供了一種圖像捕捉系統，所述圖像捕捉系統包括先前描述的裝置，并且還包括：第一圖像相機，其位于所述捕捉位置處并且被布置為向所述圖像接收器提供所述圖像；第一深度傳感器，其位于所述第一位置處并且被布置為向所述深度接收器提供針對所述第一深度圖的深度數據；以及第二深度傳感器，其位于所述第二位置處并且被布置為向所述深度接收器提供針對所述第二深度圖的深度數據。

25、該方法可以提供可以生成既包括圖像又包括深度信息的、特別準確和/或可靠的3d信息的圖像捕捉系統。

26、根據本發明的任選特征，所述捕捉系統還包括：至少一個另外的圖像相機，其位于另外的捕捉位置處，從所述另外的捕捉位置到所述第一位置的方向與從所述另外的捕捉位置到所述第二位置的方向之間的角度不小于90°。

27、這可以在許多實施例中提供特別有利的操作和/或實施方式。

28、參考第一相機描述的方法也可以應用于至少一個另外的圖像相機中的每個。

29、在許多實施例中，該角度可以不小于100°、120°、140°或160°。

30、根據本發明的任選特征，所述捕捉系統還包括包含所述第一圖像相機的多個圖像相機，以及包含所述第一深度傳感器和所述第二深度傳感器的多個深度傳感器，所述多個深度傳感器被布置在一種配置中，使得：對于所述多個圖像相機的所有圖像相機，所述多個深度傳感器中的兩個深度傳感器被布置為使得從所述圖像相機的位置到所述兩個深度傳感器的方向之間的角度不小于120°。這可以在許多實施例中提供特別有利的操作和/或實施方式。在許多實施例中，該角度可以不小于140°或160°。

31、根據本發明的任選特征，所述多個圖像相機和所述多個深度傳感器被布置在線性配置中。

32、這可以在許多實施例中提供特別有利的操作和/或實施方式。

33、根據本發明的任選特征，所述多個深度傳感器中的至少一個深度傳感器位于所述多個圖像相機的每對相鄰的圖像相機之間。

34、這可以在許多實施例中提供特別有利的操作和/或實施方式。

35、根據本發明的任選特征，所述多個圖像相機和所述多個深度傳感器被布置在二維配置中。

36、這可以在許多實施例中提供特別有利的操作和/或實施方式。

37、根據本發明的任選特征，所述多個深度傳感器中的深度傳感器的數量超過所述多個圖像相機中的圖像相機的數量。

38、這可以在許多實施例中提供特別有利的操作和/或實施方式。

39、根據本發明的任選特征，所述多個圖像相機中的圖像相機的數量超過所述多個深度傳感器中的深度傳感器的數量。

40、這可以在許多實施例中提供特別有利的操作和/或實施方式。

41、根據本發明的一個方面，提供了一種生成針對表示場景的視圖的圖像的深度圖的方法，所述方法包括：接收針對所述圖像的捕捉位置，所述捕捉位置是對所述圖像的捕捉的位置；接收來自第一位置的提供深度值的第一深度圖和來自第二位置的提供深度值的第二深度圖，所述第一深度圖包括被指定為深度不確定像素的至少一些像素，并且所述第二深度圖包括被指定為深度不確定像素的至少一些像素；執行所述第一深度圖從所述第一位置到所述捕捉位置的第一視圖移位以生成第一視圖移位深度圖，執行所述第二深度圖從所述第二位置到所述捕捉位置的第二視圖移位以生成第二視圖移位深度圖，將以下像素指定為不確定的：所述第一視圖移位沒有將所述第一深度圖中未被指定為不確定像素的像素的深度值投影到的所述第一視圖移位深度圖中的像素，以及所述第二視圖移位沒有將所述第二深度圖中未被指定為不確定像素的像素的深度值投影到的所述第二視圖移位深度圖中的像素；通過組合所述第一視圖移位深度圖和所述第二視圖移位深度圖的相同位置像素的深度值來生成針對所述捕捉位置的組合深度圖，組合器被布置為：如果任何相同位置像素被指定為不確定像素，則將所述組合深度圖的像素指定為深度不確定像素；并且通過以下操作來生成針對所述捕捉位置的輸出深度圖：使用所述圖像的圖像值和未被指定為不確定的深度值中的至少一項來確定所述組合深度圖中被指定為不確定深度值的深度值。

42、參考下文描述的(一個或多個)實施例，本發明的這些和其他方面、特征和優點將變得明顯并且得到闡明。