專利名稱：對立體影像的處理方法
技術領域：
本發明有關于一對立體影像的處理方法，尤指對于一種可以簡化計算過程的的立體影像處理方法。
背景技術：
如同人的兩眼所看到的不同影像，可以使人感受到一物體的距離一樣，所謂一對立體影像，指的是在一條線上兩個不同位置，對于環境或是標的物分別所獲得的一對2維影像。只要從一對2維立體影像做適當的處理，就可以獲得另一維度的信息，也就是獲得影像中物品的距離信息，產生一 3維影像。舉例來說，3維影像可以使用于像監控設備或是互動式電視游樂器，用來辨識攝影機之前的物體位置。為了從一對2維立體影像獲得一 3維影像，因此就需要找出2維立體影像中的偏移信息(disparity information) 0舉例來說，如果一對2維立體影像分別是左右兩個攝影機所分別擷取到的左右影像，則靠的比較近物體，在左右影像中的偏移量，相較于比較遠的物體，就會比較大。所以，要產生一 3維影像，理論上就是找出兩張2維影像其中之一每個像素的偏移量，或是產生對應像素的數個偏移量所構成的一偏移量圖(disparity map)。然而，已知技術中，產生偏移量圖需要很復雜的計算以及相當多的存儲器或暫存器。舉例來說，一個已知左影像中的一個像素的偏移量決定方法，是先定義那像素四周圍一定大小范圍作為來源圖框(source image window),然后去找右影像,在那像素所有的偏移量中所對應的數個目標圖框(destination image windows)中，跟來源圖框最像的目標圖框。那最像的目標圖框與來源圖框彼此之間的偏移量，就是那像素所對應的偏移量。這種方法需要的計算量就很驚人。盡管有一些改良的方法被提出，像是美國專利號7876954等所揭示的方法，但是實施上所需的計算量都還是很可觀。

發明內容
本發明的一實施例提供一種對一對立體影像的處理方法。該對立體影像包含有一來源影像以及一目標影像。該來源影像包含有多個來源像素。該目標影像包含有多個目標像素。該方法包含有下列步驟:決定該來源影像中，具有一特征的多個來源關鍵像素；決定該目標影像中，具有該關鍵特征的多個目標關鍵像素；提供多個重迭度記錄與多個偏移記錄，關聯于這些來源關鍵像素；在數個影像平移量下，依序找出該來源影像與該目標影像中彼此之間的數個重迭度，每一個影像平移量有一對應重迭度；以及，更新一被選取關鍵像素的偏移記錄以及重迭度記錄為一最可能偏移量以及一最大重迭度。該被選取關鍵像素為這些來源關鍵像素其中之一。該最大重迭度為該被選取關鍵像素有貢獻的數個相關重迭度中的最大值。該最可能偏移量對應該最大重迭度。本發明的一實施例提供一種對一對立體影像的處理方法，包含有:從該對立體影像擷取出一對邊緣影像，每一邊緣影像具有多個邊緣像素，該對邊緣影像其中之一的每一邊緣像素關聯有一重迭度記錄與一偏移記錄；提供多個影像平移量，依序找出該對邊緣影像之間的多個重迭度；以及，更新一被選取邊緣像素所關聯的該重迭度記錄以及該偏移記錄為一最大重迭度以及一最可能偏移量。該最大重迭度為該被選取關鍵像素有貢獻的數個相關重迭度中的最大值。該最可能偏移量對應該最大重迭度。為了對本發明的上述及其他方面有更佳的了解，下文特舉較佳實施例，并配合附圖，作詳細說明如下:


圖1顯示來源影像在開始決定一偏移量圖前的準備動作。圖2A-2D則顯示相對于圖1中的每個步驟所產生的對應影像。圖3舉例經過準備動作后，所產生的四個影像。圖4A以及圖4B顯示來源邊緣影像24與目標邊緣影像28在影像平移量分別為O與S時的關系。圖5顯示決定一重迭邊緣像素的顏色特征的區域。圖6顯示依據一實施例中所使用的方法。圖7顯示圖6中的步驟68。圖8顯示圖6中的步驟70。主要元件符號說明12、14、16、18 步驟22單一顏色的來源影像24來源邊緣影像26單一顏色的目標影像28目標邊緣影像30重迭邊緣像素32 區域34 區域60、62、64、66、68、70、74、76、78、80、82、84、86、88、90、92、94、100、102、104、106、108步驟
具體實施例方式在以下實施例中，一來源(source)影像是一對立體影像中，其中有像素要被決定偏移量的那一個，而一目標(destination)影像則是另一個。當然，如此的命名方式，并不影響本發明的權利范圍。在另一個實施例中，兩者可以互換。來源影像中的像素稱為來源像素，而目標影像中的像素稱為目標像素。在一實施例中，每個來源像素與每個目標像素都有RGB或是YCbCr的顏色信息。如果每個來源像素都要找到相對應的偏移量，那需要的計算量一定很多。而且，有的來源像素的偏移量是很難判定或是沒有意義的。譬如說，在一大片單色的顏色區塊正中間的來源像素，其真正的偏移量就很難被正確的找到。因此，在本發明的一實施例中，只有找出來源像素中的一些關鍵像素(稱為來源關鍵特征)的偏移量。如此，就可以省下許多的計算量。在一實施例中，所謂關鍵像素是來源或是目標影像中，被辨識為位于一物體邊緣的邊緣像素。在其他實施例中，關鍵像素可以具有其他特征。圖1顯示來源影像在開始決定一偏移量圖前的準備動作。圖2A 2D則顯示相對于圖1中的每個步驟所產生的對應影像。至于針對目標影像的準備動作，可以依據圖1以及圖2A 2D的解釋而同理推知。步驟12用一攝影機擷取來源影像，所產生的來源影像，舉例來說，具有YCbCr的顏色信息，如同圖2A所示，此時來源影像由Y影像、Cb影像、以及Cr影像所構成。接著，步驟14保留來源影像中，單一顏色的信息。譬如說，使來源影像僅保留有Y影像或是僅僅有灰階的顏色信息，如同圖2B所示。其他顏色信息在之后的偏移量決定時則不列入計算或是考慮，以簡化運算量。接著，步驟16根據當下僅具有單一顏色來源影像，產生一邊緣影像，如同圖2C所示。舉例來說，可以用微分的方式，找出來源影像中的邊緣像素，產生一邊緣影像。在一實施例中，步驟18膨脹邊緣影像中的邊緣，來產生新的邊緣影像。譬如說，把目前所找到的邊緣像素鄰近一定距離內的來源像素也定義為邊緣像素，進而更新了邊緣影像，如同圖2D所示。圖3舉例經過準備動作后，所產生的四個影像:單一顏色的來源影像22、來源邊緣影像24、單一顏色的目標影像26、目標邊緣影像28。來源影像22與目標影像26中的五角形、圓形、長方形都是單一顏色，但是灰階或顏色深淺不同。每個邊緣影像具有數個邊緣像素。從第3圖中可以大致推論出來，圓形應該距離攝影機最近，而五角形在來源影像與目標影像中的位置幾乎一樣，所以應該距離攝影機最遠。圖4A以及圖4B顯示來源邊緣影像24與目標邊緣影像28在影像平移量分別為O與S時的關系。在一個影像平移量之下，一實施例會計算出來源邊緣影像24與目標邊緣影像28之間的一個重迭度。以圖4A為例，在影像平移量為O時，來源邊緣影像24與目標邊緣影像28之間的一種重迭度，可以是在相同位置有出現一對重迭邊緣像素的對數，所以大概會坐落于五角形的周邊的邊緣像素數目、些許的長方形的邊緣像素、很少的圓形的邊緣像素，這些重迭邊緣像素數目的總和。舉例來說，總共出現了 80對重迭邊緣像素，所以重迭度為80。另一種比較適當但是嚴謹的重迭像素對的定義，除了是在影像平移量的條件下的相同位置出現的一邊緣像素對外，還必須此邊緣像素對所對應的兩顏色特征相類似，此邊緣像素對才認可為一重迭邊緣像素對，列入重迭度計算。圖5顯示決定一重迭邊緣像素的顏色特征的區域。在一實施例中，重迭邊緣像素30的顏色特征，就是其相對應的影像像素(可能在來源影像22或是目標影像28)的灰階。在另一個實施例中，重迭邊緣像素30的顏色特征，就是其四周一定區域內，所有相對應的影像像素的灰階平均值。這個區域，可以適應用所需而決定，可以是區域32(包含9個像素)、區域34(包含25個像素)、或是其他各種形狀大小的區域。簡單地說，在一實施例中，一影像平移量下的重迭度，就是來源邊緣影像24與經過該影像平移量平移后的目標邊緣影像28，在相同位置有出現，且相對應顏色特征相近的重迭邊緣像素對的對數。因此，只要影像平移量改變，就可能產生不同的重迭邊緣像素對，而產生一相對應重迭度。從以上也可以推知，每個重迭度頂多就是來源邊緣像素的總數目。如果以照相機照相調整鏡頭焦距來比喻，改變一影像平移量就像是在調整一鏡頭焦距，而所產生的重迭度等同那鏡頭焦距下所產生的影像清晰度。當影像清晰度最高時，其中所有在此清晰影像中所出現或是對此清晰影像有貢獻的清晰物品，其跟鏡頭的距離，大概就會跟此最高影像清晰度所對應的鏡頭焦距相關。舉例來說，鏡頭跟一個被攝影的人物的距離，大概跟在相機中出現那人物的最清晰影像時的鏡頭焦距相關。所以，類似的道理，只要先算出不同影像平移量下所分別產生的重迭度。接著找出一邊緣像素有貢獻的相關重迭度中的最大值。而這最大值所對應的影像平移量，就可以定義為那邊緣像素的偏移量，對應到空間中攝影機跟貢獻那邊緣像素的一對應物件的距離。圖6顯示依據一實施例中所使用的方法。在步驟62中，對來源邊緣影像中每個來源邊緣像素都提供相對應的一重迭度記錄以及一偏移記錄，并使其預設值分別為O與-1。在本實施例的目標，是使一來源邊緣像素所對應的重迭度記錄，記憶了該來源邊緣像素有所貢獻的相關重迭度中的最大值，而該來源邊緣像素所對應的偏移記錄，記憶了該最大值所對應的影像平移量。當每個來源邊緣像素都經過處理后，其對應的偏移記錄就大概可以組成一偏移量圖，大致對應到來源影像中邊緣在空間中所在的位置。步驟64把影像平移量設定為O。步驟66找出來源邊緣影像與目標邊緣影像之間所有的重迭邊緣像素對。如同先前所述，在一實施例中，是否為一重迭邊緣像素對，考慮的不只是在當下影像平移量下的邊緣像素對的相對位置，還考慮了邊緣像素對顏色的一致性。步驟68將重迭邊緣像素對的對數作為當下影像平移量下，所對應的一當下重迭度。步驟70檢查所有重迭像素對中的來源邊緣像素的重迭度記錄。如果一被檢查到的重迭像素對中的來源邊緣像素所對應的重迭度記錄比起當下重迭度小，就以當下重迭度來更新那重迭度記錄，同時也用當下影像平移量來更新所對應的這來源邊緣像素所對應的偏移記錄。反之，就不進行更新。步驟74檢查影像平移量是否已經到達極限了。如果步驟74的結果為否，則進行步驟76，讓影像平移量增加I。步驟66接著步驟76后進行。如果步驟74的結果為是，則進行步驟78結束。此時，每一來源邊緣像素所對應的重迭度記錄，就記憶了該來源邊緣像素有所貢獻的相關重迭度中的最大值，而該來源邊緣像素所對應的偏移記錄，記憶了該最大值所對應的影像平移量。圖7顯示圖6中的步驟68。步驟82先把當下重迭度歸O。步驟84找出來源邊緣影像與目標邊緣影像中，相距有影像平移量的一邊緣像素對。用另一種角度來看，就是找出當目標邊緣影像平移了影像平移量后，有與來源邊緣影像相重迭的一邊緣像素對。步驟86檢查邊緣像素對所對應的兩顏色特征相類似。顏色特征在圖5已經解釋過了，不再重述。如果邊緣像素對所對應的兩顏色特征相類似，步驟88決定此邊緣像素對就是一重迭像素對，步驟90把當下重迭度增加I。如果在步驟92中，還有邊緣像素還沒有檢查是否屬于邊緣像素對，就回到步驟84。直到所有邊緣像素還檢查是否屬于邊緣像素對過了，此時，當下重迭度就是所有重迭像素對的對數。圖8顯示圖6中的步驟70，其中顯示如何將所有重迭像素對全部檢查過一次，且把一來源邊緣像素的重迭度記錄與偏移記錄更新。依照本發明的實施例所揭示的方法，在最后，來源邊緣像素的偏移記錄就會是該像素的偏移量。至于其他不是邊緣像素的像素的偏移量，可以不必要算出，或是用內差法計算得知，視應用場合而定。
在一實施例中，運算所使用的影像，只需要四個:兩個單一顏色的影像、以及兩個邊緣影像。判別重迭像素對的方法，只需要檢查兩邊緣像素的位置關系以及彼此顏色的相似度。重迭度的計算，只要累積重迭像素對的總數就可以獲得。因此可知，本發明的實施例可以使用非常少計算量，就可以得到一來源邊緣影像中，邊緣像素的偏移量。綜上所述，雖然本發明已以較佳實施例揭示如上，然其并非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明的精神和范圍內，當可作各種的更動與潤飾。因此，本發明的保護范圍當由權利要求書界定為準。
權利要求
1.一種對一對立體影像的處理方法，該對立體影像包含有一來源影像以及一目標影像，該來源影像包含有多個來源像素，該目標影像包含有多個目標像素，該方法包含有下列步驟: 決定該來源影像中，具有一特征的多個來源關鍵像素； 決定該目標影像中，具有該特征的多個目標關鍵像素； 提供關聯于這些來源關鍵像素的多個重迭度記錄與多個偏移記錄； 依序找出該來源影像與該目標影像中彼此之間的多個重迭度，每一個影像平移量有一對應重迭度；以及 更新一被選取關鍵像素的偏移記錄以及重迭度記錄為一最可能偏移量以及一最大重迭度，該被選取關鍵像素被選取自這些來源關鍵像素，該最大重迭度為該被選取關鍵像素有貢獻的數個相關重迭度中的最大值，該最可能偏移量對應該最大重迭度。
2.如權利要求1所述的對該對立體影像的處理方法，其特征在于，該方法另包含有: 從該來源影像，擷取一邊緣影像，具有多個邊緣像素，作為這些來源關鍵像素。
3.如權利要求2所述的對該對立體影像的處理方法，其特征在于，另包含有: 增加這些邊緣像素鄰近一預設范圍內的來源像素，作為這些來源關鍵像素。
4.如權利要求1所述的對該對立體影像的處理方法，其特征在于，每一來源像素具有數種顏色數據，該決定這些來源關鍵像素的步驟包含有: 僅以這些顏色數據其中之一種，決定這些來源關鍵像素。
5.如權利要求1所述的對該對立體影像的處理方法，其特征在于，一第一影像平移量對應一第一重迭度,找出該第一重迭度的一步驟,包含有: 決定多個對重迭像素，每一對重迭像素包含有彼此相距該第一影像平移量的一第一來源關鍵像素以及一第一目標關鍵像素，且該第一來源關鍵像素的一顏色特征近似于該第一目標關鍵像素的一顏色特征；以及 依據這些重迭像素的數量，以產生該第一重迭度。
6.如權利要求5所述的對該對立體影像的處理方法，其特征在于，決定這些重迭像素的該步驟包含有: 依據該第一來源關鍵像素鄰近一預設范圍內的來源像素的顏色，決定該第一來源關鍵像素的該顏色特征；以及 依據該第一目標關鍵像素鄰近該預設范圍內的目標像素的顏色，決定該第一目標關鍵像素的該顏色特征。
7.如權利要求1所述的對該對立體影像的處理方法，其特征在于，每一重迭度不大于這些來源關鍵像素的總數目。
8.如權利要求1所述的對該對立體影像的處理方法，其特征在于，每一重迭度大致上由這些來源關鍵像素以及這些目標關鍵像素所決定。
9.一種對一對立體影像的處理方法，包含有: 從該對立體影像擷取出一對邊緣影像，每一邊緣影像具有多個邊緣像素，該對邊緣影像其中之一的每一邊緣像素關聯有一重迭度記錄與一偏移記錄； 獲得該對邊緣影像之間的多個重迭度； 以及 更新一被選取邊緣像素所關聯的該重迭度記錄以及該偏移記錄為一最大重迭度以及一最可能偏移量，該被選取邊緣像素被選取自這些邊緣像素，該最大重迭度為該被選取關鍵像素有貢獻的數個相關重迭度中的最大值，該最可能偏移量對應該最大重迭度。
10.如權利要求9所述的對該對立體影像的處理方法，其特征在于，一第一影像平移量對應一第一重迭度,找出該第一重迭度的一方法包含有: 找出該對邊緣影像中，多個對重迭像素，每一對重迭像素對應到該對邊緣影像其中之一的一第一影像像素，以及該對邊緣影像其中的另一的一第二影像像素，該第一影像像素與該第二影像像素相距該第一影像平移量，且該第一影像像素的一顏色特征近似于該第二影像像素的一顏色特征； 依據這些重迭邊緣像素的數目，決定該第一重迭度。
11.如權利要求9所述的對該對立體影像的處理方法，其特征在于，一選定邊緣像素相對應該對立體影像其中之一的一選定影像像素，產生一選定邊緣像素所對應的一選定顏色特征的方法，包含有: 依據該選定影像像素以及鄰近該選定影像像素一預設距離內的影像像素的顏色，決定該選定顏色特征。
12.如權利要求9所述的提供該對立體影像的景深信息的方法，其特征在于，另包含有: 膨脹該邊緣影像，以更新該邊緣影像`。
全文摘要
本發明涉及一種對立體影像的處理方法。該處理方法包含有從該對立體影像擷取出一對邊緣影像，每一邊緣影像具有多個邊緣像素，該對邊緣影像其中之一的每一邊緣像素關聯有一重迭度記錄與一偏移記錄；提供多個影像平移量，依序找出該對邊緣影像之間的多個重迭度；以及，更新一被選取邊緣像素所關聯的該重迭度記錄以及該偏移記錄為一最大重迭度以及一最可能偏移量。該最大重迭度為該被選取關鍵像素有貢獻的數個相關重迭度中的最大值。該最可能偏移量對應該最大重迭度。
文檔編號H04N13/00GK103108200SQ201110367050
公開日2013年5月15日 申請日期2011年11月9日 優先權日2011年11月9日
發明者陳建銘 申請人:晨星軟件研發(深圳)有限公司, 晨星半導體股份有限公司