圖像處理裝置、攝像裝置以及圖像處理方法

文檔序號：2709302閱讀：239來源：國知局

圖像處理裝置、攝像裝置以及圖像處理方法
【專利摘要】本發明具備：圖像獲取單元，取得由光瞳分割的攝像而生成的視點不同的多個視點圖像；視差計算單元（40a)，算出多個視點圖像的視點圖像間的第一視差量；存儲器（48)，存儲有視差校正信息，該視差校正信息表示第一視差量與由光瞳分割的攝像產生的多個視點圖像的視點圖像間的所對應的物體圖像的視差方向上的偏離量之間的關系；及視差校正單元（40b)，基于第一視差量和存儲于存儲器（48)的視差校正信息，算出對第一視差量校正了與物體圖像的視差方向上的偏離量相應的量后的第二視差量。
【專利說明】圖像處理裝置、攝像裝置以及圖像處理方法

【技術領域】
[0001] 本發明涉及圖像處理裝置、攝像裝置以及圖像處理方法，特別是涉及在對以光瞳分割拍攝到的多個視點圖像的視差進行檢測的情況下能夠得到不容易受噪聲的影響且與人所感知的視差同等的視差的圖像處理裝置、攝像裝置以及圖像處理方法。

【背景技術】
[0002] 已知有具備以光瞳分割方式進行攝像的攝像元件的立體攝像裝置。在這樣的使用了光瞳分割方式的攝像元件的情況下，作為在左右圖像之間進行匹配而算出視差的方法，公知將像素值之差的平方和為最小的塊的位置偏離量視為正解而輸出的方法。如此，視差的計算通常使用在左眼圖像和右眼圖像中利用基于像素值的相關性來算出視差的方法 (相關法）而進行。
[0003] 例如，專利文獻1公開了通過具備上部開口的微透鏡和下部開口的微透鏡而得到左眼圖像和右眼圖像的相位差式的圖像傳感器。另外，公開了在左眼圖像和右眼圖像進行基于相關法的匹配來求算距離信息的內容。
[0004] 另外，專利文獻2公開了通過對一個圓柱體微透鏡在左側和右側配置光電轉換元件而得到左眼圖像和右眼圖像的相位差式的圖像傳感器。
[0005] 另外，專利文獻3公開了如下內容：進行光瞳分割的攝像而取得多個視點圖像（第一圖像以及第二圖像），在對這些多個視點圖像分別進行不同的圖像處理時，以各圖像處理后的多個視點圖像之間的畫質之差降低的方式進行各圖像處理。
[0006] 另外，專利文獻4公開了如下內容：進行光瞳分割的攝像而取得多個視點圖像（第一視差圖像以及第二視差圖像），對應每個位置選擇與這些多個視點圖像內的各位置的散焦量和像高對應的復原濾光片，基于所選擇的復原濾光片，對應多個視點圖像內的每個位置實施反卷積，從而對多個視點圖像進行復原。
[0007] 專利文獻1 :日本特開2002-191060號公報
[0008] 專利文獻2 :日本特表2011-515045號公報
[0009] 專利文獻3 :W02011/118089號公報
[0010] 專利文獻4 :W02011/118077號公報

【發明內容】

[0011] 發明所要解決的課題
[0012] 然而，在利用光瞳分割方式的攝像元件進行攝像的情況下，左眼圖像以及右眼圖像并非單純地成為相同形狀的物體圖像在左右方向上相互偏離的圖像的組，由于攝像光學系統，實際上成為分別被實施了左右對稱的半月狀濾光那樣的圖像的組。因此，當在那樣的左眼圖像和右眼圖像進行塊匹配時，存在會算出與人所感知的視差稍微不同的視差這樣的問題。
[0013] 設為作為視差的計算法，使用了進行塊匹配而將像素值之差的平方和為最小的位置偏離量視為正解而輸出的方法（是所謂相關法的一種）。對于此，可考慮為人將左右的圖像之間信號的峰位置的偏離量感知為視差。即，當利用相關法算出視差時，不一定將峰位置的偏離量作為正解而輸出，因此存在與人所感知的視差稍微不同的可能性。
[0014] 另外，也可考慮算出峰位置的偏離量作為視差，但是峰位置彼此的比較通常容易受噪聲的影響，不能檢測視差的概率變高。相對于此，基于相關法的視差計算不容易受噪聲影響。
[0015] 專利文獻1、2不過是公開了相位差式的圖像傳感器，并沒有關于得到不容易受噪聲影響且與人所感知的視差同等的視差的公開。另外，專利文獻3公開了以視點圖像之間的畫質之差降低的方式進行各圖像處理，并沒有關于得到不容易受噪聲影響且與人所感知的視差同等的視差的公開。另外，專利文獻4公開了對應多個視點圖像內的每個位置實施反卷積的復原處理，而沒有關于得到不容易受噪聲影響且與人所感知的視差同等的視差的公開。即，在專利文獻1?4記載的技術中，難以得到與人所感知的視差同等的視差。
[0016] 本發明鑒于這樣的情況而作出，其目的在于提供在對由光瞳分割的攝像而生成的視點不同的多個視點圖像的視差進行檢測的情況下能夠得到不容易受噪聲影響且與人所感知的視差同等的視差的圖像處理裝置、攝像裝置以及圖像處理方法。
[0017] 用于解決課題的手段
[0018] 為了實現上述的目的，本發明提供圖像處理裝置，具備：圖像獲取單元，取得由光瞳分割的攝像而生成的視點不同的多個視點圖像；第一視差量計算單元，算出多個視點圖像的視點圖像間的第一視差量；存儲單元，存儲有視差校正信息，該視差校正信息表示第一視差量與由光瞳分割的攝像引起的多個視點圖像的視點圖像間的所對應的物體圖像的視差方向上的偏離量之間的關系；及第二視差量計算單元，基于第一視差量和存儲于存儲單元的視差校正信息，算出對第一視差量校正了與物體圖像的視差方向上的偏離量相應的量后的第二視差量。
[0019] 在此，"視差方向"是與將兩眼的眼和眼連接的方向對應的、視點圖像中的方向。例如，在使用具有相位差像素的攝像元件來進行光瞳分割的攝像的情況下，相位差像素的相位差的方向是"視差方向"。即，在多個視點圖像間連接所對應的對應點之間的方向是"視差方向"。
[0020] 根據本發明，利用第一視差量計算單元算出作為視點圖像間的視差量的臨時的正解的第一視差量，基于該第一視差量和存儲于存儲單元的視差校正信息，對該作為臨時的正解的第一視差量校正與視點圖像間的實際的物體圖像的視差方向上的偏離量相應的量，因此能夠得到不容易受噪聲影響且與人所感知的視差同等的視差。在此，"人所感知的視差"是"實際的物體圖像的視差方向上的偏離量"。
[0021] 在一實施方式中，物體圖像的視差方向上的偏離量是多個視點圖像的視點圖像間的、物體圖像的像素值的峰位置的偏離量，第二視差量計算單元算出對第一視差量校正了與物體圖像的像素值的峰位置的偏離量相應的量后的第二視差量。
[0022] 在一實施方式中，第一視差量計算單元利用相關性算出第一視差量。
[0023] 根據本實施方式，當預先存儲利用基于相關性的匹配而算出的視差與實際的物體圖像的視差方向上的偏離量（峰位置的偏離量）之間的關系并取得以光瞳分割對任意的被攝體進行攝像而生成的多個視點圖像時，利用基于相關性的匹配來求算視點圖像間的視差量的臨時的正解（第一視差量），基于該臨時的正解和視差校正信息，對臨時的正解校正與實際的物體圖像的視差方向上的偏離量相應的量（第二視差量），因此能夠得到不容易受噪聲影響且與人所感知的視差同等的視差。
[0024] 在一實施方式中，多個視點圖像由具有排列有多個光電轉換元件的攝像面的攝像元件以光瞳分割來進行攝像，存儲單元對應攝像元件的攝像面中的不同的每個位置而存儲視差校正信息，第二視差量計算單元從存儲單元取得與多個視點圖像內的位置對應的、攝像元件的攝像面的每個位置的視差校正信息，基于該取得的視差校正信息來算出第二視差量。
[0025] 在一實施方式中，存儲單元對應視點圖像的像素的每個彩色信道而存儲視差校正信息，第二視差量計算單元取得存儲于存儲單元的每個彩色信道的視差校正信息，并基于該取得的視差校正信息，對應每個彩色信道算出第二視差量。
[0026] 在一實施方式中，多個視點圖像由包含綠色的像素在內的多個顏色的像素構成，存儲單元存儲與綠色的像素對應的視差校正信息，第二視差量計算單元基于存儲于存儲單元的與綠色的像素對應的視差校正信息而取得與綠色的像素對應的視差校正信息，基于該取得的視差校正信息，算出多個視點圖像的綠色的像素以及綠色的像素以外的像素中的第二視差量。
[0027] 在一實施方式中，多個視點圖像使用光圈值能夠變化的攝影光學系統來進行攝像，存儲單元對應攝影光學系統的每個光圈值而存儲視差校正信息，第二視差量計算單元將使用攝影光學系統拍攝了多個視點圖像時的光圈值作為參數而取得視差校正信息，并基于該取得的視差校正信息來算出第二視差量。
[0028] 在一實施方式中，具備使由第二視差量計算單元算出的多個視點圖像的第二視差量增加的視差增強單元。
[0029] 在一實施方式中，具備多視點圖像生成單元，該多視點圖像生成單元基于由第二視差量計算單元算出的第二視差量，生成視點數量與由圖像獲取單元取得的多個視點圖像不同的多視點圖像。
[0030] 在一實施方式中，第一視差量計算單元通過在視點圖像之間進行塊匹配而以預定的像素單位或者子像素單位算出表示一致程度的評價值，將評價值為最小的位置彼此的偏離量作為第一視差量。
[0031] 在一實施方式中，視差量計算單元通過求算視點圖像間的像素值之差的平方和或視點圖像間的像素值之差的總和而算出評價值。
[0032] 存儲單元將視差校正信息作為查找表或者計算式而存儲。
[0033] 另外，本發明提供攝像裝置，具備上述的圖像處理裝置和進行光瞳分割方式的攝像的攝像單元。
[0034] 在一實施方式中，攝像單元具有包含聚焦透鏡的攝影光學系統，攝像裝置具備自動對焦處理單元，該自動對焦處理單元基于由第二視差量計算單元算出的第二視差量，進行調節攝影光學系統的聚焦透鏡的位置的控制。
[0035] 另外，本發明提供圖像處理方法，具備以下步驟：取得由光瞳分割的攝像而生成的視點不同的多個視點圖像；算出多個視點圖像的視點圖像間的第一視差量；及將視差校正信息預先存儲于存儲單元，該視差校正信息表示第一視差量與由光瞳分割的攝像引起的多個視點圖像的視點圖像間的所對應的物體圖像的視差方向上的偏離量之間的關系，基于第一視差量和存儲于存儲單元的視差校正信息來算出對第一視差量校正了與物體圖像的視差方向上的偏離量相應的量后的第二視差量。
[0036] 發明效果
[0037] 根據本發明，在對由光瞳分割方式的攝像而生成的視點不同的多個視點圖像的視差進行檢測的情況下能夠得到不容易受噪聲影響且與人所感知的視差同等的視差。

【專利附圖】

【附圖說明】
[0038] 圖1是表示適用了本發明所涉及的圖像處理裝置的立體攝像裝置的實施方式的立體圖。
[0039] 圖2是上述立體攝像裝置的后視圖。
[0040] 圖3是表示立體攝像裝置的攝像元件的結構例的圖。
[0041] 圖4是上述攝像元件的主要部分放大圖。
[0042] 圖5是表示上述立體攝像裝置的內部結構的一實施方式的框圖。
[0043] 圖6是表示由上述攝像元件以光瞳分割拍攝到的左眼圖像以及右眼圖像的例子的說明圖。
[0044] 圖7是表示以光瞳分割對存在于與完美對焦位置相比更近的位置上的點光源進行攝像的情況的說明圖。
[0045] 圖8是利用以往的攝像元件以通常的攝像對點光源進行攝像的情況下的說明圖。
[0046] 圖9是利用本例的攝像元件以光瞳分割的攝像對點光源進行攝像的情況下的說明圖。
[0047] 圖10是表示以光瞳分割對存在于與完美對焦位置相比更近的位置上的點光源進行攝像而得到的左眼圖像以及右眼圖像的例子的說明圖。
[0048] 圖11是表示以光瞳分割對存在于與完美對焦位置相比更遠的位置上的點光源進行攝像而得到的左眼圖像以及右眼圖像的例子的說明圖。
[0049] 圖12是表示計算視差與像素值的峰位置的偏離量之差的說明圖。
[0050] 圖13是表示CPU以及存儲器的功能性內部結構例的框圖。
[0051] 圖14是用于說明點光源的距離、計算視差和峰位置的偏離量的關系的說明圖，是表示以光瞳分割對點光源進行攝像而得到的左眼圖像以及右眼圖像的說明圖。
[0052] 圖15是表示計算視差與視差校正量的對應關系的例子的曲線圖。
[0053] 圖16是表示每個彩色信道的計算視差與視差校正量的對應關系的例子的曲線圖。
[0054] 圖17是用于說明畫面內的位置、計算視差和峰位置的偏離量的關系的說明圖，是表示以光瞳分割對點光源進行攝像而得到的左眼圖像以及右眼圖像的說明圖。
[0055] 圖18是表示畫面內的每個位置的計算視差與視差校正量的對應關系的例子的曲線圖。
[0056] 圖19是表示進行視差增強的情況下的圖像處理例的流程的流程圖。
[0057] 圖20是表示進行多視點圖像生成的情況下的圖像處理例的流程的流程圖。
[0058] 圖21是表示以往的相位差AF處理例的流程的流程圖。
[0059] 圖22是表示適用了本發明的相位差AF處理例的流程的流程圖。
[0060] 圖23是作為本發明所涉及的圖像處理裝置的其他實施方式的、作為便攜式電子設備的智能手機的外觀圖。
[0061] 圖24是表示上述智能手機的結構的框圖。

【具體實施方式】
[0062] 以下，根據附圖，對本發明所涉及的圖像處理裝置、圖像處理方法、立體攝像裝置以及便攜式電子設備的實施方式進行說明。
[0063] [立體攝像裝置的整體結構]
[0064] 圖1是表示適用了本發明所涉及的圖像處理裝置的立體攝像裝置的實施方式的立體圖。圖2是上述立體攝像裝置的后視圖。該立體攝像裝置10(3D數碼照相機）是由攝像元件接收通過了鏡頭的光并轉換為數字信號而記錄于存儲卡等記錄介質的數碼照相機。 [0065] 如圖1所示，立體攝像裝置10在其正面配置有攝影鏡頭12、閃光燈1等，在上表面配置有快門按鈕2、電源/模式開關3、模式撥盤4等。另一方面，如圖2所示，在照相機背面配置有3D顯示用的3D液晶顯示器30、變焦按鈕5、十字按鈕6、菜單/確定按鈕7、重放按鈕8及返回按鈕9等。
[0066] 攝影鏡頭12由伸縮式的變焦鏡頭構成，通過利用電源/模式開關3將照相機的模式設定為攝影模式而從照相機主體伸出。閃光燈1朝向主要被攝體照射閃光。
[0067] 快門按鈕2利用由所謂的"半按壓"和"全按壓"構成的2級行程式的開關構成。在以攝影模式進行驅動時，立體攝像裝置10通過該快門按鈕2被"半按壓"而使AE (Automatic Exposure :自動曝光）/AF(Auto Focus :自動對焦）進行動作，通過該快門按鈕2被"全按壓"而執行攝影。另外，在以攝影模式進行驅動時，立體攝像裝置10通過該快門按鈕2被 "全按壓"而執行攝影。
[0068] 電源/模式開關3兼具作為使立體攝像裝置10的電源接通/斷開的電源開關的功能和作為對立體攝像裝置10的模式進行設定的模式開關的功能，配置成在"斷開位置"、 "重放位置"和"攝影位置"之間滑動自如。立體攝像裝置10通過使電源/模式開關3滑動并與"重放位置"或"攝影位置"一致而使電源接通，通過使電源/模式開關3滑動并與"斷開位置"一致而使電源斷開。并且，通過使電源/模式開關3滑動并與"重放位置" 一致而設定為"重放模式"，通過使電源/模式開關3滑動并與"攝影位置"一致而設定為"攝影模式"。
[0069] 模式撥盤4作為對立體攝像裝置10的攝影模式進行設定的攝影模式設定單元而發揮功能，通過該模式撥盤的設定位置，將立體攝像裝置10的攝影模式設定為各種各樣的模式。例如，進行平面圖像的攝影的"平面圖像攝影模式"、進行立體圖像（3D圖像）的攝影的"立體圖像攝影模式"、進行動畫攝影的"動畫攝影模式"等。
[0070] 3D液晶顯示器30是能夠利用視差屏障將立體圖像（左眼圖像以及右眼圖像）顯示作分別具有預定的指向性的指向性圖像的立體顯示單元。在將立體視圖像輸入到3D液晶顯示器30的情況下，使3D液晶顯示器30的視差屏障顯示層產生由將透光部和遮光部交替地以預定的間距排列而成的圖案構成的視差屏障，并且表示左右圖像的長條狀的圖像片段交替地排列顯示于該視差屏障的下層的圖像顯示面。在作為平面圖像、用戶界面顯示面板進行利用的情況下，在視差屏障顯示層上什么也不顯示，在其下層的圖像顯示面上直接顯示1張圖像。另外，3D液晶顯示器30的方式不限于此，只要將左眼圖像以及右眼圖像以能夠作為立體圖像進行識別的方式顯示，則也可以是使用柱面透鏡的方式、通過佩戴偏光眼鏡、液晶快門眼鏡等專用眼鏡而能夠個別地觀察左眼圖像和右眼圖像的方式。
[0071] 變焦按鈕5作為指示變焦的變焦指示單元而發揮功能，由對向遠攝側的變焦進行指示的長焦按鈕5T和對向廣角側的變焦進行指示的廣角按鈕5W構成。在攝影模式時，立體攝像裝置10通過對該長焦按鈕5T和廣角按鈕5W進行操作，而使攝影鏡頭12的焦距變化。另外，在重放模式時，通過對該長焦按鈕5T和廣角按鈕5W進行操作，而將重放中的圖像放大、縮小。
[0072] 十字按鈕6是輸入上下左右這4方向的指示的操作部，作為從菜單畫面選擇項目或從各菜單指示各種設定項目的選擇的按鈕（光標移動操作單元）而發揮功能。左/右鍵作為重放模式時的幅進給（正方向/反方向進給）按鈕而發揮功能。
[0073] 菜單/確定按鈕7是兼備用于進行在3D液晶顯示器30的畫面上顯示菜單的指令的菜單按鈕的功能和作為對選擇內容的確定以及執行等進行指示的確定按鈕的功能的操作鍵。
[0074] 重放按鈕8是用于切換為重放模式的按鈕，該重放模式在3D液晶顯示器30上顯示所攝影記錄的立體圖像（3D圖像）、平面圖像（2D圖像）的靜止圖像或動畫。
[0075] 返回按鈕9作為對輸入操作的取消、返回到前一個操作狀態進行指示的按鈕而發揮功能。
[0076][攝影光學系統、攝像元件的結構例]
[0077] 攝影鏡頭12是由包含聚焦透鏡、變焦透鏡的多個的透鏡構成的攝像光學系統。在攝影模式時，表示被攝體的圖像光經由攝影鏡頭12而成像于攝像元件16的受光面。
[0078] 圖3是對攝像元件16的結構例進行表示的圖。
[0079] 攝像元件16作為具有視差的圖像（多個視點圖像）檢測用的CCD圖像傳感器而構成，具有分別排列為矩陣狀的奇數行的像素（稱作主像素、A面像素）和偶數行的像素（稱作副像素、B面像素），由這些主、副像素分別進行光電轉換而成的兩畫面量的圖像信號（多個視點圖像）能夠獨立讀出。
[0080] 如圖3所示，在攝像元件16的奇數行（1、3、5、…），具備R(紅）、G(綠）、B(藍）濾色器的像素中的GRGR…的像素排列的行和BGBG…的像素排列的行交替地設置，另一方面，偶數行（2、4、6、…）的像素中，與奇數行同樣地，GRGR…的像素排列的行和BGBG···的像素排列的行交替地設置，并且相對于偶數行的像素，像素彼此向行方向偏離二分之一的間距而配置。
[0081] 圖4是作為相位差圖像傳感器而發揮功能的攝像元件16的主要部分放大圖。
[0082] 如圖4(a)所示，在攝像元件16的主像素的光電二極管的前表面側（微透鏡L 偵D配置遮光構件16A，另一方面，如圖4(b)所示，在副像素的光電二極管ro的前表面側配置遮光構件16B。微透鏡L以及遮光構件16A、16B具有作為光瞳分割單元的功能，如圖4 (a) 所示，遮光構件16A對主像素（光電二極管PD)的受光面的左一半進行遮光。因此，在主像素，僅通過攝影鏡頭12的出射光瞳的光束的光軸的左側接收光。另外，如圖4(b)所示，遮光構件16B對副像素（光電二極管PD)的受光面的右一半進行遮光。因此，在副像素，僅通過攝影鏡頭12的出射光瞳的光束的光軸的右側接收光。如此，利用作為光瞳分割單元的微透鏡L以及遮光構件16A、16B，通過出射光瞳的光束被沿左右分割，并分別向主像素、副像素入射。
[0083] 另外，在與通過攝影鏡頭12的出射光瞳的光束中的左一半的光束對應的被攝體圖像和與右一半的光束對應的被攝體圖像中，焦點對齊的部分成像于攝像元件16上的相同的位置，但是向前跑焦或向后跑焦的部分分別向攝像元件16上的不同的位置入射（相位偏離）。由此，能夠取得與左一半的光束對應的被攝體圖像和與右一半的光束對應的被攝體圖像作為視差不同的視差圖像（左眼圖像、右眼圖像）。另外，本實施方式的攝像元件16 是C⑶圖像傳感器，但是不限于此，也可以是CMOS型的圖像傳感器。
[0084] [立體攝像裝置的內部結構]
[0085] 圖5是對上述立體攝像裝置10的內部結構的實施方式進行表示的框圖。該立體攝像裝置10將所拍攝的圖像記錄于存儲卡54,裝置整體的動作由中央處理裝置（CPU) 40統一控制。
[0086] 在立體攝像裝置10設有快門按鈕、模式撥盤、重放按鈕、菜單/確定鍵、十字鍵、變焦按鈕、返回鍵等的操作部38。來自該操作部38的信號向CPU40輸入，CPU40基于輸入信號對立體攝像裝置10的各電路進行控制，例如，進行鏡頭驅動控制、光圈驅動控制、攝影動作控制、圖像處理控制、圖像數據的記錄/重放控制、3D液晶顯示器30的顯示控制等。在操作部38設有用于由用戶設定視差校正的視差量設定部。
[0087] 當利用電源/模式開關3將立體攝像裝置10的電源接通時，從未圖示的電源部向各塊供電，開始立體攝像裝置10的驅動。
[0088] 攝影鏡頭12是由多個透鏡構成的攝像光學系統。光圈14例如由5片光圈葉片構成，利用光圈驅動部34,例如將光圈值（F值）連續地或階段性地光圈控制至F2?F8。通過了攝影鏡頭12、光圈14等的光束成像于攝像元件16,在攝像元件16上存儲信號電荷。存儲于攝像元件16的信號電荷基于從攝像元件控制部32施加的讀出信號而作為與信號電荷對應的電壓信號讀出。從攝像元件16讀出的電壓信號向模擬信號處理部18施加。
[0089] 模擬信號處理部18對于從攝像元件16輸出的電壓信號，通過相關雙采樣處理 (以減輕攝像元件16的輸出信號中所包含的噪聲（特別是熱噪聲）等為目的，通過取得在攝像元件16的每1像素的輸出信號中所包含的饋通（feedthrough)成分電平與像素信號成分電平之差而得到準確的像素數據的處理）對各像素的R、G、B信號進行采樣保持，被放大后向A/D轉換器20施加。A/D轉換器20將順次輸入的R、G、B信號轉換為數字的R、G、B 信號而向圖像輸入控制器22輸出。
[0090] 數字信號處理部24對經由圖像輸入控制器22輸入的數字的圖像信號，進行偏移處理、包含白平衡校正、靈敏度校正的增益/控制處理、伽瑪校正處理、去馬賽克算法處理、 YC處理及邊緣增強處理等預定的信號處理。
[0091] 在此，從攝像元件16的奇數行的主像素讀出的主圖像數據作為左眼圖像數據而被處理，從偶數行的副像素讀出的副圖像數據作為右眼圖像數據而被處理。
[0092] 由數字信號處理部24處理后的左眼圖像數據以及右眼圖像數據（3D圖像數據）向VRAM50輸入。在VRAM50包含分別記錄表示1幅量的3D圖像的3D圖像數據的A區域和 B區域。在VRAM50中，表示1幅量的3D圖像的3D圖像數據在A區域和B區域中被交替地重寫。從VRAM50的A區域以及B區域中的重寫3D圖像數據的一方的區域以外的區域讀出所寫入的3D圖像數據。
[0093] 從VRAM50讀出的3D圖像數據在視頻編碼器28中被編碼，并向設于照相機背面的 3D液晶顯示器30輸出，由此在3D液晶顯示器30的顯示畫面上連續地顯示3D的被攝體圖像。
[0094] 當存在操作部38的快門按鈕2的第一階段的按下（半按壓）時，CPU40以如下方式進行控制：開始AF動作以及AE動作，經由鏡頭驅動部36使聚焦透鏡沿光軸方向移動，使聚焦透鏡到達對焦位置。
[0095] AF處理部42是進行對比度AF處理或相位差AF處理的部分。在進行對比度AF處理的情況下，提取左眼圖像以及右眼圖像的至少一方的圖像中的預定的聚焦區域內的圖像的高頻成分，對該高頻成分進行積分，從而算出表示對焦狀態的AF評價值。以該AF評價值變得極大的方式對攝影鏡頭12內的聚焦透鏡進行控制，從而進行AF控制。另外，在進行相位差AF處理的情況下，對與左眼圖像以及右眼圖像中的預定的聚焦區域內的主像素、副像素對應的圖像的相位差進行檢測，基于表示該相位差的信息而求算散焦量。以該散焦量成為零的方式對攝影鏡頭12內的聚焦透鏡進行控制，從而進行AF控制。
[0096] CPU40根據來自變焦按鈕5的變焦指令而經由鏡頭驅動部36使變焦透鏡沿光軸方向進行進退動作，而使焦距變更。
[0097] 另外，在半按壓快門按鈕2時從A/D轉換器20輸出的圖像數據被讀入到AE檢測部44。
[0098] 在AE檢測部44中，對畫面整體的G信號進行累計，或對在畫面中央部和周邊部附加了不同的權重后的G信號進行累計，并將其累計值向CPU40輸出。CPU40利用從AE檢測部44輸入的累計值來算出被攝體的亮度（攝影Εν值），基于該攝影EV值，按照預定的程序線圖來確定光圈14的F值以及攝像元件16的電子快門（快門速度）。
[0099] 另外，在圖5中，標注了附圖標記46的要素是用于對攝影視角內的人物的臉部進行檢測并將包括該臉部的區域設定作AF區域、ΑΕ區域的公知的臉部檢測電路（例如，參照日本特開平9-101579號公報）。
[0100] 另外，標注了附圖標記47的要素是除了存儲照相機控制程序、攝像元件16的缺陷信息、用于圖像處理等的各種參數、表之外還存儲用于對本發明所涉及的左眼圖像以及右眼圖像的立體感進行校正（視差校正）的圖像處理程序、濾光系數計算用的計算式或查找表、與視差、視差增強的程度對應的計算式的參數或用于確定查找表的信息的 ROM(EEPROM)。另外，對于本發明所涉及的圖像處理程序等的詳細內容，留作后述。
[0101] 當通過快門按鈕2的半按壓而AE動作以及AF動作結束并存在快門按鈕的第二階段的按下（全按壓）時，將響應于該按下而從A/D轉換器20輸出的與主像素以及副像素對應的左視點圖像（主圖像）以及右視點圖像（副圖像）的2張量的圖像數據從圖像輸入控制器22向存儲器（SDRAM) 48輸入，并臨時存儲。
[0102] 臨時存儲于存儲器48的2張量的圖像數據由數字信號處理部24適當讀出，在此，進行包含去馬賽克算法處理（對與原色濾光片的排列相伴的顏色信號的空間性偏離進行插值而以去馬賽克的方式轉換顏色信號的處理）、本發明所涉及的視差校正及邊緣增強的圖像處理以及YC處理（圖像數據的亮度數據以及色差數據的生成處理）在內的預定的信號處理，被YC處理后的圖像數據（YC數據）再次存儲于存儲器48。
[0103] 存儲于存儲器48的2張量的YC數據分別向壓縮擴展處理部26輸出，在執行 JPEG(joint photographic experts group:聯合圖像專家小組）等的預定的壓縮處理后，再次存儲于存儲器48。由存儲于存儲器48的2張量的YC數據（壓縮數據）生成多圖像文件（MP文件：將多個圖像連接的格式的文件），該MP文件由介質控制器52讀出，并記錄于存儲卡54。
[0104] 另外，立體攝像裝置10不僅能夠取得立體圖像（3D圖像），而且也能夠取得平面圖像（2D圖像）。
[0105] [視差校正的原理]
[0106] 接下來，對本發明所涉及的圖像處理方法中的視差校正的原理進行說明。
[0107] 圖6表示由攝像元件16通過光瞳分割的攝像而生成的視點不同的左眼圖像60L 以及右眼圖像60R的例子。附圖標記61是近距離的物體圖像，附圖標記62是中距離的物體圖像，附圖標記63是遠距離的物體圖像。左眼圖像60L與右眼圖像60R之間的相同的附圖標記的物體圖像的視差方向（是圖中的左右方向）上的偏離量（附圖標記61的物體圖像彼此的視差方向上的偏離量、附圖標記62的物體圖像彼此的視差方向上的偏離量、附圖標記63的物體圖像彼此的視差方向上的偏離量）與實際的視差相當。
[0108] 大致的流程是以下的[1]視差計測以及[2]視差校正。
[0109] [1]視差計測：在所取得的多個視點圖像（通過光瞳分割方式的攝像而生成的視點不同的左眼圖像60L以及右眼圖像60R)間，通過相關運算進行塊匹配而算出視差（稱作 "視差量"）。
[0110] [2]視差校正：基于多個視點圖像（左眼圖像60L以及右眼圖像60R)的所算出的視差和與該所算出的視差對應的視差校正信息，對所算出的視差校正與實際的物體圖像的視差方向上的偏離量相應的量（實際的視差）。
[0111] 作為視差計測的方法，已知有相關法。例如能夠對在X方向上是15像素、在y 方向上是1像素那樣的內核進行掃描，通過找出像素值之差的平方和最小的部位來進行匹配。視差的計測結果能夠以越遠越亮、越近越暗那樣的單色圖像（距離圖像）進行表示。也能夠進行以子像素為單位的視差的測定，對于詳細的方法，在新井等所著的"圖像的塊匹配中的相關函數和副像素推定方式的最優化（信息處理學會研究報告，卷：2004，號： 40 (CVM-144)，頁：33-40) " 等中被記載。
[0112] 在視差計測中，通常存在如下問題：進行塊匹配并使用相關性算出的視差的值與人所感知的視差的值，存在稍微的差異。
[0113] 對于該問題，使用圖7?圖12進行說明。
[0114] 如圖7所示，在由攝像元件16利用光瞳分割方式對存在于與完美對焦位置相比更近的位置上的點光源進行攝像的情況下，向該攝像元件16的攝像面16C賦予圓形狀的模糊的點光源的光圖像。
[0115] 假若，如圖8所示，在利用以往的攝像元件96以通常的攝像（非光瞳分割方式的攝像）對點光源進行攝像的情況下，如賦予于攝像面的那樣，被拍攝作圓形狀的模糊的點光源圖像。
[0116] 可是，在如圖9所示，在利用本例的攝像元件16進行光瞳分割方式的攝像的情況下，被拍攝為半月形狀的模糊的點光源圖像。圖10表示以光瞳分割方式對存在于與完美對焦位置相比更近的位置上的點光源進行攝像而得到的左眼圖像71L以及右眼圖像71R的例子。圖11表示以光瞳分割方式對存在于與完美對焦位置相比更遠的位置上的點光源進行攝像而得到的左眼圖像72L以及右眼圖像72R的例子。
[0117] 在此，以圖10所示的情況（以光瞳分割方式對與完美對焦位置相比更近的點光源進行攝像的情況）為例，使用圖12,將利用相關性算出的視差和人所感知的視差進行對比而對問題點進行說明。
[0118] 如圖12所示，假若在點光源存在于完美對焦位置的情況下，如由附圖標記12A所示地得到理想的脈沖形狀的圖像信號，但是在點光源存在于與完美對焦位置相比更近之處的情況下，如由附圖標記12B所示地得到存在視差的左眼圖像71L以及右眼圖像71R。
[0119] 假定，設進行塊匹配而算出視差，并使右眼圖像71R在X軸方向上移動與該所算出的視差相應的量。這樣一來，如由附圖標記12C所示地，存在左眼圖像71L的像素值的峰位置和右眼圖像71R的像素值的峰位置不一致的情況。即，不一定如由附圖標記12D所示那樣左眼圖像71L的像素值的峰位置和右眼圖像71R的像素值的峰位置一致。這意味著進行塊匹配并利用相關性算出的視差（計算視差）和人所感知的視差（由峰位置的偏離量所表示的物體圖像的視差方向上的偏離量）存在稍微的差異。
[0120] 可是，假若當通過圖像處理利用運算對峰位置的偏離量進行檢測時，實際的攝影場景中并不一定存在點光源，存在難以檢測視差的情況，因此實際上，進行塊匹配并利用相關性來算出視差為優選。
[0121] 這樣一來，使用如由附圖標記80所示地以作為計測結果的計算視差（視差量）為輸入參數而輸出用于對該計算視差進行校正的校正量（是附圖標記12C的偏離量d)那樣的查找表（或計算式）為優選。
[0122] 另外，圖12中，以使用表示計算視差與該計算視差的校正量（計算視差和峰位置的偏離量之差）的對應關系的視差校正信息（查找表或計算式）的情況為例而進行了說明，但是該視差校正信息也能夠稱作間接地表示計算視差和峰位置的偏離量（是實際的物體圖像的視差方向上的偏離量）的對應關系。也可以使用直接地表示了計算視差和峰位置的偏離量的對應關系的視差校正信息（查找表或計算式）。
[0123] 圖13是表示本實施方式中的CPU40以及存儲器48 (存儲單元）的功能性內部結構例的框圖。
[0124] 在圖13中，存儲器48存儲視差校正信息，該視差校正信息表示利用通過光瞳分割來拍攝點光源而生成的多個視點的點光源圖像中的點光源圖像間的相關性算出的視差 (計算視差）和點光源圖像間的像素值的峰位置的偏離量（實際的物體圖像的視差方向上的偏離量）的關系。換言之，視差校正信息表示通過光瞳分割對任意的被攝體進行攝像而生成的多個視點圖像的視點圖像間的計算視差與多個視點圖像的視點圖像間的像素值的峰位置的偏離量（實際的物體圖像的視差方向上的偏離量）之間的關系。
[0125] 以下，本例的存儲器48存儲將計算視差和校正量d(計算視差和峰位置的偏離量之差）建立對應而成的查找表（或者函數的計算式）作為視差校正信息。
[0126] CPU40具備：視差計算單元40a，利用相關性算出由攝像元件16以光瞳分割方式的攝像生成的多個視點圖像中的視點圖像間的視差（計算視差）；視差校正單元40b，基于由視差計算單兀40a算出的計算視差和存儲于存儲器48的視差校正/[目息，對計算視差校正與峰位置的偏離量（實際的物體圖像的視差方向上的偏離量）相應的量；及視差增強單元 40c，使由視差校正單元40b校正后的多個視點圖像的視差增加。本例的視差校正單元40b 基于存儲于存儲器48的查找表（或函數的計算式），取得用于對利用相關性算出的計算視差進行校正的校正量，并基于該取得的校正量，對計算視差校正與峰位置的偏離量相應的量。
[0127] 另外，也可以在存儲器48存儲將計算視差和峰位置的偏離量直接建立對應而成的查找表（或者函數的計算式）作為視差校正信息。在該情況下，視差校正單元40b基于視差校正信息，對計算視差直接校正與峰位置的偏尚量相應的量。
[0128] 如上所述，本實施方式的立體攝像裝置10具備：第一視差量計算單元（視差計算單元40a)，算出多個視點圖像的視點圖像間的第一視差量（計算視差）；存儲單元（存儲器 48)，存儲視差校正信息，該視差校正信息表示第一視差量與由光瞳分割的攝像引起的多個視點圖像的視點圖像間的所對應的實際的物體圖像的視差方向上的偏離量之間的關系；第二視差量計算單元（視差校正單元40b)，基于第一視差量和存儲于存儲單元（存儲器48) 的視差校正信息，算出對第一視差量校正了與實際的物體圖像的視差方向上的偏離量相應的量后的第二視差量；及視差增強單元40c，使由第二視差量計算單元（視差校正單元40b) 算出的多個視點圖像的第二視差量增加。
[0129] 另外，在本例中，利用相關法的運算處理來進行視點圖像間的匹配（對應關系的取得）而算出第一視差量，但是，本發明包括使用相關法以外的運算處理來進行視點圖像間的特征點彼此的匹配而算出第一視差量的情況。另外，在本例中，對第一視差量校正與峰位置的偏離量相應的量，但是本發明包括作為表示峰位置的偏離量以外的實際的物體圖像的視差方向上的偏離量的信息而算出第二視差量的情況。
[0130] 作為視點圖像間的匹配的其他實施例，可列舉KLT(Kanade Lucas Tomasi)算法、 SIFT(Scale_Invariant Feature Transform:尺度不變特征變換）算法等的匹配。在使用了 KLT算法、SIFT算法的情況下，從多個視點圖像提取適于匹配的特征點，在視點圖像間進行特征點彼此的匹配。在圖像整體的亮度存在間隙（gap)的情況下，KLT法與相關法相比魯棒（robust)性高。SIFT法雖然比較耗費處理時間，但是具有也能夠應對圖像的旋轉、放大縮小的優點。因此，優選為，根據處理速度、攝像場景的多樣性等而選擇適當的運算方法。即使在使用了 KLT算法、SIFT算法的情況下，在通過視點圖像間的特征點彼此的匹配的運算處理而算出的計算視差和實際的物體圖像的視差方向上的偏離量也產生差異，因此優選為，適用本發明，對計算視差校正與實際的物體圖像的視差方向上的偏離量相應的量。
[0131] [相關性的例子]
[0132] 作為在相關性中使用的函數，例如存在平方和（SSD)。即，將兩視點圖像的塊之間的一致度的評價值作為左眼圖像的關注塊的各像素值L(i，j)和右眼圖像的關注塊的各像素值R(i，j)之差的平方和Σ {L(i，j) - R(i，j))}2而算出。在本例中，示出作為塊之間的一致度的評價值的平方和越小，則塊之間的一致度越高。
[0133] 另外，一致度的評價值的計算不限于平方和（SSD)。例如，可列舉總和（SAD)、互相關性（CC)、標準化互相關性（NCC)等。
[0134] 本發明中的相關性不限于上述的例子。能夠使用通過在多個視點圖像間進行塊匹配而對圖像間的相關關系以像素或子像素為單位進行分析而算出視差的各種各樣的方法 (相關法）。
[0135] [計算視差和校正量的對應關系]
[0136] 圖14是表示在與完美對焦位置相比更近且距立體攝像裝置10的距離不同的多個位置上放置點光源并在各位置上利用光瞳分割方式對點光源進行攝像而得到的多個視點圖像（多個視點的點光源圖像）的例子。在本例中，在與完美對焦位置相比更近的位置上放置點光源，因此越接近立體攝像裝置10,則計算視差越大，點光源的模糊形狀越變大。第一多個視點圖像（第一左眼圖像101L以及第一右眼圖像101R)中，計算視差是2. 64像素，像素值的峰位置的偏離量是2. 78像素，視差校正量是0.14像素。第二多個視點圖像（第二左眼圖像102L以及第二右眼圖像102R)中，計算視差是4. 66像素，像素值的峰位置的偏尚量是4. 89像素，視差校正量是0. 23像素。第二多個視點圖像（第二左眼圖像103L以及第三右眼圖像103R)中，計算視差是7. 90像素，像素值的峰位置的偏離量是8. 19像素，視差校正量是〇. 29像素。
[0137] 在此，計算視差是表示左眼圖像中的點光源的圖像的位置與右眼圖像中的點光源的圖像的位置之間的偏離量的視差，是利用左眼圖像中的點光源的圖像和右眼圖像中的點光源的圖像的相關性算出的視差。像素值的峰位置的偏離量（實際的物體圖像的視差方向上的偏離量）是左眼圖像中的像素值的峰位置與右眼圖像中的像素值的峰位置之間的偏離量，表示與實際的點光源像的偏離量相應的量。視差校正量是計算視差與像素值的峰位置的偏尚量之差。
[0138] 如圖14所示，在將點光源放置得與完美對焦位置相比更近的情況下，放置點光源的位置越近，則計算視差越變大，圖像中的點光源的像的尺寸越變大，作為計算視差與像素值的峰位置的偏離量之差的視差校正量也越變大。另外，在將點光源放置得與完美對焦位置相比更遠的情況下，放置點光源的位置越遠，則計算視差越變大，圖像中的點光源的像的尺寸越變大，作為計算視差與像素值的峰位置的偏離量之差的視差校正量也越變大。
[0139] 圖15是表示計算視差與視差校正量的對應關系的例子的曲線圖。如使用圖14而說明的那樣，將點光源放置在遠近不同的多個位置，在放置了該點光源的每個位置利用光瞳分割方式對點光源進行攝像，求算利用相關性算出的視差（計算視差）與像素值的峰位置的偏離量（實際的物體圖像的視差方向上的偏離量）之差即視差校正量，通過插值處理，作為對任意的每個視差表示視差校正量的信息，而生成該曲線圖。
[0140] 如圖14所示，視差校正量相對于利用相關性算出的視差（計算視差）具有一定的相關關系。預先實測而求算計算視差與視差校正量的關系，并作為查找表（LUT)而存儲。也可以將計算視差與視差校正量的關系設為函數，將利用相關性算出的視差設為參數，而算出視差校正量。也可以通過模擬來算出視差校正量。另外，可以將計算視差與實際的物體圖像的視差方向上的偏離量之間的直接的關系作為查找表（LUT)而存儲，也可以將計算視差與實際的物體圖像的視差方向上的偏離量之間的直接的關系設為函數。
[0141] 在本例中，多個視點圖像由具有排列有多個光電轉換元件的攝像面16C的攝像元件16以光瞳分割進行攝像，存儲器48對應攝像元件16的攝像面16C中的不同的每個位置而存儲視差校正信息，視差計算單元40a (第二視差量計算單元）從存儲器48取得與多個視點圖像內的位置對應的、攝像元件16的攝像面16C的每個位置的視差校正信息，并基于該取得的視差校正信息對計算視差進行校正。
[0142] [彩色信道與視差校正量的關系]
[0143] 圖16是表示每個彩色信道的計算視差與視差校正量的對應關系的例子的曲線圖。如圖16所示，對應每個彩色信道，計算視差與視差校正量的對應關系不同。
[0144] 在此，彩色信道是與攝像元件16的像素所具備的濾色器的各顏色（R、G、B)對應的、視點圖像內的同色像素的系列。
[0145] 排列于攝像元件16的攝像面16C的帶濾色器的光電轉換元件通常在R、G、B中 B(藍）的折射率最高，因此在攝像圖像（多個視點圖像）中，B信道（B像素系列）處的模糊形狀的尺寸與R信道、G信道處的模糊形狀的尺寸相比變大。因此，當對應每個彩色信道 (對應各R、G、B)算出計算視差與像素值的峰的偏離量之差（視差校正量）時，所算出的差 (視差校正量）的絕對值通常為R < G < B。
[0146] 因此，本例的存儲器48對應每個彩色信道存儲用于輸出視差校正量的查找表（或函數）。視差校正量是對應每個彩色信道利用相關性算出的點光源的視差（計算視差）與對應每個彩色信道算出的像素值的峰位置的偏離量（實際的物體圖像的視差方向上的偏離量）之差。即，存儲器48對應拍攝多個視點圖像的攝像元件16的像素的顏色（光電二極管ro所具備的濾色器的顏色）而存儲查找表（或函數）。
[0147] 本例的視差校正單元40b對應每個彩色信道從存儲器48取得利用相關性算出的點光源的視差（計算視差）與像素值的峰位置的偏離量（實際的物體圖像的視差方向上的偏離量）之差（視差校正量），基于該取得的差，對應每個彩色信道，對多個視點圖像中的視差（計算視差）進行校正。
[0148] 由此，即使對應每個彩色信道而折射率不同，也能夠以適當的校正量來校正視差。
[0149] 另外，本例不限于如上所述地對應每個彩色信道進行視差校正的情況，也可以將與亮度的相關性最大的G信道的信息（計算視差與實際的物體圖像的視差方向上的偏離量的對應關系）預先存儲于存儲器48,基于該G信道的信息，進行其他彩色信道的視差校正。
[0150] [畫面內的位置與視差校正量的關系]
[0151] 圖17是用于說明畫面內的位置、計算視差和峰位置的偏離量的關系的說明圖，是表示以光瞳分割對點光源進行攝像而得到的左眼圖像以及右眼圖像的說明圖。圖18是表示畫面內的每個位置（中心、端部）的計算視差與視差校正量的對應關系的例子的曲線圖。
[0152] 在此，畫面內的位置是與攝像元件16的排列有光電轉換元件的攝像面16C對應的畫面，是與攝像圖像（視點圖像）的整個區域相當的畫面。
[0153] 在攝像元件16的攝像面16C排列的光電轉換元件（光電二極管PD)在攝像面的中心和端部中光的入射角度不同。因此，通常，在與攝像元件16的攝像面16C對應的攝像圖像的整個區域中，中心位置處的點光源的圖像的模糊形狀和左右的兩端位置處的點光源的模糊形狀不同。
[0154] 因此，本例的存儲器48對應畫面內的每個位置而存儲輸出視差校正量的查找表 (或函數）。即，存儲器48對應拍攝多個視點圖像的攝像元件16的攝像面中的每個不同的位置而存儲查找表（或函數）。視差校正量是對應畫面的每個位置利用相關性算出的點光源的視差（計算視差）與對應畫面的每個位置所算出的像素值的峰位置的偏離量（實際的物體圖像的視差方向上的偏離量）之差。即，存儲器48對應攝像圖像的整個區域中的每個預定的位置而存儲視差校正量。在此，預定的位置只要是畫面內的兩部位以上的位置即可。例如，也可以僅將畫面的中心的位置上的視差校正量和左右的兩端的位置上的視差校正量存儲于存儲器48。
[0155] 本例的視差校正單元40b從存儲器48讀出對應畫面內的每個位置的視差校正量，基于該讀出的差，對應畫面內的每個位置對多個視點圖像中的計算視差進行校正。
[0156] 由此，即使光的入射角度根據攝像元件16的攝像面16C內的位置而不同，從而模糊形狀根據與攝像圖像對應的畫面內的位置而不同，也能夠以適當的校正量來校正視差。
[0157] 另外，在圖18中，僅對畫面中心和畫面端部進行了例示，但是畫面內的位置的數量不特別地限定。為了提高精度，可以對應畫面內的多個（例如16個部位）位置的各個位置，利用查找表或者函數對視差校正量進行管理。
[0158] 另外，為了以簡單的處理進行視差校正量的管理以及校正，也可以在畫面內沿左右方向分割為長條狀的多個區域，根據是哪一個區域而對視差校正量進行切換。其中，從提高校正的精度的觀點出發，優選為，根據是畫面內的左右方向上的哪一個位置，而平滑地對視差校正量進行切換。
[0159] [與光圈值（F值）的關系]
[0160] 另外，優選為，根據F值來變更視差校正。在該情況下，存儲器48對應攝影光學系統11的每個F值而存儲視差校正量，視差校正單元40b將使用攝影光學系統11拍攝到多個視點圖像時的F值作為參數，從存儲器48讀出視差校正量，基于該讀出的視差校正量，對多個視點圖像中的計算視差進行校正。
[0161] [視差增強]
[0162] 圖19是表示進行視差增強的情況下的圖像處理例的流程的流程圖。
[0163] 另外，預先對應點光源的每個視差將利用光瞳分割對點光源進行攝像而得到的多個視點的點光源圖像（左眼圖像、右眼圖像）中的利用相關性算出的點光源的視差與像素值的峰位置的偏離量之差作為視差校正量而存儲于存儲器48。
[0164] 首先，取得以光瞳分割拍攝有任意的被攝體的多個視點圖像（左眼圖像、右眼圖像）（步驟S11)。在此，設為多個視點圖像不包含點光源作為被攝體。
[0165] 接下來，利用相關性算出所取得的多個視點圖像中的視差（步驟S12)。
[0166] 接下來，從存儲器48讀出與多個視點圖像中的利用相關性算出的視差對應的視差校正量，并基于該讀出的視差校正量，對多個視點圖像中的上述利用相關性算出的視差進行校正（步驟S13)。
[0167] 接下來，執行使所校正后的多個視點圖像的視差增加的視差增強（步驟S14)。
[0168] [生成多視點圖像]
[0169] 圖20是表示進行多視點圖像生成的情況下的圖像處理例的流程的流程圖。
[0170] 步驟S11?14與圖19的圖像處理例相同。
[0171] 在本例中，在步驟S15中，基于通過步驟S13校正后的多個視點圖像的視差，生成視點數量與在步驟S11中取得到的多個視點圖像不同的多視點圖像。
[0172] [相位差 AF]
[0173] 圖21是對以往的相位差AF(自動對焦）處理例的流程進行表示的流程圖，圖22 是對適用了本發明的相位差AF處理例的流程進行表示的流程圖。
[0174] 如圖21所示，在以往的相位差AF處理中，當取得左右的相位差像素的信號時（步驟S21)，利用相關性求算作為散焦量的視差（步驟S22)。例如，作為相關性，利用最小二乘法，在預定的區域內對左右的相位差像素間的像素值之差的平方求算總和，將該總和為最小的視差作為正解的散焦量。
[0175] 如圖22所示，在本例的相位差AF處理中，當取得左右的相位差像素的信號時（步驟S31)，利用相關性求算作為散焦量的視差而設為臨時的正解（步驟S32)，將該臨時的正解作為參數并使用存儲器48內的查找表而算出視差校正量（步驟S33)，將在由步驟S32求出的臨時的正解上加上視差校正量后的視差作為散焦量的正解（步驟S34)。
[0176] 如以上說明的那樣，本發明所涉及的圖像處理方法具備以下步驟：取得由光瞳分割方式的攝像而生成的視點不同的多個視點圖像；算出多個視點圖像的視點圖像間的第一視差量；及將視差校正信息預先存儲于存儲器48,該視差校正信息表示第一視差量與由光瞳分割方式的攝像引起的多個視點圖像的視點圖像間的所對應的實際的物體圖像的視差方向上的偏離量的關系，基于第一視差量和存儲于存儲器48的視差校正信息來算出對第一視差量校正了與實際的物體圖像的視差方向上的偏離量相應的量后的第二視差量。
[0177] 另外，在圖21以及圖22中，為了使得本發明的理解容易，示出了到求算散焦量為止的流程，但實際上，還進行如下處理：基于算出的散焦量，使攝影光學系統11的聚焦透鏡沿攝影光學系統11的光軸方向移動，從而使聚焦透鏡與目標被攝體對焦的處理。
[0178] 以上，以立體攝像裝置（數碼照相機）10為例說明了便攜式電子設備，但是便攜式電子設備的結構不限于此。作為適用本發明的其他便攜式電子設備，例如，可列舉內置型或外置型的PC用照相機或者如以下所說明的那樣的具有攝影功能的移動終端裝置。
[0179] 作為本發明所涉及的便攜式電子設備的第二實施方式的移動終端裝置，例如，可列舉移動電話、智能手機、PDA (Personal Digital Assistants :個人數字助理）、便攜式游戲機。以下，將智能手機列舉為例，參照附圖，詳細地進行說明。
[0180] <智能手機的結構>
[0181] 圖23是對作為本發明所涉及的便攜式電子設備的其他實施方式的智能手機500 的外觀進行表示的圖。圖23所示的智能手機500具有平板狀的殼體502,并在殼體502的一側的面上具備顯不輸入部520,該顯不輸入部520是作為顯不部的顯不面板521與作為輸入部的操作面板522成為一體而成的。另外，殼體502具備揚聲器531、麥克風532、操作部 540和照相機部541。另外，殼體502的結構不限于此，例如，也能夠采用顯示部和輸入部獨立而成的結構，或者采用具有折疊結構、滑動機構的結構。
[0182] 圖24是對圖23所示的智能手機500的結構進行表示的框圖。如圖24所示，作為智能手機的主要的結構要素，具備無線通信部510、顯示輸入部520、通話部530、操作部 540、照相機部541、存儲部550、外部輸入輸出部560、GPS (Global Positioning System :全球定位系統）接收部570、運動傳感器部580、電源部590和主控制部501。另外，作為智能手機500的主要的功能，具備經由基站裝置BS和移動通信網NW進行移動無線通信的無線通信功能。
[0183] 無線通信部510根據主控制部501的指示而對收納于移動通信網NW的基站裝置 BS進行無線通信。使用該無線通信，進行聲音數據、圖像數據等各種文件數據、電子郵件數據等的收發、Web數據、流數據等的接收。
[0184] 顯示輸入部520是通過主控制部501的控制對圖像（靜止圖像以及動態圖像）、文字信息等進行顯示而視覺地向用戶傳遞信息并檢測對所顯示的信息的用戶操作的所謂操作面板，具備顯示面板521和操作面板522。
[0185] 顯不面板 521 使用 LCD (Liquid Crystal Display :液晶顯不器）、OELD (Organic Electro-Luminescence Display:有機發光顯示器）等作為顯示設備。操作面板522是載置成能夠對在顯示面板521的顯示面上顯示的圖像進行目視確認且對由用戶的手指、尖筆操作的一或多個坐標進行檢測的設備。當通過用戶的手指、尖筆來操作該設備時，因操作而產生的檢測信號向主控制部501輸出。接下來，主控制部501基于所接收的檢測信號而對顯示面板521上的操作位置（坐標）進行檢測。
[0186] 如圖23所示，智能手機500的顯示面板521和操作面板522成為一體而構成顯示輸入部520,但是成為操作面板522完全覆蓋顯示面板521那樣的配置。在采用該配置的情況下，操作面板522也可以具備對顯示面板521以外的區域也檢測用戶操作的功能。換言之，操作面板522也可以具備對于與顯示面板521重疊的重疊部分的檢測區域（以下，稱作顯示區域）和對于除此以外的未與顯示面板521重疊的外緣部分的檢測區域（以下，稱作非顯示區域）。
[0187] 另外，也可以使顯示區域的大小和顯示面板521的大小完全一致，但是沒有必要必須使兩者一致。另外，操作面板522也可以具備外緣部分和除此以外的內側部分這兩個感應區域。而且，對應于殼體502的大小等而適當設計外緣部分的寬度。而且，作為在操作面板522采用的位置檢測方式，列舉矩陣開關方式、電阻膜方式、表面彈性波方式、紅外線方式、電磁感應方式、靜電電容方式等，也能夠采用任一個方式。
[0188] 通話部530具備揚聲器531、麥克風532,將通過麥克風532輸入的用戶的聲音轉換為能夠由主控制部501處理的聲音數據并向主控制部501輸出，或者對由無線通信部510 或外部輸入輸出部560所接收到的聲音數據進行解碼而從揚聲器531輸出。另外，如圖23 所示，也可以例如將揚聲器531搭載于與設有顯示輸入部520的面相同的面。另外，能夠將麥克風532搭載于殼體502的側面。
[0189] 操作部540是使用了鍵開關等的硬件鍵，接收來自用戶的指示。例如，如圖23所示，操作部540是如下的按鈕式的開關：搭載于智能手機500的殼體502的顯示部的下部、下側面，當由手指等按下時接通，當松開手指時利用彈簧等的回復力而成為斷開狀態。
[0190] 存儲部550存儲主控制部501的控制程序、控制數據、應用軟件、將通信對方的名稱、電話號碼等建立對應而成的地址數據、所收發的電子郵件的數據、利用Web瀏覽下載到的Web數據、下載到的內容數據，另外臨時地存儲流數據等。另外，存儲部550由智能手機內置的內部存儲部551和裝拆自如的具有外部存儲器插槽的外部存儲部552構成。另外，構成存儲部550的各個內部存儲部551和外部存儲部552使用閃存式（flash memory type)、硬盤式（hard disk type)、微型多媒體卡式（multimedia card micro type)、卡式的存儲器（例如，Micro SD (注冊商標）存儲器等）、RAM (Random Access Memory :隨機存取存儲器）、ROM (Read ony Memory :只讀存儲器）等存儲介質而實現。
[0191] 外部輸入輸出部560起到與連接于智能手機500的所有的外部設備的接口的作用，用于通過通信等（例如，通用串行總線（USB)、IEEE1394等）或網絡（例如，因特網、無線 LAN、藍牙（Bluetooth(注冊商標））、RFID(Radio Frequency Identification:無線射頻識別）、紅外線通信（Infrared Data Association(紅外數據協會）：IrDA)(注冊商標）、 UWB (Ultra Wideband:超寬帶）（注冊商標）、紫蜂（ZigBee)(注冊商標）等）而與其他外部設備直接地或間接地連接。
[0192] 作為與智能手機500連接的外部設備，例如有：有/無線頭戴式耳機、有/無線外部充電器、有/無線數據端口、經由卡插座連接的存儲卡（Memory card)、SIM(Subscriber Identity Module Card:客戶識別模塊卡）/UIM(User Identity Module Card:用戶識別模塊卡）卡、經由音頻/視頻I/〇(Input/Output :輸入/輸出）端子而連接的外部音頻/視頻設備、無線連接的外部音頻/視頻設備，有/無線連接的智能手機、有/無線連接的個人計算機、有/無線連接的PDA、有/無線連接的個人計算機、耳機等。外部輸入輸出部560能夠將從這樣的外部設備接收了傳送后的數據傳遞給智能手機500的內部的各結構要素、將智能手機500的內部的數據傳送給外部設備。
[0193] GPS接收部570根據主控制部501的指示而接收從GPS衛星ST1?STn發送的 GPS信號，執行基于所接收的多個GPS信號的測位運算處理，對該智能手機500的由緯度、經度、高度構成的位置進行檢測。GPS接收部570在能夠從無線通信部510、外部輸入輸出部 560 (例如，無線LAN)取得位置信息時，也能夠使用該位置信息來對位置進行檢測。
[0194] 運動傳感器部580例如具備三軸加速度傳感器等，根據主控制部501的指示，對智能手機500的物理性移動進行檢測。通過對智能手機500的物理性移動進行檢測，檢測智能手機500移動的方向、加速度。該檢測結果向主控制部501輸出。
[0195] 電源部590根據主控制部501的指示，向智能手機500的各部供給存儲于蓄電池 (未圖示）的電力。
[0196] 主控制部501具備微處理器，根據存儲部550所存儲的控制程序、控制數據而進行動作，對智能手機500的各部統一地進行控制。另外，主控制部501為了通過無線通信部510 進行聲音通信、數據通信而具備對通信系統的各部進行控制的移動通信控制功能和應用處理功能。
[0197] 應用處理功能通過主控制部501根據存儲部550所存儲的應用軟件進行動作而實現。作為應用處理功能，例如有對外部輸入輸出部560進行控制而進行與相向設備進行數據通信的紅外線通信功能、進行電子郵件的收發的電子郵件功能、閱覽網頁的Web瀏覽功能等。
[0198] 另外，主控制部501具備基于接收數據、所下載的流數據等的圖像數據（靜止圖像、動態圖像的數據）而在顯示輸入部520顯示影像等的圖像處理功能。圖像處理功能是指，主控制部501對上述圖像數據進行解碼，對該解碼結果實施圖像處理，而在顯示輸入部 520顯示圖像的功能。
[0199] 而且，主控制部501執行對于顯示面板521的顯示控制和對通過操作部540、操作面板522進行的用戶操作進行檢測的操作檢測控制。
[0200] 通過執行顯示控制，主控制部501顯示用于啟動應用軟件的圖標、滾動條等軟件鍵，或者顯示用于創建電子郵件的窗口。另外，滾動條是指用于對未完全收納于顯示面板 521的顯示區域的較大的圖像等接收使圖像的顯示部分移動的指示的軟件鍵。
[0201] 另外，通過執行操作檢測控制，主控制部501對通過操作部540進行的用戶操作進行檢測，或者通過操作面板522接收對于上述圖標的操作、對于上述窗口的輸入欄的文字列的輸入，或者接收通過滾動條進行的顯示圖像的滾動請求。
[0202] 而且，通過執行操作檢測控制，主控制部501具備如下的操作面板控制功能：判定對于操作面板522的操作位置是與顯示面板521重疊的重疊部分（顯示區域）還是除此以外的未與顯示面板521重疊的外緣部分（非顯示區域），并對操作面板522的感應區域、軟件鍵的顯示位置進行控制。
[0203] 另外，主控制部501也能夠檢測對于操作面板522的手勢操作，根據所檢測出的手勢操作，執行預先設定的功能。手勢操作并非以往的單純的觸摸操作，而是指通過手指等來描繪軌跡或者同時指定多個位置，或者將這些組合，而從多個位置對于至少一個位置描繪軌跡的操作。
[0204] 照相機部 541 是利用 CMOS (Complementary Metal Oxide Semiconductor :互補金屬氧化物半導體）、CCD (Charge-Coupled Device:電荷稱合元件）等攝像元件而進行電子攝影的數碼照相機。另外，照相機部541能夠通過主控制部501的控制，將通過攝像得到的圖像數據轉換為例如JPEG (Joint Photographic coding Experts Group :聯合圖像專家小組）等壓縮后的圖像數據，并存儲于存儲部550,或通過外部輸入輸出部560、無線通信部 510而輸出。在圖23所示的智能手機500中，照相機部541搭載于與顯示輸入部520相同的面，但是照相機部541的搭載位置不限于此，也可以搭載于顯示輸入部520的背面，或者，也可以搭載多個照相機部541。另外，在搭載有多個照相機部541的情況下，能夠對用于攝影的照相機部541進行切換而單獨地進行攝影，或者也能夠同時使用多個照相機部541來進行攝影。
[0205] 另外，照相機部541能夠用于智能手機500的各種功能。例如，能夠在顯示面板 521顯示由照相機部541取得到的圖像、作為操作面板522的操作輸入之一利用照相機部 541的圖像。另外，在GPS接收部570對位置進行檢測時，也能夠參照來自照相機部541的圖像而對位置進行檢測。而且，也能夠參照來自照相機部541的圖像，不使用三軸加速度傳感器，或者與三軸加速度傳感器并用，而對智能手機500的照相機部541的光軸方向進行判斷、對當前的使用環境進行判斷。當然，也能夠在應用軟件內利用來自照相機部541的圖像。
[0206] 除此之外，也能夠在靜止圖像或動畫的圖像數據中附加由GPS接收部570取得到的位置信息、由麥克風532取得到的聲音信息（也可以利用主控制部等進行聲音文本轉換而成為文本信息）、由運動傳感器部580取得到的姿勢信息等而記錄于存儲部550,或通過外部輸入輸出部560、無線通信部510而輸出。
[0207] 另外，本發明不限于本說明書中所說明的例子、附圖所圖示的例子，也可以在不脫離本發明的要旨的范圍內進行各種設計變更、改良，這是不言而喻的。
[0208] 附圖標記說明
[0209] 10…立體攝像裝置（圖像處理裝置）12…攝影鏡頭16…攝像元件30···ΙΧ? 40…CPU 40a…視差計算單元40b…視差校正單元40c…視差增強單元42…AF處理部48…存儲器500…智能手機
【權利要求】
1. 一種圖像處理裝置，具備：圖像獲取單元，取得由光瞳分割的攝像而生成的視點不同的多個視點圖像；第一視差量計算單元，算出所述多個視點圖像的視點圖像間的第一視差量；存儲單元，存儲有視差校正信息，所述視差校正信息表示所述第一視差量與由所述光瞳分割的攝像引起的所述多個視點圖像的視點圖像間的所對應的物體圖像的視差方向上的偏離量之間的關系；及第二視差量計算單元，基于所述第一視差量和存儲于所述存儲單元的視差校正信息，算出對所述第一視差量校正了與所述物體圖像的視差方向上的偏離量相應的量后的第二視差量。
2. 根據權利要求1所述的圖像處理裝置，其中，所述物體圖像的視差方向上的偏離量是所述多個視點圖像的視點圖像間的、所述物體圖像的像素值的峰位置的偏離量，所述第二視差量計算單元算出對所述第一視差量校正了與所述物體圖像的像素值的峰位置的偏離量相應的量后的第二視差量。
3. 根據權利要求1或2所述的圖像處理裝置，其中，所述第一視差量計算單元利用相關性算出所述第一視差量。
4. 根據權利要求1?3中任一項所述的圖像處理裝置，其中，所述多個視點圖像由具有排列有多個光電轉換元件的攝像面的攝像元件以光瞳分割來進行攝像，所述存儲單元對應所述攝像元件的所述攝像面中的不同的每個位置而存儲所述視差校正信息，所述第二視差量計算單元從所述存儲單元取得與所述多個視點圖像內的位置對應的、所述攝像元件的所述攝像面的每個位置的所述視差校正信息，基于該取得的視差校正信息來算出所述第二視差量。
5. 根據權利要求1?4中任一項所述的圖像處理裝置，其中，所述存儲單元對應所述視點圖像的像素的每個彩色信道而存儲所述視差校正信息，所述第二視差量計算單元取得存儲于所述存儲單元的每個所述彩色信道的所述視差校正信息，并基于該取得的視差校正信息，對應每個所述彩色信道算出所述第二視差量。
6. 根據權利要求1?4中任一項所述的圖像處理裝置，其中，所述多個視點圖像由包含綠色的像素在內的多個顏色的像素構成，所述存儲單元存儲與所述綠色的像素對應的所述視差校正信息，所述第二視差量計算單元基于存儲于所述存儲單元的與所述綠色的像素對應的所述視差校正信息而取得與所述綠色的像素對應的所述視差校正信息，基于該取得的視差校正信息，算出所述多個視點圖像的所述綠色的像素以及所述綠色的像素以外的像素中的所述第二視差量。
7. 根據權利要求1?6中任一項所述的圖像處理裝置，其中，所述多個視點圖像使用光圈值能夠變化的攝影光學系統來進行攝像，所述存儲單元對應所述攝影光學系統的每個光圈值而存儲所述視差校正信息，所述第二視差量計算單元將使用所述攝影光學系統拍攝了所述多個視點圖像時的所述光圈值作為參數而取得所述視差校正信息，并基于該取得的視差校正信息來算出所述第二視差量。
8. 根據權利要求1?7中任一項所述的圖像處理裝置，其中，具備使由所述第二視差量計算單元算出的所述多個視點圖像的所述第二視差量增加的視差增強單元。
9. 根據權利要求1?8中任一項所述的圖像處理裝置，其中，具備多視點圖像生成單元，所述多視點圖像生成單元基于由所述第二視差量計算單元算出的所述第二視差量，生成視點數量與由所述圖像獲取單元取得的所述多個視點圖像不同的多視點圖像。
10. 根據權利要求1?9中任一項所述的圖像處理裝置，其中，所述第一視差量計算單元通過在所述視點圖像間進行塊匹配而以預定的像素單位或者子像素單位算出表示一致程度的評價值，將所述評價值為最小的位置彼此的偏離量作為所述第一視差量。
11. 根據權利要求10所述的圖像處理裝置，其中，所述第一視差量計算單元通過求算所述視點圖像間的像素值之差的平方和或所述視點圖像間的像素值之差的總和而算出所述評價值。
12. 根據權利要求1?11中任一項所述的圖像處理裝置，其中，所述存儲單元將所述視差校正信息作為查找表或者計算式而存儲。
13. -種攝像裝置，具備：權利要求1?12中任一項所述的圖像處理裝置；及進行光瞳分割方式的攝像的攝像單元。
14. 根據權利要求13所述的攝像裝置，其中，所述攝像單元具有包含聚焦透鏡的攝影光學系統，所述攝像裝置具備自動對焦處理單元，所述自動對焦處理單元基于由所述第二視差量計算單元算出的第二視差量，進行調節所述攝影光學系統的聚焦透鏡的位置的控制。
15. -種圖像處理方法，具備以下步驟：取得由光瞳分割的攝像而生成的視點不同的多個視點圖像；算出所述多個視點圖像的視點圖像間的第一視差量；及將視差校正信息預先存儲于存儲單元，所述視差校正信息表示所述第一視差量與由所述光瞳分割的攝像引起的所述多個視點圖像的視點圖像間的所對應的物體圖像的視差方向上的偏離量之間的關系，基于所述第一視差量和存儲于所述存儲單元的視差校正信息來算出對所述第一視差量校正了與所述物體圖像的視差方向上的偏離量相應的量后的第二視差量。
【文檔編號】G02B7/28GK104221370SQ201380018241
【公開日】2014年12月17日申請日期:2013年3月28日優先權日:2012年3月29日
【發明者】井澤克俊申請人:富士膠片株式會社

完整全部詳細技術資料下載