本發明涉及攝像元件的缺陷像素檢測。

背景技術：

提出了如下的攝像設備：為了檢測攝像元素內的缺陷像素，使用與目標像素鄰接的像素的信息來進行缺陷像素檢測。在日本特開2010-130236中，公開了使用相同顏色的兩個或更多鄰接像素的信息來進行缺陷像素檢測的技術。在日本特開2011-97542中，公開了使用相同顏色的像素和不同顏色的像素的信息來進行缺陷像素檢測的技術。

然而，由于陰影的影響，導致在圖像信號穿過攝像光學系統以到達攝像元件并且光電傳感器接收該圖像信號的光的情況下的圖像信號的輸出值不太可能是均勻的值。也就是說，由于陰影的發生導致亮度根據光電傳感器的光接收區域而改變，因此難以適當地進行攝像元件的缺陷像素檢測。

技術實現要素：

本發明提供一種用于即使在發生了陰影的情況下也精確地進行缺陷像素檢測的技術。

根據本發明的實施例的裝置是一種圖像處理裝置，其用于獲取多個像素的輸出值并對圖像信號進行處理，所述圖像處理裝置包括：獲取部件，用于從像素獲取第一輸出值，并且獲取從所述像素的鄰接像素所確定出的第二輸出值；以及檢測部件，用于通過根據所述第一輸出值和所述第二輸出值計算所述像素的評價值并將所述評價值與閾值相比較，來進行缺陷像素檢測，其中，所述檢測部件使用所述第二輸出值以及根據所述第一輸出值和所述第二輸出值所求出的第一評價值來計算第二評價值，并且在所述第二評價值大于所述閾值的情況下將所述像素檢測為缺陷像素。

一種圖像處理裝置，用于獲取多個像素的輸出值并對圖像信號進行處理，所述圖像處理裝置包括：獲取部件，用于從像素獲取第一輸出值，并且獲取從所述像素的鄰接像素所確定出的第二輸出值；檢測部件，用于通過根據所述第一輸出值和所述第二輸出值計算所述像素的第一評價值并將根據所述第一評價值和所述第二輸出值所計算出的第二評價值與閾值相比較，來進行缺陷像素檢測；像素校正部件，用于對所述檢測部件所檢測到的缺陷像素的像素信號進行校正；以及陰影校正部件，用于使用所述像素校正部件校正后的像素信號來進行陰影校正。

一種圖像處理裝置要執行的控制方法，所述圖像處理裝置用于獲取多個像素的輸出值并對圖像信號進行處理，所述控制方法包括以下步驟：從像素獲取第一輸出值，并且獲取從所述像素的鄰接像素所確定出的第二輸出值；以及檢測步驟，用于利用檢測部件，通過根據所述第一輸出值和所述第二輸出值計算所述像素的評價值并將所述評價值與閾值相比較來進行缺陷像素檢測，其中，所述檢測步驟包括：利用所述檢測部件，使用所述第二輸出值以及根據所述第一輸出值和所述第二輸出值所求出的第一評價值來計算第二評價值，并且在所述第二評價值大于所述閾值的情況下將所述像素檢測為缺陷像素。

一種圖像處理裝置要執行的控制方法，所述圖像處理裝置用于獲取多個像素的輸出值并對圖像信號進行處理，所述控制方法包括以下步驟：從像素獲取第一輸出值，并且獲取從所述像素的鄰接像素所確定出的第二輸出值；利用檢測部件，通過根據所述第一輸出值和所述第二輸出值計算所述像素的第一評價值并將根據所述第一評價值和所述第二輸出值所計算出的第二評價值與閾值相比較，來進行缺陷像素檢測；利用像素校正部件來對所檢測到的缺陷像素的像素信號進行校正；以及利用陰影校正部件，使用所述像素校正部件校正后的像素信號來進行陰影校正。

通過以下參考附圖對典型實施例的說明，本發明的其它特征將變得明顯。

附圖說明

圖1是本發明的實施例中的攝像設備的示意結構圖。

圖2是本發明的實施例中的像素陣列的示意圖。

圖3a和3b是本發明的實施例中的像素的示意性平面圖以及示意性截面圖。

圖4是本發明的實施例中的像素和光瞳分割的示意性說明圖。

圖5是本發明的實施例中的攝像像素和光瞳分割的示意性說明圖。

圖6a和6b是本發明的實施例中的視差圖像的陰影的說明圖。

圖7a和7b是本發明的實施例中的缺陷像素檢測的說明圖。

圖8a和8b是本發明的實施例中的從缺陷像素檢測到圖像顯示的流程圖。

具體實施方式

以下將參考附圖來詳細說明本發明的典型實施例。在實施例中，將說明根據本發明的圖像處理裝置被應用于諸如數字照相機等的攝像設備的示例，但是本發明可以廣泛地應用于執行以下圖像處理的信息處理裝置和電子裝置等。

圖1是示出根據本發明實施例的包括攝像元件的攝像設備的結構的示例的框圖。配置在攝像光學系統(成像光學系統)的前端的第一透鏡組101利用鏡筒以在光軸方向上能夠前后移動的方式被保持。光圈-快門102通過調節其開口直徑來調節攝像期間的光量，并且還用作在靜止圖像拍攝期間的曝光時間調節用快門。光圈-快門102與第二透鏡組103一起在光軸方向上前后移動，并且與第一透鏡組101的前/后移動連動地提供變倍效果(變焦功能)。第三透鏡組105是用于通過在光軸方向上前/后移動來進行焦點調節的調焦透鏡。光學低通濾波器106是用于減少所拍攝圖像的偽色和摩爾紋的光學元件。攝像元件107例如包括二維互補金屬氧化物半導體(cmos)光電傳感器和外圍電路，并且配置在攝像光學系統的圖像形成面中。

變焦致動器111通過轉動凸輪筒(未示出)以在光軸方向上移動第一透鏡組101和第二透鏡組103，來進行變倍操作。光圈-快門致動器112控制光圈-快門102的開口直徑以調節攝像用的光量，并且控制靜止圖像拍攝期間的曝光時間。調焦致動器114在光軸方向上移動第三透鏡組105以調節焦點。

在攝像期間使用用于照射被攝體的電子閃光燈115。使用了利用氙管的閃光燈照明裝置或具有連續閃光發光二極管(led)的照明裝置。自動調焦(af)輔助光源116經由投影透鏡將具有預定開口圖案的掩模的圖像投影在被攝體視場上。由此，提高了低亮度被攝體或低對比度被攝體的焦點檢測能力。構成照相機本體單元的控制單元的中央處理單元(cpu)121具有以各種方式控制照相機主單元的控制中心功能。cpu121包括計算單元、只讀存儲器(rom)、隨機存取存儲器(ram)、模擬至數字(a/d)轉換器、數字至模擬(d/a)轉換器和通信接口電路等。根據rom中所存儲的預定程序，cpu121驅動照相機中的各種類型的電路，并且執行諸如af控制、攝像處理、圖像處理和記錄處理等的一系列操作。cpu121進行對本實施例的缺陷像素檢測、缺陷像素校正和陰影校正的控制。

電子閃光燈控制電路122根據cpu121的控制命令，與攝像操作同步地控制電子閃光燈115的on(接通)操作。輔助光源驅動電路123根據cpu121的控制命令，與焦點檢測操作同步地控制af輔助光源116的on操作。攝像元件驅動電路124控制攝像元件107的攝像操作，并且根據a/d轉換對所獲取到的攝像信號進行轉換以將轉換后的攝像信號發送至cpu121。圖像處理電路125根據cpu121的控制命令對攝像元件107所獲取到的圖像進行諸如伽馬轉換、顏色插值和聯合圖像專家小組(jpeg)壓縮等的處理。圖像處理電路125進行用于生成攝像元件107所獲取到的所拍攝圖像或視差圖像的處理。針對所拍攝圖像的圖像信號進行記錄處理或顯示處理。此外，在焦點檢測、視點改變處理、立體顯示、再聚焦處理和重影(ghost)去除處理等中使用視差圖像。

調焦驅動電路126根據cpu121的控制命令、基于焦點檢測結果來驅動調焦致動器114，并且在光軸方向上移動第三透鏡組105，由此調節焦點。光圈-快門驅動電路128根據cpu121的控制命令，驅動光圈-快門致動器112以控制光圈-快門102的開口直徑。變焦驅動電路129根據cpu121的控制命令，響應于用戶的變焦操作指示來驅動變焦致動器111。

顯示單元131具有諸如液晶顯示器(lcd)等的顯示裝置，并且顯示與照相機的攝像模式有關的信息、攝像之前的預覽圖像、攝像之后的確認圖像以及焦點檢測期間的聚焦狀態顯示圖像等。作為操作開關，操作開關組132包括電源開關、釋放(攝像觸發器)開關、變焦操作開關和攝像模式選擇開關等，并將操作指示信號輸出至cpu121。閃速存儲器133是相對于照相機本體單元可拆卸的記錄介質，并且記錄所拍攝圖像數據等。

接著，將參考圖2來說明本實施例中的攝像元件的像素陣列。圖2是示出本實施例中的攝像元件的像素單元和子像素的陣列的示意圖。將圖2的左右方向定義為x軸方向，將上下方向定義為y軸方向，并且將與x軸方向和y軸方向正交的方向(與紙面垂直的方向)定義為z軸方向。采用4列×4行的范圍來示出二維cmos傳感器(攝像元件)的攝像像素陣列的示例，并且采用8列×4行的范圍來示出焦點檢測像素陣列的示例。攝像像素是用于輸出像素信號的攝像像素，并且包括對像素進行分割而得到的多個子像素。在本實施例中，示出在預定方向上將像素分割而得到的兩個子像素的示例。

2列×2行的像素組200包括像素200r、200g和200b作為一組。像素200r(參見左上位置)是具有紅色(r)的光譜靈敏度的像素，并且像素200g(參見右上位置和左下位置)是具有綠色(g)的光譜靈敏度的像素。像素200b(參見右下位置)是具有藍色(b)的光譜靈敏度的像素。此外，各像素包括采用2列×1行排列的第一子像素201和第二子像素202。各子像素具有用于輸出焦點檢測信號的焦點檢測像素的功能。在圖2所示的示例中，可以通過在平面上排列大量的4列×4行的像素(8列×4行的子像素)來獲取拍攝圖像信號和焦點檢測信號。在攝像元件中，假定像素周期p是4微米(μm)，并且假定像素數量n約為20750000(＝5575列×3725行)。此外，假定焦點檢測像素的陣列方向周期ps是2μm，并且假定子像素的數量ns約為41500000(＝11150列×3725行)。

圖3a示出在從攝像元件的光接收面側(+z側)觀看時圖2所示的攝像元件中的一個像素200g的平面圖。將z軸設置在與圖3a的紙面垂直的方向上，并且將近側定義為z軸的正方向。此外，通過將y軸設置在與z軸正交的上下方向上來將向上方向定義為y軸的正方向，并且通過將x軸設置在與y軸正交的左右方向上來將向右方向定義為x軸的正方向。圖3b示出沿著圖3a的a-a線、從-y側觀看像素時的截面圖。像素200g具有用于將入射光會聚在各像素的光接收面側(+z方向)上的微透鏡305，并且包括分割的多個光電轉換單元。例如，x方向上的分割數由nh表示，并且y方向上的分割數由nv表示。在圖3a和3b中，示出在水平方向上將光瞳區域分割成兩部分的示例、即nh＝2并且nv＝1的示例，并且形成用作子像素的光電轉換單元301和302。光電轉換單元301與作為第一焦點檢測像素的第一子像素201相對應，并且光電轉換單元302與作為第二焦點檢測像素的第二子像素202相對應。

光電轉換單元301和302可以被形成為例如具有在p型層和n型之間夾持有本征層的pin結構的光電二極管，或者根據需要可以被形成為省去本征層的p-n結光電二極管。在各像素中，在微透鏡305與光電轉換單元301和302之間形成有顏色濾波器306。根據需要，可以針對各子像素改變顏色濾波器306的分光透過率，或者可以省去顏色濾波器。

在入射在像素200g上的光被微透鏡305會聚、并且進一步被顏色濾波器306分光之后，該光被光電轉換單元301和302各自接收。在光電轉換單元301和302中，根據光量產生電子-空穴對，并且在電子-空穴對被耗盡層分離之后，具有負電荷的電子累積在n型層(未示出)中。另一方面，空穴經由連接至恒壓源(未示出)的p型層而排出至攝像元件的外部。光電轉換單元301和302的n型層(未示出)中所累積的電子經由傳輸門而傳輸至靜電電容單元(fd)，并且被轉換成電壓信號。

圖4是示出像素結構和光瞳分割之間的對應關系的示意性說明圖。在圖4中，示出了從+y方向觀看沿著圖3a所示的像素結構的a-a線所截取的切割面時的截面圖以及從-z方向觀看時的成像光學系統的出射光瞳面(參見出射光瞳400)的圖。在圖4中，在像素結構的截面圖中，示出通過將圖3所示的狀態反轉所獲得的x軸和y軸，以與出射光瞳面的坐標軸相對應。

通常將與第一子像素201相對應的第一光瞳部分區域501設置為相對于重心偏向-x方向的光電轉換單元301的光接收面經由微透鏡305而具有共軛關系。也就是說，第一光瞳部分區域501表示能夠由第一子像素201進行受光的光瞳區域，并且在光瞳面上具有偏向+x方向的重心。另外，通常將與第二子像素202相對應的第二光瞳部分區域502設置為相對于重心偏向+x方向的光電轉換單元302的光接收面經由微透鏡305而具有共軛關系。第二光瞳部分區域502表示能夠由第二子像素202進行受光的光瞳區域，并且在光瞳面上具有偏向-x方向的重心。另外，圖4所示的區域500是在對光電轉換單元301和光電轉換單元302(即，第一子像素201和第二子像素202)進行組合的情況下能夠通過整個像素200g進行受光的光瞳區域。

入射光通過微透鏡而會聚在焦點位置。然而，由于光的波動性導致的衍射的影響，因此光會聚點的直徑可能不會小于衍射極限δ，并且具有有限的大小。在光電轉換單元的光接收面尺寸約為1～2μm的情況下，微透鏡的光會聚點尺寸約為1μm。因而，經由微透鏡與光電轉換單元的光接收面具有共軛關系的圖4的第一光瞳部分區域501和第二光瞳部分區域502由于衍射模糊而導致無法進行清楚的分割，并且具有光接收率分布(光瞳強度分布)。

圖5的示意圖中示出攝像元件和光瞳分割之間的對應關系。穿過被稱為第一光瞳部分區域501和第二光瞳部分區域502的不同光瞳部分區域的光束以不同角度入射在攝像元件的像素上。采用nh(＝2)×nv(＝1)分割的第一子像素201的光電轉換單元301和第二子像素202的光電轉換單元302各自接收入射光以進行光電轉換。在本實施例中已經說明了在水平方向上將光瞳區域分割成兩部分的示例，但是根據需要可以將光瞳在垂直方向上進行分割。

如上所述，本實施例的攝像元件具有排列有多個像素單元的結構，其中，多個像素單元各自具有用于接收穿過成像光學系統的不同光瞳部分區域的光束的多個子像素。例如，針對攝像元件的各像素，將子像素201和子像素202的信號相加并讀取，以使得cpu121和圖像處理電路125生成具有有效像素數的分辨率的所拍攝圖像。在這種情況下，通過針對各像素對多個子像素的受光信號進行合成來生成所拍攝圖像。此外，在另一方法中，通過收集攝像元件的各像素單元的子像素201的受光信號來生成第一視差圖像。通過從所拍攝圖像中減去第一視差圖像來生成第二視差圖像。根據需要，cpu121和圖像處理電路125通過收集攝像元件的各像素單元的子像素201的受光信號來生成第一視差圖像，并且通過收集各像素單元的子像素202的受光信號來生成第二視差圖像。針對不同光瞳部分區域中的各光瞳部分區域，可以根據子像素的受光信號來生成一個或多個視差圖像。

視差圖像是具有與所拍攝圖像的視點不同的視點的圖像，進行以下要說明的陰影校正，并且可以同時獲取多個視點處的圖像。在本實施例中，所拍攝圖像、第一視差圖像和第二視差圖像各自是拜爾陣列的圖像。根據需要，可以對拜爾陣列的所拍攝圖像、第一視差圖像和第二視差圖像進行去馬賽克處理。

以下將參考圖6a和6b來說明陰影。圖6a和6b是視差圖像的陰影的產生原理和陰影的說明圖。以下將從攝像元件的各像素單元中的第一光電轉換單元所獲取到的圖像信號指定為圖像信號a，并且將從第二光電轉換單元所獲取到的圖像信號指定為圖像信號b。圖6a示出圖像信號a的入射角光接收特性601a以及圖像信號b的入射角光接收特性601b。橫軸表示位置坐標x，并且縱軸(z軸)表示光接收靈敏度。圖6a還示出出射光瞳框(出射光瞳形狀)602以及各圖像高度的攝像像素603。+x1的位置在光瞳坐標上與-x2的位置相對應，并且-x1的位置在光瞳坐標上與+x2的位置相對應。圖6b示出表示圖6a的狀態下的圖像信號a的陰影的曲線604a以及表示圖像信號b的陰影的曲線604b。橫軸表示位置坐標x，并且縱軸表示光量。

在圖6a中，具有-x1的圖像高度的攝像像素603經由出射光瞳框602接收來自光瞳坐標上的+x2的位置的光瞳的光。因而，從入射角光接收特性601a和入射角光接收特性601b可以看到，在將圖像信號a和圖像信號b的靈敏度相比較的情況下，圖像信號b與圖像信號a相比具有更高的靈敏度。另一方面，具有+x1的圖像高度的攝像像素603經由出射光瞳框602接收來自光瞳坐標上的-x2的位置的光瞳的光。因而，在將圖像信號a和圖像信號b的靈敏度相比較的情況下，圖像信號a與圖像信號b相比具有更高的靈敏度。由于這個原因，圖6a的狀態下的陰影如圖6b的曲線604a(圖像信號a)和604b(圖像信號b)所指示的那樣產生。由于陰影的特性根據出射光瞳框602的位置或大小而改變，因此如果出射光瞳距離和光圈值改變，則陰影的狀態同樣改變。由于在實際的攝像光學系統發生漸暈，因此由于攝像像素的高度而導致的出射光瞳距離和光圈值的改變根據攝像光學系統而有所不同。因此，為了實現高精度的陰影校正，需要考慮到針對攝像光學系統的各攝像條件的漸暈的影響來進行校正。

在鏡頭可更換型攝像設備的情況下，進行與安裝在攝像設備的主體單元上的鏡頭裝置相對應的陰影校正。也就是說，需要將與鏡頭裝置的攝像光學系統信息相對應的陰影校正值預先存儲在攝像設備的主體單元內，以在圖像記錄期間進行陰影校正。這是為了高速地進行圖像記錄，以使得防止失去攝像設備的連續攝像性能。然而，用于將與針對各鏡頭裝置的攝像光學系統信息相對應的全部陰影校正值存儲在存儲器中的方法需要巨大的數據存儲區域，并且這是不實際的。因此，在圖像獲取之后不需要陰影校正的快速性的圖像再現期間，通過獲取陰影校正所需的數據來進行陰影校正。基于與入射光的利用攝像光學系統的漸暈相關的信息以及與入射光的角度變化相對應的像素的靈敏度特性，可以通過組合這兩者的信息來計算陰影校正時所使用的校正值。

接著，將參考圖7a和7b來說明缺陷像素檢測。圖7a和7b是在進行缺陷像素檢測的情況下用于計算并評價檢測像素的輸出值(第一輸出值)和與該檢測像素鄰接的周圍像素的輸出值(第二輸出值)之間的差值的方法的說明圖。第二輸出值是通過計算第一輸出值、像素的顏色濾波器、所接收到的光束穿過的光瞳區域以及相加像素的數量中的一個或多個作為相同條件來確定的。圖7a示出使用鄰接的5×5個像素的區域來進行缺陷像素檢測的情況。圖7b示出使用鄰接的±3行的區域(7×7個像素的區域)來進行缺陷像素檢測的情況。通過使用整數變量i和j來表示各像素的位置。在圖7a和7b中，通過變量i來表示垂直方向的像素位置，通過變量j來表示水平方向的像素位置，并且通過(i,j)來表示像素位置。

如果像素的輸出值由s來表示，則s包括信號分量styp和噪聲分量n。此外，噪聲分量n包括固定噪聲分量nfixed以及隨機噪聲分量nrandom。因此，輸出值s通過以下表達式(1)來表示。

s＝styp+nfixed+nrandom···(1)

將固定噪聲分量nfixed恒定輸出為固定值的誤差。將隨機噪聲分量nrandom輸出為根據信號分量styp的大小而改變的誤差。如果固定噪聲分量nfixed大，則由于圖像的顏色始終以變化的方式顯現，因此需要在缺陷像素檢測中精確地檢測具有大的固定噪聲分量nfixed的像素。

固定噪聲分量nfixed是如以下表達式(2)所示那樣相對于信號分量styp受(由α表示的)增益所影響的分量，并且進行缺陷像素檢測以主要檢測這種分量。

nfixed＝styp·α···(2)

α：像素變化誤差

另一方面，隨機噪聲分量nrandom是如以下表達式(3)所示那樣與信號分量styp的平方根成比例地基于泊松分布(poissondistribution)而改變的分量。

f(t)：攝像時間t的在±1的范圍內改變的函數

β：傳感器固有值

為了在缺陷像素檢測中通過主要檢測固定噪聲分量nfixed來判斷是否存在缺陷像素，在陰影不可能的條件下進行檢測，并且通過減小隨機噪聲分量nrandom來進行測量。然而，難以移除全部隨機噪聲分量nrandom。因而，進行固定噪聲分量nfixed和隨機噪聲分量nrandom各自的容許值的設置處理，并且基于這兩者之和來確定閾值。

作為缺陷像素檢測的一種一般方法，存在使用通過選擇與作為檢測對象的像素鄰接的周圍像素所獲得的代表值或使用鄰接周圍像素所計算出的代表值與缺陷檢測像素的輸出值之間的差值的方法。由于沒有包括噪聲分量的情況的信號分量實際是未知的，因此使用該代表值作為信號分量。進行以代表值為基準的差值是否能夠被容許的評價處理。

圖7a中的像素位置(i,j)所表示的位置表示進行缺陷像素檢測的對象像素。其輸出值由s(i,j)表示。如果將圖7a所示的區域中的代表值、即5×5個像素的輸出值的中值指定為代表值，則由styp(i,j)來表示。替代中值，可以使用平均值等。代表值的設置方法是任意的。

通常的缺陷像素檢測的評價值(第一評價值)由像素位置(i,j)和攝像時間t的函數e(i,j,t)來表示。像素的輸出值由s(i,j,t)來表示。通過將第一輸出值和第二輸出值之間的差的絕對值除以第二輸出值來計算第一評價值。使用利用預定閾值eerror的以下表達式(4)。

如果將(由sstd表示的)特定標準輸出值的預定閾值由eerror0表示、并且容許變化誤差由α0表示，則根據表達式(4)的預定閾值eerror0變成以下表達式(5)。

在缺陷像素檢測中，如果評價值e超出預定閾值eerror0，則判斷為對象像素是缺陷像素。也就是說，使用以下表達式(6)來進行缺陷像素檢測。

以亮度來對表達式(6)進行標準化。也就是說，評價值e是標準化后的亮度評價值。如果亮度的變化在數％的范圍內，則由于styp(i,j)的變化被認為是非常小的，因此可以精確地進行缺陷像素檢測。然而，r、g和b像素的顏色濾波器的透過率的差異或者圖6所示的陰影的差異未包括在數％的量級上。特別地，如果在存在陰影的影響的狀態下使用表達式(6)，則由于styp(i,j)針對各區域改變，因此難以確保檢測精度。

如果鏡頭可更換型照相機等以各種出射光瞳距離進行攝像，則應當實時進行缺陷像素檢測。在這種情況下，即使產生了如圖6所示那樣的陰影的情況下，也需要針對各圖像區域將檢測精度維持成相同程度。

輸出值已改變的情況下的缺陷像素的條件表達式變成以下表達式(7)。

如果將表達式(7)整體乘以則獲得以下表達式(8)。

如果將表達式(5)代入表達式(8)來進行整理，則給出以下表達式(9)。

如果將表達式(9)和表達式(6)相比較，則可以看出，第一評價值e是使用styp和sstd來校正的，并且與固有噪聲相關聯地添加表達式(9)的右邊的第二項。也就是說，通過將第一評價值與包括第二輸出值和標準輸出值之間的比的平方根的項相乘，來計算第二評價值。表達式(9)的右邊的第二項是貢獻率在styp相對于sstd的改變增大的情況下增大的項。由此，可以根據styp來改變并評價判斷閾值。此外，sstd可以被設置成使得：考慮到所需要的缺陷像素檢測精度和計算規模之間的平衡，在表達式(9)的右邊，必須小于1。以下表達式(10)是表示在styp中假定的最小值styp_min和判斷閾值eerror0*的不等式。在表達式(9)的右邊，可以使用表達式(10)所求出的eerror0*通過固定判斷閾值來進行評價。

在本示例中已經說明了關注于一個像素的缺陷像素檢測，但是同樣的概念還可以適用于圖7b所示的線狀缺陷像素檢測的情況，并且適用范圍不限于圖7b所示的范圍。此外，為了提高標準化的精度和缺陷像素檢測精度，根據缺陷檢測像素和處理條件來設置計算評價值時所使用的代表值styp。處理條件例如是配置在像素上的顏色濾波器、像素所接收到的光束穿過的光瞳部分區域或像素相加等。

在缺陷像素校正處理中，針對缺陷像素檢測所檢測到的像素，使用周圍像素的像素信號、通過雙線性方法或雙三次方法等來進行校正。通過適當地檢測并校正缺陷像素，可以提供高質量的圖像。可以通過預定計算方法來進行缺陷像素校正，而無需使用攝像光學系統的信息。此外，通過在圖像處理裝置內進行硬件處理，與通過外部裝置(pc等)的軟件處理相比，可以更高速地進行缺陷像素校正。因此，在缺陷像素的提取之后，在攝像設備內執行缺陷像素校正處理。

將參考圖8a和8b來說明視差圖像的生成處理。圖8a和8b是示出使用陰影產生時的像素數據來進行圖像生成、圖像記錄和圖像顯示的處理的流程圖。圖8a是示出從攝像到圖像記錄的處理的流程圖。圖8b是示出讀取所記錄的圖像數據并且顯示圖像的處理的流程圖。

如參考圖2所述，通過僅使用子像素數據來生成圖像，可以生成具有與所拍攝圖像的視點不同的視點的視差圖像。然而，如果產生了陰影，則需要按照適當過程來進行缺陷像素檢測、缺陷像素校正和陰影校正，以通過降低陰影的影響來生成高質量圖像。

在圖8a的s801中，進行從攝像元件107的各像素單元的子像素中獲取像素數據的處理。在接著的步驟s802中，cpu121使用上述條件表達式來進行缺陷像素檢測。將所計算出的評價值超過預定判斷閾值的像素檢測為缺陷像素。在s803中，cpu121進行缺陷像素校正。針對s802中所檢測到的缺陷像素，進行使用與缺陷像素鄰接的像素的數據的諸如線性插值等的處理。例如，使用與缺陷像素鄰接的像素的信息，通過雙線性方法或雙三次方法等來進行孤立點處的缺陷像素校正。此外，如果缺陷像素彼此鄰接，則進行鄰接缺陷像素校正。在s804中，cpu121進行用于記錄從包括s803中校正后的像素的各個像素中所獲取到的圖像數據的控制。例如，將視差圖像的圖像信號存儲在裝置內部的存儲器或者外部存儲器中。

在圖8b的s805中，cpu121執行從存儲器讀取像素數據的處理，并且處理移動至s806。在s806中，cpu121獲取陰影校正所需的數據，并且對s805中所獲取到的圖像數據進行陰影校正。在陰影校正中，使用預定的校正值表來校正圖像數據。例如，假定如下情況：圖像處理電路125基于利用攝像元件從針對各像素單元的多個光電轉換單元各自所輸出的像素信號，根據圖像信號a來生成第一視差圖像，并且根據圖像信號b來生成第二視差圖像。在這種情況下，使用與圖像信號a相對應的校正值a和與圖像信號b相對應的校正值b。也就是說，由于陰影校正值在圖像信號a和圖像信號b之間有所不同，因此需要分開使用陰影校正值。此外，由于校正值根據圖像高度而改變，因此分開使用與不同的圖像高度相對應的校正值。此外，由于陰影校正值還根據f值(光圈值)和鏡頭單元的出射光瞳距離而改變，因此使用與f值(光圈值)和出射光瞳距離相對應的校正值。在鏡頭可更換型照相機系統中，根據安裝在照相機本體單元上的鏡頭裝置來選擇陰影校正值。基于根據各種類型的條件所選擇的校正值，來進行視差圖像的陰影校正。在s807中，顯示單元131顯示與s806中進行了陰影校正的圖像信號相對應的圖像。

在本實施例中，可以基于在產生了陰影的情況下所標準化的亮度評價值來適當地進行缺陷像素檢測。因此，可以基于進行了缺陷像素校正和陰影校正的圖像信號來提供高質量圖像。

其它實施例

本發明的實施例還可以通過如下的方法來實現，即，通過網絡或者各種存儲介質將執行上述實施例的功能的軟件(程序)提供給系統或裝置，該系統或裝置的計算機或是中央處理單元(cpu)、微處理單元(mpu)讀出并執行程序的方法。

盡管已經參考典型實施例說明了本發明，但是應該理解，本發明不局限于所公開的典型實施例。所附權利要求書的范圍符合最寬的解釋，以包含所有這類修改、等同結構和功能。

本申請要求2016年3月1日提交的日本專利申請2016-039156的優先權，這里通過引用將其全部內容包含于此。