專利名稱：圖像處理裝置、圖像攝取裝置、圖像處理方法及程序的制作方法
技術領域：
本發明涉及圖像處理裝置、圖像攝取裝置、圖像處理方法及程序。特別地，本發明涉及生成具有高動態范圍(寬動態范圍)的圖像的圖像處理裝置、圖像攝取裝置、圖像處理方法和程序。
背景技術：
在視頻相機或數字靜止相機中使用的諸如CXD圖像傳感器或CMOS (互補金屬氧化物半導體)圖像傳感器之類的固態圖像攝取元件通過蓄積與入射光量一致的電荷并輸出與所蓄積的電荷相對應的電信號來執行光電轉換。然而，可在光電轉換元件中蓄積的電荷量是有限的，因此當已經接收到特定光量時，達到飽和水平，于是導致具有特定明度(brightness)以上的被攝體區域被設定在飽和亮度(luminance)水平,這是稱為“過曝的 高亮處”(blown out highlights)或者“亮度限幅”(clipping)。為了防止亮度限幅，執行處理來與被攝體的亮度等相應地控制光電轉換元件的電荷蓄積時段以調整曝光時間長度并從而使靈敏度最優化。例如，通過使用高快門速度來縮短明亮被攝體的曝光時間長度，從而減少光電轉換元件的電荷蓄積時段并且在所蓄積的電荷量達到飽和水平之前輸出電信號。通過執行這樣的處理，可以輸出為被攝體正確地再現色調的圖像。然而，如果在拍攝存在明亮區域和黑暗區域兩者的被攝體時使用高快門速度，曝光時間長度對于黑暗區域而言將是不足夠的，這將導致S/N比率的惡化以及圖像質量的降低。為了正確地再現包括明亮區域和黑暗區域兩者的被攝體的所拍攝圖像中的明亮區域和黑暗區域的亮度水平，必需針對圖像傳感器上的入射光較少的像素使用長曝光時間以實現聞S/N比率，并針對具有大入射光売的像素執行避免飽和的處理。實現這樣的處理的一種已知方法是以不同的曝光時間長度來連續攝取多個圖像并在隨后組合這些圖像。即，長時間曝光圖像和短時間曝光圖像被單獨并連續地攝取，并且針對黑暗圖像區域使用長時間曝光圖像而針對明亮圖像區域使用短時間曝光圖像的、對于長時間曝光圖像將發生亮度限幅的組合處理被執行來產生單個圖像。以這種方式，通過組合具有不同曝光時間的多個圖像，可以產生具有高動態范圍而不具有亮度限幅的圖像。上述具有高動態范圍的拍攝類型稱為“HDR” (高動態范圍)或“WDR” (寬動態范圍)拍攝。現在將描述用于實現HDR拍攝的數個現有技術。例如，如日本早期公開專利公布Νο·Η02-174470、No. H07-95481 和 No. H11-75118以及 Orly Yadid-Pecht 和 Eric R. Fossum 的 “Wide Intrascene Dynamic Range CMOSAPS Using Dual Sampling，，，IEEE Transactions On Electron Devices, Vol. 44-10,PP. 1721-1723，1997所述，一種生成HDR圖像的方法是攝取具有不同靈敏度的多個圖像，然后組合這些圖像。現在將參考圖I和圖2描述使用這種方法的圖像攝取裝置的配置和處理示例。
經由圖I所示的圖像攝取裝置的鏡頭101輸入到圖像傳感器(圖像攝取元件)102的入射光經歷光電轉換而輸出傳感器圖像103。該傳感器圖像103被存儲在真存儲器104中。在圖像攝取期間，圖像攝取裝置連續地攝取兩個圖像，即，一個通過長時間曝光產生的高靈敏度圖像105和一個通過短時間曝光產生的低靈敏度圖像106，將這兩個圖像存儲在幀存儲器104中，并將這兩個圖像輸入到位于下游的HDR處理單元107。HDR處理單元107對通過長時間曝光產生的高靈敏度圖像105和通過短時間曝光產生的低靈敏度圖像106進行組合以生成單個HDR圖像108。之后，相機信號處理單元109使得HDR圖像108經歷典型相機中所執行的信號處理(例如，白平衡調整、伽馬校正和去馬賽克處理)以生成輸出圖像110。現在將參考圖2描述這樣的處理的處理序列。在圖2中，在從左到右行進的時間軸上示出了下面列出的各種圖像的生成定時。
(a)傳感器圖像103的輸出定時
(b)低靈敏度圖像106的輸出定時(c)高靈敏度圖像105的輸出定時(d)HDR圖像108的輸出定時在時間tl，低靈敏度圖像#1被攝取并被從圖像傳感器102輸出。在時間t2，高靈敏度圖像#2被攝取并被從圖像傳感器102輸出。之后，在t3、t4、...，低靈敏度圖像和高靈敏度圖像被交替攝取。在時間t3，已被攝取的低靈敏度圖像#1和高靈敏度圖像#2被從幀存儲器104輸出到HDR處理單元107，并且通過對這兩個圖像執行組合處理，單個HDR圖像“#1、#2”被生成。之后，在時間t5，已被攝取的低靈敏度圖像#3和高靈敏度圖像#4被從幀存儲器104輸出到HDR處理單元107，并且通過對這兩個圖像執行組合處理，單個HDR圖像“#3、#4”被生成。以這種方式，具有短曝光時間的低靈敏度圖像和具有長曝光時間的聞靈敏度圖像被攝取在交替幀中，圖像被蓄積在幀存儲器中，并且通過信號處理而生成HDR圖像。這種方法的一個問題在于由于在略微不同的定時攝取要進行組合的兩個圖像，所以當被攝體移動時可能產生偽色和雙重圖像。作為另一個問題，由于必須對多個圖像進行組合，所以對于視頻而言，圖像組合之后的幀速率低于傳感器的幀速率。在圖2所示的示例中，由于從兩個圖像生成HDR圖像，所以HDR圖像的幀速率是傳感器幀速率的一半。換一種方式說，為了輸出與先前相同的幀速率的HDR圖像，需要以兩倍的速度來驅動圖像傳感器，這導致了成本增加和/或功耗增加。與上述對兩個所攝取圖像進行組合的方法不同的生成HDR圖像的其他方法具有例如在日本早期公開專利公布No. 2006-253876、日本專利公布No. 2006-542337(日本專利號 No. 4689620)和 Jenwei Gu 等人的 “Coded Rolling Shutter Photography FlexibleSpace-Time Sampling，，, Computational Photography (ICCP), 2010 中所公開的配置。取代使用連續攝取的長時間曝光圖像和短時間曝光圖像，這樣的方法基于單個所攝取圖像來生成HDR圖像。以像素為單位來不同地設定圖像攝取元件的曝光時間的一個示例是通過在單個所攝取圖像中設定長時間曝光像素和短時間曝光像素來執行圖像攝取。包括在這樣的單個所攝取圖像中的長時間曝光像素的像素值和短時間曝光像素的像素值被用于生成單個HDR圖像。現在將參考圖3至圖5來描述使用這種方法的圖像攝取裝置的配置和處理示例。經由圖3所示的圖像攝取裝置的鏡頭111輸入到圖像傳感器(圖像攝取元件)112的入射光經歷光電轉換而輸出傳感器圖像113。圖像傳感器(圖像攝取元件)112的曝光時間根據控制單元(未示出)的控制而被以像素為單位進行控制，以在單個圖像中設定長時間曝光像素和短時間曝光像素。傳感器圖像113被輸入到HDR處理單元114。
HDR處理單元114對單個所攝取圖像中所包括的作為長時間曝光像素的高靈敏度像素和作為短時間曝光像素的低靈敏度像素進行組合以生成單個HDR圖像115。作為一個具體示例，執行如下這樣的像素值組合處理針對作為長時間曝光像素的高靈敏度像素未達到飽和的像素選擇性地使用高靈敏度像素的像素值，并且針對高靈敏度像素達到飽和的像素使用附近的低靈敏度像素的像素值。之后，相機信號處理單元116使得HDR圖像115經歷在典型相機中執行的諸如白平衡調整、伽馬校正和去馬賽克處理之類的信號處理以生成輸出圖像117。注意，例如如圖4所示，在圖像傳感器112上以重復性模式來布置低靈敏度像素和高靈敏度像素。利用這種設定，可以從單個圖像生成HDR圖像，而無需使用兩個圖像。圖5示出了這種處理的序列。在圖5中，在從左到右行進的時間軸上示出了下面所列出的各種圖像的生成定時。(a)傳感器圖像113的輸出定時(b)HDR圖像115的輸出定時在時間tl，傳感器圖像#1被從圖像傳感器112輸出。在時間t2，傳感器圖像#2被從圖像傳感器112輸出。之后，在t3、t4、...，傳感器圖像被順次地輸出。各個傳感器圖像是設定了低靈敏度像素和高靈敏度像素的圖像。傳感器圖像113立即被輸入到HDR處理單元114，并且HDR圖像115幾乎毫無延遲地被生成。作為一個具體示例，信號被以行為單元進行傳送，因此僅生成了與一行的信號相當的延遲。與早先所述的配置不同，這個配置能夠從單個所拍攝圖像幀生成HDR圖像。因此，不再需要例如圖3所示那樣的幀存儲器，并且也不存在幀速率下降。然而，這種方法具有如下問題。例如，在圖像攝取的被攝體是明亮的情況下，單個所攝取圖像中包括的高靈敏度像素將達到飽和，并且將必須僅使用兩個低靈敏度像素來生成圖像。相反，在被攝體是黑暗的情況下，將在低靈敏度像素中包括大量噪聲，并且將必須僅使用高靈敏度像素的像素信息來生成圖像。這樣，存在由于圖像攝取被攝體的狀態而導致無法獲得有效像素信息的情況，結果，存在圖像質量下降的問題，例如由于無法獲得顏色樣本而導致的分辨率下降和/或偽色的產生。

發明內容
本發明的一個實施例旨在提供生成高動態范圍的圖像并且能夠防止幀速率下降和圖像質量下降的圖像處理裝置、圖像攝取裝置、圖像處理方法和程序。本發明的另一個實施例在空間和時間上對圖像傳感器的像素的靈敏度進行控制。這種方案旨在提供對圖像傳感器輸出圖像執行已經考慮了空間和時間周期的信號處理以在沒有幀速率下降或分辨率下降的情況下實現高動態范圍圖像攝取的圖像處理裝置、圖像攝取裝置、圖像處理方法和程序。根據本發明第一實施例，提供了一種圖像處理裝置，其包括HDR(高動態范圍)處理單元，該HDR處理單元輸入在對構成圖像傳感器的像素按預定空間周期和預定時間周期執行改變曝光時間的曝光控制的同時攝取的圖像，并執行圖像處理。HDR處理單元通過對使用連續攝取的多個圖像進行插值處理而生成的具有不同靈敏度的多個圖像的像素值進行組合來生成第一組合圖像，通過對使用單個所攝取圖像進行插值處理而生成的具有不同靈敏度的多個圖像的像素值進行組合來生成第二組合圖像，并且通過根據按照移動檢測信息計算出的混合比率對所述第一組合圖像和所述第二組合圖像執行像素值混合處理來生成HDR (高動態范圍)圖像。
根據本發明的圖像處理裝置的一個實施例，HDR處理單元通過執行針對移動檢測信息表明存在移動的像素位置提高第二組合圖像的混合比率并且針對移動檢測信息表明不存在移動的像素位置提高第一組合圖像的混合比率的像素值混合處理，來生成所述HDR圖像。根據本發明的圖像處理裝置的一個實施例，所述HDR處理單元包括幀間插值處理單元，該幀間插值處理單元通過不經修改地使用連續攝取的多個圖像中存在的不同靈敏度的多個像素來生成不同靈敏度的多個圖像，并且所述HDR處理單元通過對由幀間插值處理單元生成的不同靈敏度的多個圖像的像素值進行組合來生成所述第一組合圖像。根據本發明的圖像處理裝置的一個實施例，圖像處理裝置還包括移動檢測單元和移動補償處理單元，移動檢測單元通過對在不同時間攝取的圖像中的對應像素的像素值進行比較并以像素為單位執行移動檢測來生成所述移動檢測信息，并且移動補償處理單元通過根據按照所述移動檢測信息計算出的混合比率來對所述第一組合圖像和所述第二組合圖像執行像素值混合處理，從而生成HDR圖像。根據本發明的圖像處理裝置的一個實施例，所述移動檢測單元通過基于所述第二組合圖像和第三組合圖像的圖像比較以像素為單位執行移動檢測來生成所述移動檢測信息，所述第二組合圖像是通過對僅使用當前時間圖像進行插值處理而生成的不同靈敏度的多個圖像的像素值進行組合來生成的，所述當前時間圖像是連續攝取的多個圖像中的最新圖像，并且所述第三組合圖像是通過對僅使用過去時間圖像進行插值處理而生成的不同靈敏度的多個圖像的像素值進行組合來生成的，所述過去時間圖像是所述連續攝取的多個圖像中的在所述最新圖像之前攝取的圖像。根據本發明的圖像處理裝置的一個實施例，圖像處理裝置還包括色調轉換處理單元，該色調轉換處理單元輸入由所述HDR處理單元生成的所述HDR圖像并減少該HDR圖像中的像素值的比特數目。根據本發明第二實施例，提供了一種圖像處理裝置，其包括HDR(高動態范圍)處理單元，該HDR處理單元輸入在對構成圖像傳感器的像素按預定空間周期和預定時間周期執行改變曝光時間的曝光控制的同時攝取的圖像，并執行圖像處理。所述HDR處理單元包括幀內插值處理單元，其通過執行使用單個所攝取圖像的插值處理來生成不同靈敏度的多個圖像JPHDR組合處理單元，其通過對由所述幀內插值處理單元生成的所述不同靈敏度的多個圖像執行組合處理來生成HDR圖像。
根據本發明第三實施例，提供了一種圖像攝取裝置，其包括圖像傳感器；控制單元，對構成所述圖像傳感器的像素按預定空間周期和預定時間周期執行改變曝光時間的曝光控制；以及HDR(高動態范圍)處理單元，輸入由所述圖像傳感器攝取的圖像并執行圖像處理。所述HDR處理單元通過對使用連續攝取的多個圖像進行插值處理而生成的具有不同靈敏度的多個圖像的像素值進行組合來生成第一組合圖像，通過對使用單個所攝取圖像進行插值處理而生成的具有不同靈敏度的多個圖像的像素值進行組合來生成第二組合圖像，并且通過根據按照移動檢測信息計算出的混合比率對所述第一組合圖像和所述第二組合圖像執行像素值混合處理來生成HDR(高動態范圍)圖像。根據本發明的圖像攝取裝置的一個實施例，所述控制單元對所述圖像傳感器執行以行為單位的曝光時間控制，并以所攝取圖像幀為單位來執行不同的曝光控制。根據本發明的圖像攝取裝置的一個實施例，所述控制單元通過針對構成所述圖像傳感器的像素來控制作為電荷蓄積開始時間的行復位定時，從而執行以行為單位的曝光時間控制。
根據本發明的圖像攝取裝置的一個實施例，所述圖像攝取裝置通過執行像素數目減少處理以產生具有比構成所述圖像傳感器的像素的數目少的像素數目的圖像并將通過所述像素數目減少處理產生的圖像輸出到所述HDR處理單元，來生成所述HDR圖像。根據本發明第四實施例，提供了一種由圖像處理裝置執行的圖像處理方法，包括輸入在對構成圖像傳感器的像素按預定空間周期和預定時間周期執行改變曝光時間的曝光控制的同時攝取的圖像，并使用HDR(高動態范圍)處理單元來執行圖像處理。圖像處理步驟通過對使用連續攝取的多個圖像進行插值處理而生成的具有不同靈敏度的多個圖像的像素值進行組合來生成第一組合圖像，通過對使用單個所攝取圖像進行插值處理而生成的具有不同靈敏度的多個圖像的像素值進行組合來生成第二組合圖像，并且通過根據按照移動檢測信息計算出的混合比率對所述第一組合圖像和所述第二組合圖像執行像素值混合處理來生成HDR (高動態范圍)圖像。根據本發明第五實施例，提供了一種致使圖像處理裝置執行圖像處理的程序，包括由HDR(高動態范圍)處理單元執行的圖像處理，所述HDR處理單元輸入在對構成圖像傳感器的像素按預定空間周期和預定時間周期執行改變曝光時間的曝光控制的同時攝取的圖像。圖像處理步驟通過對使用連續攝取的多個圖像進行插值處理而生成的具有不同靈敏度的多個圖像的像素值進行組合來生成第一組合圖像，通過對使用單個所攝取圖像進行插值處理而生成的具有不同靈敏度的多個圖像的像素值進行組合來生成第二組合圖像，并且通過根據按照移動檢測信息計算出的混合比率對所述第一組合圖像和所述第二組合圖像執行像素值混合處理來生成HDR(高動態范圍)圖像。注意，根據本發明的程序是是能夠憑借例如以計算機可讀格式提供的存儲介質或者通信介質來提供給信息處理設備或者能夠執行各種程序代碼的計算機系統的程序。當以計算機可讀格式提供這種程序時，在信息處理設備或者計算機系統上實現根據該程序的處理。本發明的目的、特征和優點將從本發明的如下實施例和基于附圖進行的詳細描述中變得清楚明了。根據上述本發明的實施例，實現了基于所攝取圖像來生成高質量、高動態范圍圖像的裝置和方法。更具體而言，包括圖像處理(HDR處理)單元，該圖像處理單元輸入在對構成圖像傳感器的像素按預定空間周期和預定時間周期執行改變曝光時間的曝光控制時攝取的圖像，并執行圖像處理。該圖像處理單元通過使用連續攝取的多個圖像進行插值處理來生成具有不同靈敏度的多個圖像，并對所生成的具有不同靈敏度的多個圖像進行組合來生成第一組合圖像，并且通過對單個所攝取圖像進行插值處理來生成具有不同靈敏度的多個圖像，并對所生成的具有不同靈敏度的多個圖像進行組合來生成第二組合圖像。另外，通過根據按照移動檢測信息計算出的混合比率對第一組合圖像和第二組合圖像的像素值進行混合來生成HDR圖像。通過執行這種處理，生成了分辨率惡化得以最小化的HDR圖像。


圖I是幫助說明獲得高動態范圍(HDR)圖像的圖像攝取裝置的示例配置的示圖；圖2是幫助說明獲得HDR圖像的圖像攝取裝置的示例處理的示圖； 圖3是幫助說明獲得HDR圖像的另一個圖像攝取裝置的示例配置的示圖；圖4是幫助說明獲得HDR圖像的另一個圖像攝取裝置的圖像傳感器的曝光控制示例的示圖；圖5是幫助說明獲得HDR圖像的另一個圖像攝取裝置的處理示例的示圖；圖6是幫助說明根據本發明一個實施例的獲得HDR圖像的圖像攝取裝置的示例配置的不圖；圖7是幫助說明獲得HDR圖像的圖像攝取裝置的圖像傳感器的配置和處理示例的示圖；圖8是幫助說明獲得HDR圖像的圖像攝取裝置的圖像傳感器的處理示例的示圖；圖9A和9B是幫助說明獲得HDR圖像的圖像攝取裝置的圖像傳感器的配置和處理示例的示圖；圖10是幫助說明獲得HDR圖像的圖像攝取裝置的處理示例的示圖；圖11是幫助說明獲得HDR圖像的圖像攝取裝置的HDR處理單元的配置和處理示例的示圖；圖12是幫助說明幀間插值處理單元的配置和處理示例的示圖；圖13是幫助說明幀內插值處理單元的配置和處理示例的示圖；圖14是幫助說明插值處理的具體示例的示圖；圖15是幫助說明HDR組合處理單元的配置和處理示例的示圖；圖16是幫助說明HDR處理單元的移動檢測單元的配置和處理的示圖；圖17是幫助說明由HDR處理單元的移動檢測單元設定的混合比率的示圖；圖18是幫助說明由作為HDR處理單元中的最后一個處理單元的色調轉換處理單元執行的色調轉換處理的示例的示圖；圖19A和19B是幫助說明圖像傳感器的曝光控制示例的示圖；圖20A和20B是幫助說明圖像傳感器的曝光控制示例的示圖；圖21A和21B是幫助說明圖像傳感器的曝光控制示例的示圖；圖22A和22B是幫助說明圖像傳感器的曝光控制示例的示圖23A和23B是幫助說明圖像傳感器的曝光控制示例的示圖；圖24A和24B是幫助說明圖像傳感器的曝光控制示例的示圖；圖25A和25B是幫助說明圖像傳感器的曝光控制示例的示圖；圖26A是幫助說明圖像傳感器的曝光控制示例的示圖；圖26B是幫助說明圖像傳感器的曝光控制示例的示圖；圖26C是幫助說明圖像傳感器的曝光控制示例的示圖；圖27是幫助說明圖像處理裝置的示例配置的示圖；圖28是幫助說明HDR處理單元的配置和處理示例的示圖；
圖29是幫助說明HDR組合處理單元的配置和處理示例的示圖；圖30是幫助說明圖像處理裝置的示例配置的示圖；圖31是幫助說明HDR處理單元的配置和處理示例的示圖；圖32A和32B是幫助說明減少圖像傳感器的輸出像素的數目的處理示例的示圖；圖33是幫助說明減少圖像傳感器的輸出像素的數目的處理示例的示圖；圖34A和34B是幫助說明減少圖像傳感器的輸出像素的數目的處理示例的示圖；圖35是幫助說明減少圖像傳感器的輸出像素的數目的處理示例的示圖；圖36是幫助說明減少圖像傳感器的輸出像素的數目的處理示例的示圖；圖37是幫助說明HDR處理單元的配置和處理示例的示圖；圖38是幫助說明幀間插值處理單元的配置和處理示例的示圖；圖39是幫助說明幀內插值處理單元的配置和處理示例的示圖；圖40是幫助說明圖像傳感器的曝光控制示例的示圖；以及圖41是幫助說明圖像傳感器的曝光控制示例的示圖。
具體實施例方式下文中，將參考附圖詳細描述本發明的優選實施例。注意，在此說明書和附圖中，用相同標號表示具有基本相同功能和結構的結構元件，并且省略對這些結構元件的重復說明。現在將參考附圖描述根據本發明的圖像處理裝置、圖像攝取裝置、圖像處理方法和程序。描述按如下所示的順序來給出。I.圖像處理裝置的第一實施例的配置和處理2.其它實施例2-1.對圖像傳感器的曝光控制的各種示例2-2.無需幀存儲器的實施例2-3.在圖像傳感器輸出處執行像素相加處理或下采樣(downsample)處理的示例
配置3.對根據本發明的圖像處理裝置和現有配置的比較4.結論I.圖像處理裝置的第一實施例的配置和處理首先，將描述根據本發明的圖像處理裝置的第一實施例的配置和處理。注意，在下述實施例中，圖像攝取裝置將被描述為“圖像處理裝置”的一個代表示例。圖6示出了圖像攝取裝置的示例配置。通過光學鏡頭201入射的光經歷圖像傳感器202的光電轉換，并且傳感器圖像204被從圖像傳感器202輸出。圖像傳感器202例如由CMOS構成。從圖像傳感器202輸出的傳感器圖像204作為當前時間圖像206而被輸出到HDR (高動態范圍)處理單元208，并且還被存儲在幀存儲器205中。HDR處理單元208輸入來自圖像傳感器202的當前時間圖像206，并且還從幀存儲器205獲取在比當前時間圖像206早的定時被攝取并被存儲在幀存儲器205中的過去時間圖像207。HDR處理單元208輸入了兩個圖像，S卩，(I)當前時間圖像206和⑵過去時間圖像207。即，使用經延遲的過去時間圖像207和未經延遲的當前時間圖像206來執行HDR處理以生成HDR圖像209。后面將在本說明書中詳細描述這個處理。由HDR處理單元208生成的HDR圖像209被輸入到相機信號處理單元210，并且由 相機信號處理單元210執行諸如白平衡調整、伽馬校正和去馬賽克處理之類的典型相機信號處理以生成輸出圖像211。控制單元212對圖像傳感器202執行曝光控制，并對HDR處理單元208和相機信號處理單元210執行處理控制。注意，作為一個示例，控制單元212包括具有程序執行功能的CPU，并且根據存儲在存儲器(未示出)中的程序來對圖像攝取裝置中執行的處理執行整體控制。圖像傳感器202例如由CMOS構成，并且根據由控制單元212設定的曝光時間信息203而被控制為使得構成圖像傳感器202的像素的曝光時間以特定空間周期為單位并且以特定時間周期為單位而改變。注意，例如在日本早期公開專利公布No. 2006-253876中公開了以空間周期為單位和以時間周期為單位進行的曝光時間控制處理的具體配置，這里以與所引用的公布文本相同的方式來執行曝光控制。圖7示出了圖像傳感器202的一個示例配置。圖7示出了圖像傳感器202的配置的一部分，由矩形示出的區域對應于單個像素，其被指示為“像素224”。圖像傳感器202被從控制單元212提供以作為“曝光時間信息203”的、用于設定各個像素的曝光時間(即，曝光時間長度)的多條靈敏度信息。圖像傳感器202內部的控制電路221對垂直掃描電路222和水平掃描電路223進行控制以使得各個像素的曝光時間(靈敏度)根據曝光時間信息203而以空間周期為單位并且以時間周期為單位進行改變。將參考圖8描述改變像素的曝光時間(靈敏度)的方法。圖8是示出圖7所示的行復位線231的信號定時、行選擇線232的信號定時以及各個像素224的電荷量的改變的示圖。例如，當在時間(tl)輸入行復位信號時，像素的電荷被復位，之后電荷由于入射光而蓄積。之后，當在時間(t2)輸入行選擇線時，在該時間處的電荷量被輸出作為像素蓄積電荷(S)。S卩，從行復位時間到行選擇時間的、時間tl和t2之間的時段是電荷蓄積時段。行選擇定時是針對每一行像素、以預先確定的間隔來設定的。行復位定時是可調整的，并且可被設定在兩個行選擇定時(圖8中被示出為“ta”和“tb”)之間的任意值。這樣的行復位定時是根據曝光時間信息203來設定的。通過將行復位定時(tc)控制成兩個行選擇定時(圖8中被示出為ta和tb)之間的較靠后的時間(即，更接近tb側的時間)，可以減少針對那一行像素的電荷蓄積時間，從而降低靈敏度。同時，通過將行復位定時(tc)控制成兩個行選擇定時(圖8中被示出為ta和tb)之間的較靠前的時間(即，更接近ta側的時間)，可以增加針對那一行像素的電荷蓄積時間，從而提高靈敏度。通過以行為單位執行這種控制，可以以行為單位來不同地設定曝光時間，換而言之，靈敏度。現在將參考圖9A至圖10來描述針對具有由RGB像素構成的貝爾模式(Bayerpattern)的圖像傳感器、通過以行為單位對曝光時間進行控制的靈敏度控制的示例。在圖9A和9B所示的示例中，以兩行為單位來交替地設定低靈敏度像素和高靈敏度像素。通過一次兩行地改變前述行復位定時來進行這種設定，可以以兩行為單位將低靈敏度像素的行設定為短時間曝光行，并將高靈敏度像素的行設定為長時間曝光行，如圖9A和9B所示。圖9A示出了“排列1”，圖9B示出了 “排列2”。在圖示排列中，作為短時間曝光行的低靈敏度像素行和作為長時間曝光行的高靈敏度像素行交替出現。作為圖像攝取期間的一個示例，針對第一幀根據圖9A中的排列I執行曝光控制，然后針對第二幀根據圖9B中的 排列2執行曝光控制。另外，通過針對第三、第四和第五幀交替地設定排列I和排列2來執行圖像攝取。圖10示出了圖像攝取序列。在圖9A至圖10所示的示例中，以四行為一個空間周期(其中，一次兩行地布置兩種靈敏度的像素)來在重復模式中執行曝光時間(靈敏度)控制。還以兩幀為一個時間周期來執行曝光(靈敏度)控制，并且通過在連續幀中在圖9A和9B所示的兩個排列241、242之間切換，控制被執行為改變每一幀中的各個像素的靈敏度。接下來，將參考圖11來描述HDR處理單元208的配置和處理如前所述，兩個圖像，SP⑴當前時間圖像206和⑵過去時間圖像207，被輸入到HDR處理單元208中。就是說，HDR處理單元208使用經過延遲的過去時間圖像207和未經延遲的當前時間圖像206來執行HDR處理以生成HDR圖像209。如前述圖9A和9B所示，當前時間圖像206和過去時間圖像207是靈敏度在時間和空間上都不同的圖像，HDR處理單元208使用這樣的圖像來生成HDR圖像。幀間插值處理單元251是生成高分辨率圖像的處理單元。通過使用當前時間圖像206和過去時間圖像207，幀間插值處理單元251生成兩個插值圖像，即，僅由低靈敏度像素構成的低靈敏度像素圖像和僅由高靈敏度像素構成的高靈敏度像素圖像。幀內插值處理單元252、253是生成追隨移動的插值圖像的處理單元。幀內插值處理單元252僅使用當前時間圖像206來執行空間插值處理，并且幀內插值處理單元253僅使用過去時間圖像207來執行空間插值處理。通過如此動作，僅由低靈敏度像素構成的低靈敏度像素圖像和僅由高靈敏度像素構成的高靈敏度像素圖像被生成作為插值圖像。HDR組合處理單元254至256參考不同靈敏度的像素并對它們進行組合來獲得HDR圖像。移動檢測單元257使用由HDR組合處理單元255和256生成的圖像來檢測目標像素處的像素值是否在過去時間和當前時間之間由于對象的移動等而改變了。移動補償處理單元258對由HDR組合處理單元254基于當前時間圖像206和過去時間圖像207生成的高分辨率圖像與由HDR組合處理單元255基于當前時間圖像206生成的追隨移動(即，不包括基于移動的偽像)的圖像執行混合處理。移動補償處理單元258使用移動檢測單元257的移動檢測結果來決定各像素單位的像素值的混合比率，并對這兩個圖像執行混合處理。在色調轉換處理單元259中，針對由移動補償處理單元258生成的混合圖像的每一個像素執行比特值減小。由于由移動補償處理單元258生成的混合圖像表現出高靈敏度像素和低靈敏度像素的像素值，所以表示各個像素的像素值的比特數目將增大。由于存在這樣的情況，即，如果比特數目過高則將無法在位于下游的相機信號處理單元210處執行信號處理，所以色調轉換處理單元259執行處理來將比特數目減少到能夠經受相機信號處理單元210處的信號處理的水平。就是說，執行基于量化的壓縮以產生與傳統傳感器輸出類似的比特數目，并且得到的信號被輸出作為HDR圖像209。接下來，將參考圖12描述設置在圖11所示的HDR處理單元208內部的幀間插值處理單元251的配置和處理示例。如前所述，幀間插值處理單元251使用當前時間圖像206和過去時間圖像207兩者來生成僅由低靈敏度像素構成的低靈敏度像素圖像263和僅由高靈敏度像素構成的高靈敏度像素圖像264，作為插值圖像。
首先，由坐標獲取單元261獲取的目標像素位置和示出所攝取圖像的曝光模式(例如，圖9A和9B中的排列I和2)的并且例如從控制單元212提供來的像素布局模式信息262被用于獲取目標像素的位置處的靈敏度。使用該靈敏度信息，兩個連續攝取的圖像(當前時間圖像206和過去時間圖像207)中的低靈敏度像素被選擇，并且僅由低靈敏度像素構成的低靈敏度像素圖像263被生成。以相同方式，使用該靈敏度信息，兩個連續攝取的圖像(當前時間圖像206和過去時間圖像207)中的高靈敏度像素被選擇，并且僅由高靈敏度像素構成的高靈敏度像素圖像264被生成。以這種方式，幀間插值處理單元251使用具有不同曝光模式的多個圖像幀的像素信號來生成其中的所有像素都是低靈敏度像素信號的低靈敏度像素圖像263和其中的所有像素都是聞靈敏度像素/[目號的聞靈敏度像素圖像264。低靈敏度像素圖像263和高靈敏度像素圖像264是具有與原始的所攝取圖像相同的模式的圖像，并且作為一個示例，是具有貝爾模式的圖像。當被攝體靜止時，圖像263和264能夠實現與貝爾模式相同的分辨率。同時，當被攝體已經移動時，由于用于生成圖像263和264的當前時間圖像206和過去時間圖像207是在不同時間被獲取的，所以在某些情況中，將產生與像素布局模式保持一致的條紋狀偽像。接下來，將參考圖13描述幀內插值處理單元252、253的配置和處理示例。如前所述，幀內插值處理單元252、253是生成追隨移動的圖像的處理單元。幀內插值處理單元252僅使用當前時間圖像206來執行空間插值處理，而幀內插值處理單元253僅使用過去時間圖像207來執行空間插值處理。通過執行適用于單個圖像的這種空間插值處理，僅由低靈敏度像素構成的低靈敏度像素圖像和僅由高靈敏度像素構成的高靈敏度像素圖像被生成作為插值圖像。幀內插值處理單元252、253使用由圖13所示的坐標獲取單元261獲取的目標像素位置以及像素布局模式信息262來獲得所輸入的當前時間圖像206或過去時間圖像207中的目標像素位置處的靈敏度。該靈敏度信息以及當前時間圖像206和過去時間圖像207中的一個圖像所包括的像素信息被用于生成不同靈敏度的圖像，即，僅由低靈敏度像素構成的低靈敏度像素圖像265和僅由高靈敏度像素構成的高靈敏度像素圖像266。就是說，盡管每一個幀內插值處理單元都能夠僅使用一個圖像來生成追隨被攝體的移動的圖像，但是也存在靈敏度下降的問題。現在將參考圖13和14來描述由幀內插值處理單元252、253執行的空間插值處理。作為圖13中的幀內插值處理單元252、253的輸出的低靈敏度像素圖像265中的像素Rdll、Rdl3以及高靈敏度像素圖像266中的像素Rb31、Rb33是存在于輸入圖像(即，當前時間圖像206和過去時間圖像207)中的像素，并且是通過不經修改地輸出輸入圖像中的像素來獲得的。同時，作為輸出圖像的低靈敏度像素圖像265中的像素Rd31、Rd33以及作為輸出圖像的高靈敏度像素圖像266中的像素Rbll、Rbl3不存在于輸入圖像中。這些像素的像素值是通過基于輸入圖像中包括的像素值執行空間插值處理來通過計算設定的。現在將參考圖14描述在高靈敏度像素位置處插值低靈敏度像素Rd33的方法。圖14所示的圖像示出了被輸入到幀內插值處理單元252、253中的圖像，S卩，當前時間圖像206或過去時間圖像207。各像素是以兩行為單位來設定在低靈敏度像素和高靈敏度像素處的。 圖14所示的輸入圖像的中間像素是高靈敏度像素。現在將描述計算這個高靈敏度位置處的低靈敏度像素的像素值Rd33的插值處理。最簡單的插值方法根據下面給出的等式來計算像素值Rd33。Rd33 = (Rdl3+Rd53)/2. · · (I)上面給出的等式(I)是基于垂直方向上的相同顏色的兩個低靈敏度像素的像素值來執行線性插值的插值處理。作為替代，可以執行將輸入圖像206和207中的邊緣方向考慮在內的插值處理。更具體而言，首先通過下面給出的等式(2)至(4)來確定邊緣方向。 Edge_l = Abs (Rdl1-Rd55)... (2)Edge_2 = Abs(Rdl3_Rd53)... (3)Edge_3 = Abs (Rdl5_Rd51) · . . (4)使用上述等式⑵至(4),計算出Edge_l、Edge_2和Edge_3。當Edge_l是根據上述等式(2)至(4)計算出的Edge j、Edge_2和Edge_3中的最小值時，根據下面給出的等式來計算作為圖14所示的輸入圖像中的中間像素的高靈敏度像素位置處的低靈敏度像素的像素值Rd33。Rd33 = (Rdll+Rd55)/2當Edge_2是根據上述等式(2)至(4)計算出的Edge j、Edge_2和Edge_3中的最小值時，根據下面給出的等式來計算作為圖14所示的輸入圖像中的中間像素的高靈敏度像素位置處的低靈敏度像素的像素值Rd33。Rd33 = (Rdl3+Rd53)/2當Edge_3是根據上述等式(2)至(4)計算出的Edge j、Edge_2和Edge_3中的最小值時，根據下面給出的等式來計算作為圖14所示的輸入圖像中的中間像素的高靈敏度像素位置處的低靈敏度像素的像素值Rd33。Rd33 = (Rdl5+Rd51)/2這個處理是執行沿著邊緣方向選擇像素值作為參考像素的插值處理的方法。注意，這里所描述的插值處理的示例僅僅是幀內插值處理的一個示例，并且可以應用不同的方法并執行最鄰近插值。例如，可以應用如下這樣的方法，即，使用樣本數目是R像素兩倍的某些G像素來生成亮度信號，然后使用這樣的亮度信號來重新創建R像素的高頻分量。以這種方式，幀內插值處理單元252、253各自基于單個所輸入圖像來執行插值處理以生成僅由低靈敏度像素構成的低靈敏度像素圖像265和僅由高靈敏度像素構成的高靈敏度像素圖像266這種形式的不同靈敏度圖像。接下來，將參考圖15來描述HDR組合處理單元254至256各自的配置和處理示例。HDR組合處理單元254至256輸入由參考圖12和13所述的幀間插值處理單元251和幀內插值處理單元252、253生成的兩個插值圖像，即，僅由低靈敏度像素構成的低靈敏度像素圖像和僅由高靈敏度像素構成的高靈敏度像素圖像。在圖15中，這兩個圖像被示出為低靈敏度圖像Dd(標號為“263或265”)和高靈敏度圖像Db (標號為“264或266”)。另外，例如從控制單元212輸入了低靈敏度像素和高靈敏度像素之間的靈敏度比率R(標號為“271”)。靈敏度比率R(271)對應于低靈敏度像素和高靈敏度像素的各自的曝光時間的比率。HDR組合處理單元254至256使用低靈敏度圖像Dd (263或265)、高靈敏度圖像 Db (264或266)以及靈敏度比率R(271)來生成HDR圖像Do (標號為“272”)。混合比率計算單元273參考低靈敏度圖像Dd和高靈敏度圖像Db中的相同位置處的對應像素位置的各個像素值，并決定低靈敏度圖像Dd和高靈敏度圖像Db中的對應像素的像素值的混合比率，以使得作為一個示例，當高靈敏度圖像的像素值小于預先設定的閾值Th時，高靈敏度圖像Db的權重較大，而當高靈敏度圖像的像素值等于或大于閾值Th時，低靈敏度圖像Dd的權重較大。混合處理單元274基于由混合比率計算單元273決定的混合比率，對低靈敏度圖像Dd和高靈敏度圖像Db中的對應像素的像素值執行混合處理。通過執行這個處理，可以生成在被攝體較黑暗時具有很少噪聲而在被攝體較明亮時抑制了飽和的高動態范圍圖像(HDR圖像Do (標號為“275”))。現在將描述由圖15所示的HDR組合處理單元254至256執行的處理的具體示例。首先，從高靈敏度圖像Db選擇待處理的一個目標像素，并且對該目標像素的像素值與預先設定的閾值Th進行比較。當目標像素的像素值小于閾值Th時，將高靈敏度圖像Db (264或266)中的目標像素的像素值不經修改地設定為作為輸出圖像的HDR圖像Do(275)的像素值。這種情況中的像素值滿足關系Do = Db其中，“Do”表示HDR圖像Do (275)的像素值，“Db”表示高靈敏度圖像Db (264或266)中的聚焦像素的像素值。同時，當從高靈敏度圖像Db選擇的目標像素的像素值等于或大于閾值Th時，通過將靈敏度比率R與低靈敏度圖像Dd (263或265)中的、和高靈敏度圖像Db中的目標像素的像素位置處在相同位置的像素位置的像素值相乘而產生的像素值被設定為作為輸出圖像的HDR圖像Do (275)的像素值。這種情況中的像素值滿足關系Do = DdXR其中，“Do”表示HDR圖像Do (275)的像素值，“Dd”表示低靈敏度圖像Dd(263或265)中的像素值。注意，當使用變量a、b作為由混合比率計算單元273計算出的混合比率時，可通過如下等式來概括上述處理以計算HDR圖像Do (275)的像素值Do Do= (a X Db)+ (b X (DdXR))其中，a+b= I。注意,雖然前述處理示出了使用a = l、b = O和a = 0、b = I中的一者的示例,但是也可以選擇性地使用a = 0 I和b = l O的范圍內的a和b值,只要a+b = I的條件得到滿足即可。接下來，將參考圖16和17來描述圖11所示的HDR處理單元208中的移動檢測單元257的配置和處理示例。移動檢測單元257對由HDR組合處理單元255基于當前時間圖像206生成的與當前時間圖像相對應的HDR圖像與由HDR組合處理單元256基于過去時間圖像207生成的與過去時間圖像相對應的HDR圖像進行比較，以檢測各像素單位中的移動。作為一個示例，兩個HDR圖像中的相同像素位置處的對應像素的像素值的絕對差值被與預先設定的閾值相比較，并且如果該絕對差值等于或高于閾值，則作出“大移動”或者“存在移 動”的判定，而如果該絕對差值低于閾值，則作出“小移動”或者“沒有移動”的判定。以這種方式，基于從當前時間圖像生成的HDR圖像和從過去時間圖像生成的HDR圖像中的對應像素的像素值之間的絕對差值來確定移動量。如圖16所示，移動補償處理單元258包括混合比率計算單元283，并且通過根據由移動檢測單元257確定的各個像素單位的移動量來決定(a)由HDR組合處理單元254基于當前時間圖像206和過去時間圖像207生成的HDR圖像和(b)由HDR組合處理單元255僅基于當前時間圖像206生成的HDR圖像中的對應像素的像素值的混合比率284，從而執行混合處理。針對移動量大于預先設定的閾值的像素，(b)由HDR組合處理單元255僅基于當前時間圖像206生成的HDR圖像中的像素值的混合比率被設定為更大。相反，針對移動量小于預先設定的閾值的像素，(a)由HDR組合處理單元254基于當前時間圖像206和過去時間圖像207生成的HDR圖像中的像素值的混合比率被設定為更大。更具體地，例如使用圖17所示的根據移動量來設定的混合比率α。移動補償處理單元258基于以這種方式設定的混合比率來對上述兩個圖像(a)和(b)的各個像素執行混合處理。通過執行這種處理，HDR圖像被以如下方式來生成對于存在大移動的像素位置，針對(b)由HDR組合處理單元255僅基于當前時間圖像206生成的HDR圖像中的像素值設定大權重來執行混合處理，而對于存在小移動的像素位置，針對(a)由HDR組合處理單元254基于當前時間圖像206和過去時間圖像207生成的HDR圖像中的像素值設定大權重來執行混合處理。注意，移動檢測可以使用另一種方法來執行，例如，還考慮噪聲和/或邊緣的并且使用當前時間圖像的低頻分量圖像與過去時間的低頻分量圖像之間的絕對差值的方法。作為圖11所示的HDR處理單元208的最后一個處理單元的色調轉換處理單元259執行對已通過上面參考圖15描述的HDR組合處理而被擴展的范圍進行壓縮的處理。參考圖15描述的HDR組合處理例如相對于現有圖像傳感器的輸出將范圍擴展了與圖15所示的靈敏度比率R(271)相對應的量。如果不經修改地使用這個擴展后的范圍，則存在無法由位于下游的相機信號處理單元210 (參見圖6)執行信號處理的情況。為了防止這樣的問題，在色調轉換處理單元259中執行對通過參考圖15描述的HDR組合處理而被擴展了的范圍進行壓縮的處理。注意，色調轉換和色調再現處理是將范圍壓縮到傳統傳感器輸出的范圍的方法的已知示例。在Erik Reinhard等人的“PhotographicTone Reproduction for Digital Images”，http://www. cs. Utah, edu/ reinhard/cdrom/tonemap. pdf 中公開了一個不例。圖18示出了傳感器輸出為10比特并且靈敏度比率R為10倍的色調轉換示例。當傳感器輸入的最大值是1，023并且靈敏度比率R = 10時，色調轉換處理單元259獲得最大值為10,230(1,023X10)的圖像。通過在色調轉換處理單元259中使用圖18所示的曲線來將HDR圖像壓縮為總是具有10比特的范圍，可以對下游處理使用與過去相同的處理。圖18所示的曲線是使用如Reinhard等人所描述的諸如圖像的平均亮度和最大亮度之類的統計值來生成的，并因此將取決于被壓縮的圖像。2.其它實施例接下來，將描述與上述實施例不同的其它實施例。2-1.對圖像傳感器的曝光控制的各種示例在上述實施例中，如參考圖4所述的，使用了如下這樣的配置其中，作為對圖像傳感器202的曝光控制處理，執行了以兩行為單位在具有短曝光時間的低靈敏度像素與具有長曝光時間的高靈敏度像素之間切換像素靈敏度的控制。圖像傳感器202的曝光控制處理配置不限于圖4所示的設定，并且可以使用多種設定。還可以將根據本發明的圖像處理應用于多種控制配置。例如，如圖19A至20所示，可以使用如下這樣的配置隔行設定執行了短時間曝光的低靈敏度像素和執行了長時間曝光的高靈敏度像素。還可以將根據本發明的圖像處理應用于這樣的控制配置。注意，在圖19A至20中，白色像素位置示出執行了長時間曝光的高靈敏度像素，灰色像素位置示出執 行了短時間曝光的低靈敏度像素。這同樣適用下面所述的圖21A至25。此外，如圖21A和21B所示，可以使用如下這樣的構造以按貝爾模式的形式重復的兩行兩列的四個像素為單位來設定執行了短時間曝光的低靈敏度像素和執行了長時間曝光的高靈敏度像素。如圖22A和22B所示，還可以使用這樣的配置執行按貝爾模式均一地設定各種顏色、各種靈敏度的像素的曝光控制，即，其中，高靈敏度R像素、低靈敏度R像素、高靈敏度G像素、低靈敏度G像素、高靈敏度B像素和低靈敏度B像素被均一地布置。此外，雖然上面已經描述了對于全都具有貝爾模式的圖像傳感器(圖像攝取元件)的控制配置的示例，但是也可以將本發明的處理應用于具有除貝爾模式之外的布局的圖像傳感器(圖像攝取元件)。作為一個示例，如圖23A和23B所示，可以將本發明應用于具有RGBW配置的非貝爾模式，該RGBW配置除了 RGB之外還包括白(W)像素。在圖23A和23B所示的曝光控制示例中，示出了如下這樣的示例配置其中，在具有RGBW像素模式的圖像傳感器上以包括4行和4列的16像素為單位來設定執行了短時間曝光的低靈敏度像素和執行了長時間曝光的高靈敏度像素。還可以將根據本發明的圖像處理應用于這樣的控制配置。另外，可以將根據本發明的圖像處理應用于如下配置其中，在以與圖23A和23B相同的方式具有如圖24A和24B所示的由RGBW像素構成的非貝爾模式的圖像傳感器上，如圖24A和24B所示地設定執行了短時間曝光的低靈敏度像素和執行了長時間曝光的高靈敏
度像素。
還可以將根據本發明的圖像處理應用于如下配置其中，針對如圖25A和25B所示的通過將方格網旋轉45度而構造的像素圖像攝取元件，如圖25A和25B所示地設定執行了短時間曝光的低靈敏度像素和執行了長時間曝光的高靈敏度像素。此外，雖然上面已經描述了設定兩種不同靈敏度的像素(即，執行了短時間曝光的低靈敏度像素和執行了長時間曝光的高靈敏度像素)的示例，但是也可以設定三種或更多種不同靈敏度的像素并使用這樣的三種或更多種不同靈敏度的像素來生成HDR圖像。注意，在圖26A所示的示例中，設定了四種不同靈敏度的像素。即，示出了設定四種不同靈敏度的像素的示例，這四種不同靈敏度的像素是高靈敏度像素(最長曝光時間)、中高靈敏度像素(長曝光時間)、中低靈敏度像素(短曝光時間)和低靈敏度像素(最短曝光時間)。根據本發明的圖像處理也可被應用于具有三種或更多種不同靈敏度的像素的這種圖像傳感器的輸出。注意，在此情況中，在參考圖12和13描述了的幀間插值處理單元251和幀內插值處理單元252、253中，通過插值處理來生成由低靈敏度圖像、中低靈敏度圖像、中高靈敏度圖像和高靈敏度圖像構成的四個圖像。 此外，參考圖15描述的HDR組合處理單元254至256輸入該低靈敏度圖像、中低靈敏度圖像、中高靈敏度圖像和高靈敏度圖像，并生成HDR圖像。混合比率計算單元273參考低靈敏度圖像、中低靈敏度圖像、中高靈敏度圖像和高靈敏度圖像中的具有相同位置的對應像素位置處的四個像素的像素值，并通過決定不同靈敏度的圖像中的對應像素的像素值的混合比率來執行混合，從而決定HDR圖像的像素值，使得當最高靈敏度圖像的像素值小于預先設定的閾值Thl時增大高靈敏度圖像的權重，當高靈敏度圖像的像素值大于預先設定的閾值Thl但小于閾值Th2時增大中高靈敏度圖像的權重，當高靈敏度圖像的像素值大于該預先設定的閾值Th2但小于閾值Th3時增大中低靈敏度圖像的權重，并且當高靈敏度圖像的像素值大于預先設定的閾值Th3但小于閾值Th4時增大低靈敏度圖像的權重。圖27示出了當如圖26所示地在四種模式中設定圖像傳感器202的靈敏度時的圖像處理裝置的示例配置。由于在圖像傳感器202上設定了具有四種不同靈敏度的像素，所以如圖27所示，使用利用幀存儲器301、302和303連續攝取的四個圖像來執行圖像處理，這四個圖像是如圖28所示的在時間t4攝取的當前時間圖像(t4) 304、在時間t3攝取的過去時間圖像(t3) 305、在時間t2攝取的過去時間圖像(t2) 306和在時間tl攝取的過去時間圖像(tl)307。現在將參考圖28來描述HDR圖像處理單元308的內部配置和處理。在幀間插值處理單元311中，使用四個連續攝取圖像304至307來生成四個圖像，S卩，低靈敏度圖像、中低靈敏度圖像、中高靈敏度圖像和高靈敏度圖像。這個處理是通過將前面參考圖12所描述的從兩個連續攝取圖像生成兩種不同靈敏度的圖像的處理擴展為使用四個圖像生成四種不同靈敏度的圖像的處理來實現的。幀內插值處理單元312基于使用當前時間圖像(t4) 304的一幀的圖像來生成四個圖像，即，最低靈敏度圖像、低靈敏度圖像、高靈敏度圖像和最高靈敏度圖像。這個處理是通過將前面參考圖13所描述的從由兩種靈敏度的像素構成的一個所攝取圖像生成兩種不同靈敏度的圖像的處理擴展為使用由四種靈敏度的像素構成的一個圖像生成四種不同靈敏度的圖像的處理來實現的。幀內插值處理單元313基于使用當前時間圖像(t3) 305的一幀的圖像來生成四個圖像，即，低靈敏度圖像、中低靈敏度圖像、中高靈敏度圖像和高靈敏度圖像。這個處理是通過將前面參考圖13所描述的從由兩種靈敏度的像素構成的一個所攝取圖像生成兩種不同靈敏度的圖像的處理擴展為使用由四種靈敏度的像素構成的一個圖像生成四種不同靈敏度的圖像的處理來實現的。現在將參考圖29來描述HDR組合處理單元314、315和316的配置和處理。如圖29所示，HDR組合處理單元314、315和316在多個階段中執行前面參考圖15描述的通過對兩種靈敏度的圖像(低靈敏度圖像和高靈敏度圖像)執行混合處理來生成單個HDR圖像的處理，以最終生成HDR圖像Do。如圖29所示，首先具有與圖15所示相同的配置的混合執行單元321輸入低靈敏度圖像Dl和中低靈敏度圖像D2，然后混合執行單元321通過執行如前面參考圖15所描述 的相同混合處理來生成第一混合圖像。接下來，具有與圖15所示相同配置的混合執行單元322輸入第一混合圖像和中高靈敏度圖像D3，然后混合執行單元322通過執行如前面參考圖15所描述的相同混合處理來生成第二混合圖像。之后，具有與圖15所示相同配置的混合執行單元323輸入第二混合圖像和高靈敏度圖像D4，然后混合執行單元323通過執行如前面參考圖15所描述的相同混合處理來生成第三混合圖像，以生成作為最終的HDR圖像Do的第三混合圖像。2-2.無需幀存儲器的實施例接下來，將參考圖30描述不需要幀存儲器的實施例。圖30所示的圖像處理裝置(圖像攝取裝置)與圖6所示的配置的不同之處在于從前面作為第一實施例描述的圖6中的圖像處理裝置配置省略了幀存儲器205，并且作為圖像傳感器202的輸出的傳感器圖像204被直接輸入到HDR處理單元401。圖像傳感器202的控制方法以及作為圖像傳感器202的輸出圖像的傳感器圖像204與前面參考圖6及之后的附圖描述的第一實施例相同。然而，這個實施例的不同之處在于在沒有使用幀存儲器的情況下僅針對一個幀的圖像執行處理。現在將參考圖31描述根據此實施例的HDR處理單元401的配置和處理示例。如圖31所示，根據本實施例的HDR處理單元401被配置為使得按順序連接幀內插值處理單元402、HDR組合處理單元403和色調轉換處理單元404。幀內插值處理單元402輸入作為圖像傳感器202的輸出圖像的傳感器圖像204，通過執行與前面參考圖13所描述的相同的幀內插值處理來生成具有兩種不同靈敏度的圖像，即，低靈敏度圖像和高靈敏度圖像，并將所生成的圖像輸出到位于下游的HDR組合處理單元403。HDR組合處理單元403通過對從幀內插值處理單元402輸出的低靈敏度圖像和高靈敏度圖像執行混合處理來生成HDR圖像。這個處理與前面參考圖15所描述的處理相同。色調轉換處理單元404對從HDR組合處理單元403輸出的HDR圖像執行色調轉換處理。這個處理如同前面參考圖18所描述的處理那樣被執行，以設定可由位于下游的相機信號處理單元處理的色調。這個實施例的配置在沒有執行在前述第一實施例中執行了的幀間插值處理的情況下，基于作為圖像傳感器的輸出圖像的傳感器圖像204來執行幀內插值以生成與各個幀相對應的低靈敏度圖像和高靈敏度圖像，并對所生成的圖像執行混合處理以生成HDR圖像。其結果是，在本實施例中生成的HDR圖像是具有比從圖像傳感器202輸出的傳感器圖像204更低的分辨率的圖像。然而，如前面參考圖10所述，對于圖像傳感器202所輸出的傳感器圖像，曝光控制模式被以幀為單位進行切換以使得先前幀中的高靈敏度像素被設定在隨后幀中的低靈敏度像素處，而先前幀中的低靈敏度像素被設定在隨后幀中的高靈敏度像素處。即，圖像的相位在各幀中不同。為此，當在位于下游的相機信號處理單元253處執行使用幀存儲器的處理時，可能將足夠在這種相機信號處理單元253處恢復分辨率。另夕卜，即使在下游的處理中沒有使用幀存儲器，也由于人類視覺的特性，只要幀速率足夠高，就能夠防止分辨率下降表現得顯著。
2-3.在圖像傳感器輸出處執行像素相加處理或下采樣處理的示例配置接下來，將描述在圖像傳感器輸出處執行像素相加處理或下采樣處理的配置示例。近年來，為了攝取高分辨率圖像，圖像傳感器上所提供的像素數目一直在快速增長。然而，由于諸如位于下游的圖像處理單元的處理性能、圖像輸出帶寬的限制、AD轉換器的速度的限制等的因素，一些圖像傳感器被配置為執行像素相加處理和/或下采樣處理，這些處理不輸出圖像傳感器的所有像素的像素值，而是使分辨率降低，并基于圖像傳感器上的兩個像素的像素值來決定并輸出輸出圖像的一個像素值。圖32A和32B示出了從圖像傳感器上的四條像素信息生成一條像素信息的示例，其中，圖32A示出了圖像攝取像素的布局的示例，圖32B示出了輸出像素的布局的示例。由圖像傳感器攝取的圖像具有圖32A所示的圖像攝取像素的布局，但是當將這種圖像從圖像傳感器輸出到位于下游的處理單元時，像素數目被減少，并且圖32B所示的輸出像素布局被設定。在這個示例中，執行了通過將8X8像素減少到4X4像素來將像素數目減少四分之一的處理。以這種方式減少像素數目的方法包括像素下采樣和像素相加。當執行像素下采樣時，作為一個示例，針對圖32B所示的輸出像素布局的左上角中的輸出像素Roll如下所示地決定輸出像素值。注意，在表述“Roll”中，“R”是像素顏色，“ο”指示出“輸出”，“11”是坐標位置(X，y) = (Ll)0對于圖32B所示的輸出像素布局的左上角中的輸出像素Roll，從圖32A所示的圖像攝取像素的布局的左上角中的4X4像素區域所包括的四個R像素中僅選擇了一個R像素，因而Roll = R11。以這種方式，圖32A所示的圖像攝取像素布局的對應像素位置(4X4像素區域)中所包括的僅一個像素輸出被用于設定輸出像素值Roll。當執行像素相加處理時，如下面的等式所示，基于圖32A所示的圖像攝取像素布局的左上角的4X4像素區域中所包括的四個R像素來輸出加權平均。Roll = aXRll+bXR13+cXR31+dXR33這里，a、b、c和d是預先決定的權重，并且作為一個示例，是在考慮到離輸出像素位置的距離、邊緣方向等的情況中設定的。圖33示出了已經在相同靈敏度的像素之間執行像素相加的示例。這里通過像素相加產生的輸出像素布局的示例與前面參考圖9A和9B所述的布局相同，其中，短時間曝光像素和長時間曝光像素被以兩行為單位來設定，并且能夠經受如前述圖6那樣相同配置的圖像處理。注意，作為減少由圖像傳感器攝取的圖像的像素數目的具體配置，例如，可以使用在圖像攝取元件的AD轉換單元處從多個像素中選擇一個像素的配置。在SatoshiYoshihara 等人的“1/1.8-inch 6.4MPixel 60frames/sCMOS Image Sensor withSeamless Mode Change，，，2006IEEE International Solid-State Circuits Conference,pp. 492-493(2006)中描述了這種配置的一個示例。AD轉換電路被配置為將圖像傳感器的各個像素的輸出值轉換為數字值，交替地讀出圖像傳感器的多個像素，并參考這些像素值，選擇這些像素值中的一個像素值作為輸出值。根據本發明的圖像處理裝置也可被應用于具有如下配置的圖像攝取裝置該配置以這種方式使用有關多個像素的信息來輸出有關一個像素的信息。
將參考圖34A至35描述如何對選擇性地輸出多個像素中的一個像素的圖像傳感器進行驅動的示例。如圖34A和34B所示，垂直掃描電路在兩個讀取操作中讀出具有不同靈敏度的像素。首先讀出高靈敏度像素421，然后讀出低靈敏度像素422。之后，如圖35所示，選擇性地輸出已經讀出的像素(即，高靈敏度像素Db和低靈敏度像素Dd)之一。更具體地，對高靈敏度像素Db與預先設定的閾值Th進行比較，當高靈敏度像素Db的像素值低于閾值Th時，選擇器選擇性地輸出高靈敏度像素Db。相反，當高靈敏度像素Db等于或大于閾值Th時，選擇器選擇性地輸出通過將低靈敏度像素Dd乘以靈敏度比率R而產生的像素值。利用圖35所示的配置，如果將高靈敏度像素表示為Db，將低靈敏度像素表示為Dd,并將輸出像素表示為Do，則當Db低于Th時，Do被設定為使得Do = Db，而在其他情況中，Do被設定為使得Do = DdX R，從而從傳感器輸出圖像生成HDR圖像。現在將描述將這種讀取方法與根據本發明的HDR圖像生成方法相組合使用的示例。利用圖35所示的方法，當場景較黑暗時，僅使用并輸出高靈敏度像素，而當場景較明亮時，僅使用并輸出低靈敏度像素。作為一個示例，利用對圖像傳感器上的圖像攝取像素的布局執行控制以在連續攝取的圖像中在圖36所示的排列I和排列2之間在空間和時間上改變像素靈敏度的配置，當場景較黑暗時，通過僅使用高靈敏度像素執行像素相加來設定構成輸出像素布局的像素的像素值。在此情況中，被輸出的輸出HDR圖像相對于圖像傳感器的輸出移相了。圖37示出了使用圖35所示的方法的HDR處理單元的配置和處理示例，其被配置為當場景較黑暗時僅使用高靈敏度像素進行輸出，而當場景較明亮時僅使用低靈敏度像素進行輸出。圖37所示的HDR處理單元208具有的配置省略了前面參考圖11描述的HDR處理單元208中包括的HDR組合處理單元254至256。利用圖37所示的配置，當已經從圖像傳感器向HDR處理單元208輸入值時，執行選擇與像素的明度保持一致的最佳像素值的選擇處理。通過執行這個處理，可以省略圖11所示的HDR組合處理單元254至256的處理。圖38是幫助說明幀間插值處理單元501的處理的示圖。幀間插值處理單元501輸入當前時間圖像206和過去時間圖像207，并基于這兩個圖像來生成一個圖像。作為一個不例，當如時間圖像206和過去時間圖像207兩者都是從聞靈敏度像素設定的圖像，并且是沒有獲得低靈敏度像素位置的像素值的圖像。幀間插值處理單元501生成如下這樣的插值圖像其中，通過對當前時間圖像206和過去時間圖像207執行的插值處理來計算低靈敏度像素位置的像素值。圖39是幫助說明幀內插值處理單元502、503的處理的示圖。幀內插值處理單元502,503輸入當前時間圖像206或過去時間圖像207，并且基于這些圖像之一來生成一個插值圖像。作為一個不例，當如時間圖像206和過去時間圖像207兩者都是從聞靈敏度像素設定的圖像，并且是沒有獲得低靈敏度像素位置的像素值的圖像。幀內插值處理單元502、503生成如下這樣的插值圖像其中，通過對當前時間圖像206或過去時間圖像207執行的插值處理來計算低靈敏度像素位置的像素值。圖37所示的移動補償處理單元505和色調轉換處理單元506的處理與先前作為第一實施例描述的處理相同。在此實施例中，也通過執行先前在第一實施例中參考圖12和13描述的時間和空間插值處理來生成追隨移動并且已經提高分辨率的高分辨率圖像。注意，雖然在上面的示例中已經描述了當場景較黑暗時僅使用并輸出高靈敏度像·素而當場景較明亮時僅使用并輸出低靈敏度像素的配置的處理，但是也可以是如下這樣的分辨率增大處理，其中，圖37所示的HDR處理單元208被應用于從高靈敏度像素和低靈敏度像素兩者設定一個輸出像素值的配置。更具體地，作為減少像素數目的圖像傳感器的輸出配置，也可以是如圖40或41所示的將圖37所示的HDR處理單元208應用于從高靈敏度像素和低靈敏度像素兩者設定一個輸出像素值的配置的分辨率增大處理。圖40所示的示例是針對先前攝取圖像設定排列I而針對在稍后定時處的隨后攝取圖像設定排列2的曝光控制示例，并且示出了像素靈敏度在空間上改變但是靈敏度不在時間上改變的曝光控制示例。利用這種配置，針對構成已經經歷像素數目減少的輸出(即，HDR處理單元的輸入)的像素，參考像素位置在時間上被改變。圖41是這樣一種方法，其中，像素靈敏度在空間和時間上改變，除此之外，在輸出一個像素的像素信息時參考的多個像素被以與圖40相同的方式切換。通過將已經被處理來減少像素數目的圖像輸入到圖37所示的HDR處理單元208并執行先前所述的處理，可以生成并輸出HDR圖像。3.對根據本發明的圖像處理裝置和現有配置的比較接下來，將通過對先前所述的根據本發明的圖像處理裝置的處理與傳統配置的處理進行比較來描述根據本發明的圖像處理裝置的效果。前面參考圖I和2描述的方法是用于實現HDR圖像攝取的傳統技術的一個示例。由于這個傳統方法使用兩個圖像來生成一個圖像，所以存在幀速率為傳感器輸出的一半的問題。另外，用于生成一個HDR圖像的存儲器使用帶寬是幀存儲器中的兩個寫入幀和兩個讀取幀。另一方面，根據本發明的圖像處理裝置，S卩，前面參考圖6至10描述的配置具有的優勢在于可以將所輸出的HDR圖像的幀速率設定為與傳感器的幀速率相等。另外，用于生成一個HDR圖像的幀存儲器的使用帶寬是一個寫入幀和一個讀取幀，這意味著與傳統方法相比具有僅使用一半存儲器帶寬的優勢。前面參考圖3至5描述了用于實現HDR圖像攝取的傳統技術的另一個示例。這個方法使用有關在單個圖像中設定的具有不同靈敏度的像素的信息。這個方法的問題是如前所述，存在分辨率下降。另一方面，根據本發明的圖像處理裝置具有執行例如圖12所示的幀間插值處理以使用具有不同曝光模式的多個連續攝取圖像來生成HDR圖像的生成信息的配置，并且通過使用連續攝取圖像的實際像素值，至少針對靜止圖像能夠實現與作為圖像攝取期間的圖像傳感器輸出的貝爾模式相同的高分辨率。4.結論本領域技術人員應當了解，可以依據設計要求和其他因素進行各種修改、組合、子組合和變更，只要它們在所附權利要求或其等同物的范圍內即可。另外，本方面的技術也可如下配置。(I) 一種圖像處理裝置，包括 HDR(高動態范圍)處理單元，輸入在對構成圖像傳感器的像素按預定空間周期和預定時間周期執行改變曝光時間的曝光控制的同時攝取的圖像，并執行圖像處理，其中，所述HDR處理單元通過對使用連續攝取的多個圖像進行插值處理而生成的具有不同靈敏度的多個圖像的像素值進行組合來生成第一組合圖像；通過對使用單個所攝取圖像進行插值處理而生成的具有不同靈敏度的多個圖像的像素值進行組合來生成第二組合圖像；以及通過根據按照移動檢測信息計算出的混合比率對第一組合圖像和第二組合圖像執行像素值混合處理來生成HDR(高動態范圍)圖像。(2)根據⑴所述的圖像處理裝置，其中，HDR處理單元通過執行針對移動檢測信息表明存在移動的像素位置提高第二組合圖像的混合比率并且針對移動檢測信息表明不存在移動的像素位置提高第一組合圖像的混合比率的像素值混合處理，來生成HDR圖像。(3)根據⑴或⑵所述的圖像處理裝置，其中，HDR處理單元包括幀間插值處理單元，該幀間插值處理單元通過不經修改地使用連續攝取的多個圖像中存在的不同靈敏度的多個像素來生成不同靈敏度的多個圖像，并且HDR處理單元通過對由幀間插值處理單元生成的不同靈敏度的多個圖像的像素值進行組合來生成第一組合圖像。(4)根據(I)至(3)中任一項所述的圖像處理裝置，還包括移動檢測單元，通過對在不同時間攝取的圖像中的對應像素的像素值進行比較并以像素為單位執行移動檢測來生成移動檢測信息；以及移動補償處理單元，通過根據按照移動檢測信息計算出的混合比率來對第一組合圖像和第二組合圖像執行像素值混合處理，從而生成HDR圖像。(5)根據⑴至(4)中任一項所述的圖像處理裝置，其中，移動檢測單元通過基于如下的第二組合圖像和第三組合圖像的圖像比較以像素為單位執行移動檢測來生成移動檢測信息所述第二組合圖像是通過對僅使用當前時間圖像進行插值處理而生成的不同靈敏度的多個圖像的像素值進行組合來生成的，所述當前時間圖像是連續攝取的多個圖像中的最新圖像，并且所述第三組合圖像是通過對僅使用過去時間圖像進行插值處理而生成的不同靈敏度的多個圖像的像素值進行組合來生成的，所述過去時間圖像是連續攝取的多個圖像中的在所述最新圖像之前攝取的圖像。(6)根據(I)至(5)中任一項所述的圖像處理裝置，還包括色調轉換處理單元，該色調轉換處理單元輸入由HDR處理單元生成的HDR圖像并減少該HDR圖像中的像素值的比特數目。 本說明書中描述的一系列處理可通過硬件、軟件或兩者來執行。當通過軟件執行處理時，可通過將其上記錄有處理序列的程序安裝在內置于專用硬件中的計算機中的存儲器上來執行程序，或者通過將該程序安裝在能夠執行各種處理的通用計算機上來執行程序。例如，可將程序預先記錄在記錄介質上。程序可被從記錄介質安裝到計算機，或者經由諸如LAN(局域網)或因特網之類的網絡接收并安裝在諸如內置硬件之類的記錄介質上。注意，說明書中描述的各個處理無需根據描述按時序順序執行，而可以根據執行處理的設備的處理能力或者根據需要來并行或單獨執行。另外，本說明書中的系統是多個設備的邏輯集合配置，并且無需是將具有各個配置的設備容納在單個殼體中的配置。如上所述，根據本發明的實施例，實現了基于所攝取圖像來生成高質量、高動態范圍圖像的裝置和方法。具體地，包括圖像處理(HDR處理)單元，該圖像處理單元輸入在對構成圖像傳感器的像素按預定空間周期和預定時間周期執行改變曝光時間的曝光控制的同時攝取的圖像，并執行圖像處理。該圖像處理單元通過使用連續攝取的多個圖像進行插值處理來生成具有不同靈敏度的多個圖像，并對所生成的具有不同靈敏度的多個圖像進行組合來生成第一組合圖像；通過對單個所攝取圖像進行插值處理來生成具有不同靈敏度的多個圖像，并對所生成的具有不同靈敏度的多個圖像進行組合來生成第二組合圖像。另外，通過根據按照移動檢測信息計算出的混合比率對第一組合圖像和第二組合圖像的像素值進行混合來生成HDR圖像。通過執行這種處理，生成了分辨率惡化得以最小化的HDR圖像。本公開包含與在2011年5月13日向日本專利局提交的日本在先專利申請JP2011-108047所公開的主題相關的主題，該申請的全部內容通過引用而結合于此。
權利要求
1.一種圖像處理裝置，包括 HDR(高動態范圍)處理單元，輸入在對構成圖像傳感器的像素按預定空間周期和預定時間周期執行改變曝光時間的曝光控制的同時攝取的圖像，并執行圖像處理， 其中，所述HDR處理單元 通過對使用連續攝取的多個圖像進行插值處理而生成的具有不同靈敏度的多個圖像的像素值進行組合來生成第一組合圖像； 通過對使用單個所攝取圖像進行插值處理而生成的具有不同靈敏度的多個圖像的像素值進行組合來生成第二組合圖像；以及 通過根據按照移動檢測信息計算出的混合比率對所述第一組合圖像和所述第二組合圖像執行像素值混合處理來生成HDR(高動態范圍)圖像。
2.根據權利要求I所述的圖像處理裝置， 其中，所述HDR處理單元通過執行針對所述移動檢測信息表明存在移動的像素位置提高所述第二組合圖像的混合比率并且針對所述移動檢測信息表明不存在移動的像素位置提高所述第一組合圖像的混合比率的像素值混合處理，來生成所述HDR圖像。
3.根據權利要求I所述的圖像處理裝置， 其中，所述HDR處理單元包括幀間插值處理單元，該幀間插值處理單元通過不經修改地使用連續攝取的多個圖像中存在的不同靈敏度的多個像素來生成不同靈敏度的多個圖像，并且 所述HDR處理單元通過對由所述幀間插值處理單元生成的所述不同靈敏度的多個圖像的像素值進行組合來生成所述第一組合圖像。
4.根據權利要求I所述的圖像處理裝置，還包括 移動檢測單元，通過對在不同時間攝取的圖像中的對應像素的像素值進行比較并以像素為單位執行移動檢測來生成所述移動檢測信息；以及 移動補償處理單元，通過根據按照所述移動檢測信息計算出的混合比率來對所述第一組合圖像和所述第二組合圖像執行像素值混合處理，從而生成HDR圖像。
5.根據權利要求4所述的圖像處理裝置， 其中，所述移動檢測單元通過基于所述第二組合圖像和第三組合圖像的圖像比較以像素為單位執行移動檢測來生成所述移動檢測信息， 所述第二組合圖像是通過對僅使用當前時間圖像進行插值處理而生成的不同靈敏度的多個圖像的像素值進行組合來生成的，所述當前時間圖像是連續攝取的多個圖像中的最新圖像，并且 所述第三組合圖像是通過對僅使用過去時間圖像進行插值處理而生成的不同靈敏度的多個圖像的像素值進行組合來生成的，所述過去時間圖像是所述連續攝取的多個圖像中的在所述最新圖像之前攝取的圖像。
6.根據權利要求I所述的圖像處理裝置，還包括色調轉換處理單元，該色調轉換處理單元輸入由所述HDR處理單元生成的所述HDR圖像并減少該HDR圖像中的像素值的比特數目。
7.一種圖像處理裝置，包括 HDR(高動態范圍)處理單元，輸入在對構成圖像傳感器的像素按預定空間周期和預定時間周期執行改變曝光時間的曝光控制的同時攝取的圖像，并執行圖像處理， 其中，所述HDR處理單元包括 幀內插值處理單元，通過執行使用單個所攝取圖像的插值處理來生成不同靈敏度的多個圖像；和 HDR組合處理單元，通過對由所述幀內插值處理單元生成的所述不同靈敏度的多個圖像執行組合處理來生成HDR圖像。
8.一種圖像攝取裝置，包括 圖像傳感器； 控制單元，對構成所述圖像傳感器的像素按預定空間周期和預定時間周期執行改變曝光時間的曝光控制；以及 HDR(高動態范圍)處理單元，輸入由所述圖像傳感器攝取的圖像并執行圖像處理， 其中，所述HDR處理單元 通過對使用連續攝取的多個圖像進行插值處理而生成的具有不同靈敏度的多個圖像的像素值進行組合來生成第一組合圖像； 通過對使用單個所攝取圖像進行插值處理而生成的具有不同靈敏度的多個圖像的像素值進行組合來生成第二組合圖像；以及 通過根據按照移動檢測信息計算出的混合比率對所述第一組合圖像和所述第二組合圖像執行像素值混合處理來生成HDR(高動態范圍)圖像。
9.根據權利要求8所述的圖像攝取裝置， 其中，所述控制單元對所述圖像傳感器執行以行為單位的曝光時間控制，并以所攝取圖像幀為單位來執行不同的曝光控制。
10.根據權利要求9所述的圖像攝取裝置， 其中，所述控制單元通過控制作為構成所述圖像傳感器的像素的電荷蓄積開始時間的行復位定時，從而執行以行為單位的曝光時間控制。
11.根據權利要求8所述的圖像攝取裝置， 其中，所述圖像攝取裝置通過執行像素數目減少處理以產生具有比構成所述圖像傳感器的像素的數目少的像素數目的圖像并將通過所述像素數目減少處理產生的圖像輸出到所述HDR處理單元，來生成所述HDR圖像。
12.—種由圖像處理裝置執行的圖像處理方法，包括 輸入在對構成圖像傳感器的像素按預定空間周期和預定時間周期執行改變曝光時間的曝光控制的同時攝取的圖像，并使用HDR(高動態范圍)處理單元來執行圖像處理， 其中，所述圖像處理的步驟 通過對使用連續攝取的多個圖像進行插值處理而生成的具有不同靈敏度的多個圖像的像素值進行組合來生成第一組合圖像； 通過對使用單個所攝取圖像進行插值處理而生成的具有不同靈敏度的多個圖像的像素值進行組合來生成第二組合圖像；以及 通過根據按照移動檢測信息計算出的混合比率對所述第一組合圖像和所述第二組合圖像執行像素值混合處理來生成HDR(高動態范圍)圖像。
13.一種致使圖像處理裝置執行圖像處理的程序，包括由HDR (高動態范圍)處理單元執行的圖像處理，所述HDR處理單元輸入在對構成圖像傳感器的像素按預定空間周期和預定時間周期執行改變曝光時間的曝光控制的同時攝取的圖像， 其中，所述圖像處理的步驟 通過對使用連續攝取的多個圖像進行插值處理而生成的具有不同靈敏度的多個圖像的像素值進行組合來生成第一組合圖像； 通過對使用單個所攝取圖像進行插值處理而生成的具有不同靈敏度的多個圖像的像素值進行組合來生成第二組合圖像；以及 通過根據按照移動檢測信息計算出的混合比率對所述第一組合圖像和所述第二組合圖像執行像素值混合處理來生成HDR(高動態范圍)圖像。
全文摘要
本發明涉及圖像處理裝置、圖像攝取裝置、圖像處理方法及程序。所提供的圖像處理裝置包括HDR(高動態范圍)處理單元，該HDR處理單元輸入在對構成圖像傳感器的像素按預定空間周期和預定時間周期執行改變曝光時間的曝光控制的同時攝取的圖像，并執行圖像處理。HDR處理單元通過對使用連續攝取的多個圖像進行插值處理而生成的具有不同靈敏度的多個圖像的像素值進行組合來生成第一組合圖像，通過對使用單個所攝取圖像進行插值處理而生成的具有不同靈敏度的多個圖像的像素值進行組合來生成第二組合圖像，并且通過根據按照移動檢測信息計算出的混合比率對第一組合圖像和第二組合圖像執行像素值混合處理來生成HDR圖像。
文檔編號H04N5/235GK102780849SQ20121014728
公開日2012年11月14日 申請日期2012年5月7日 優先權日2011年5月13日
發明者光永知生, 齋藤泰, 海津俊, 笠井政范 申請人:索尼公司