專利名稱：圖像處理設(shè)備、圖像處理方法和成像設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理設(shè)備、圖像處理方法和成像設(shè)備。
背景技術(shù)：
通常，成像設(shè)備(例如，數(shù)字靜止相機(jī))執(zhí)行預(yù)處理，例如，對(duì)畸變圖像進(jìn)行校正的處理、校正色差的處理以及放大或縮小圖像尺寸的處理。另外，使用諸如JPEG(聯(lián)合圖像專家組)的編碼方法，成像設(shè)備減小通過預(yù)處理獲得的數(shù)據(jù)量。例如在日本專利公開No. 2003-051748中所述，編碼包括提取針對(duì)進(jìn)行編碼的數(shù)據(jù)的一部分，對(duì)提取的數(shù)據(jù)進(jìn)行編碼以用于估計(jì)，以及基于編碼的數(shù)據(jù)量改變編碼參數(shù)，由此對(duì)所有數(shù)據(jù)進(jìn)行編碼。例如在日本專利公開No. 2007-158884中所述，編碼還包括提取要進(jìn)行編碼的目標(biāo)數(shù)據(jù)的一部分以預(yù)先獲得直流(DC)分量從而增強(qiáng)編碼效率。

發(fā)明內(nèi)容
當(dāng)對(duì)輸入圖像的一部分進(jìn)行編碼以用于預(yù)處理時(shí)(在下文中，部分圖像稱作預(yù)處理圖像)，通過預(yù)處理讀取的圖像數(shù)據(jù)量在兩種情況(一種是圖像發(fā)生畸變的情況和另一種是圖像沒有發(fā)生畸變的情況)之間可以不同。圖IA示出了已經(jīng)通過圖像處理對(duì)畸變進(jìn)行校正的典型圖像。圖IB示出了由于沒有畸變?cè)趫D像處理中沒有進(jìn)行校正的典型的處理前的圖像。圖IC示出了要通過圖像處理對(duì)透鏡畸變進(jìn)行校正的典型的處理前的圖像。在如圖IB所示沒有畸變的情況下，不管預(yù)處理圖像位于輸入圖像中什么位置，將在預(yù)處理中提供給編碼部分的在圖像處理之后的預(yù)處理圖像最終設(shè)置成預(yù)定尺寸(例如， 用作編碼的處理單位的尺寸)所需的圖像處理之前的預(yù)處理圖像的尺寸相同。即，不管預(yù)處理圖像位于輸入圖像中的什么位置，讀取圖像數(shù)據(jù)量相同。例如，如果如圖IA所示用于預(yù)處理圖像的區(qū)域WA設(shè)置在中心，則如圖IB所示，可以采用輸入圖像的中心區(qū)域Wa(= WA)作為可以使用其圖像的預(yù)處理讀取區(qū)域。如果用于預(yù)處理圖像的區(qū)域WB設(shè)置在邊緣處 (寬度與圖IA所示的區(qū)域WA相同)，則可以采用輸入圖像的邊緣區(qū)域Wb ( = WB)作為可使用其圖像的預(yù)處理讀取區(qū)域，如圖IB所示。然而，當(dāng)如圖IC所示圖像發(fā)生畸變時(shí)，讀取圖像數(shù)據(jù)量可以根據(jù)預(yù)處理讀取區(qū)域的位置而不同。例如，如果用于預(yù)處理圖像的區(qū)域WA設(shè)置在中心處，則可以采用輸入圖像的區(qū)域Wa( = WA)作為可以使用其圖像的預(yù)處理讀取區(qū)域。但是，由于圖像的邊緣部分發(fā)生畸變，所以需要針對(duì)預(yù)處理讀取區(qū)域設(shè)置比區(qū)域WB寬的區(qū)域Wc (> WB)。否則，不能夠獲得圖像處理后的區(qū)域WB的預(yù)處理圖像。因此，存在讀取圖像數(shù)據(jù)量根據(jù)預(yù)處理圖像的位置而不同的情況。該問題在于，當(dāng)讀取數(shù)據(jù)量增加時(shí)，處理時(shí)間和功耗相應(yīng)增加。本發(fā)明鑒于以上情形做出并且本發(fā)明提供了一種執(zhí)行作為輸入圖像的一部分的預(yù)處理圖像的圖像處理和編碼，以預(yù)先獲得對(duì)輸入圖像進(jìn)行編碼所需的信息并且同時(shí)例如降低處理時(shí)間和功耗的圖像處理設(shè)備、圖像處理方法和成像設(shè)備。根據(jù)本發(fā)明的一個(gè)實(shí)施例，提供了一種圖像處理設(shè)備，包括圖像處理部分，被構(gòu)造為對(duì)輸入圖像執(zhí)行圖像處理，使得在所述圖像處理中，用于獲得處理后的圖像所需的處理前的圖像的尺寸根據(jù)在所述輸入圖像中所述處理前的圖像的位置而不同；編碼部分，被構(gòu)造為對(duì)從所述圖像處理部分輸出的處理后的圖像進(jìn)行編碼；以及預(yù)處理指示部分，被構(gòu)造為在所述輸入圖像的圖像處理和編碼之前，所述預(yù)處理指示部分指示所述圖像處理部分對(duì)作為所述輸入圖像的一部分的預(yù)處理圖像執(zhí)行圖像處理作為預(yù)處理，并且將處理后的預(yù)處理圖像發(fā)送至所述編碼部分，以從所述編碼部分預(yù)先獲取用于對(duì)所述輸入圖像進(jìn)行編碼的所需信息，其中，所述預(yù)處理指示部分確定所述預(yù)處理圖像以使得用于獲得所述處理后的預(yù)處理圖像所需的所述處理前的圖像的尺寸減小。本發(fā)明公開的圖像處理設(shè)備的圖像處理部分執(zhí)行用于獲得處理后的圖像所需的處理前的圖像的尺寸根據(jù)輸入圖像中處理前圖像的位置而不同的圖像處理。例如，圖像處理部分可以執(zhí)行包括以下處理中的至少一種的圖像處理使縮放率隨顏色分量而不同的圖像成為相同尺寸的處理，使縮放率隨圖像位置而不同的圖像成為相同尺寸的處理，應(yīng)用抽頭計(jì)數(shù)隨圖像位置而不同的濾波器的處理，和對(duì)由透鏡導(dǎo)致的圖像畸變進(jìn)行校正的處理。 編碼部分例如使用JPEG方法對(duì)從圖像處理部分輸出的處理的圖像進(jìn)行編碼。在編碼之前， 預(yù)處理指示部分指示圖像處理部分對(duì)作為輸入圖像的一部分的預(yù)處理圖像執(zhí)行圖像處理并且將處理后的預(yù)處理圖像發(fā)送至編碼部分以預(yù)先獲取對(duì)輸入圖像進(jìn)行編碼所需的信息。 例如，預(yù)處理指示部分可以獲得代碼量作為編碼所需的信息。如果編碼部分以預(yù)定代碼順序?qū)η爸挡罘诌M(jìn)行編碼，預(yù)處理指示部分可以預(yù)先獲得用于計(jì)算前值差分的前值。另外，預(yù)處理指示部分確定預(yù)處理圖像，以使得用于獲得處理的預(yù)處理圖像所需的處理前圖像的尺寸減小。即，預(yù)處理指示部分可以選擇用于獲得預(yù)處理圖像所需的讀取圖像數(shù)據(jù)量小的屏幕中的位置作為用于預(yù)處理圖像的區(qū)域。在使用獲得預(yù)處理圖像所需的處理前的圖像的區(qū)域作為預(yù)處理讀取區(qū)域預(yù)先獲得編碼所需的信息的預(yù)處理處理中，讀取預(yù)處理讀取區(qū)域的圖像數(shù)據(jù)并且執(zhí)行圖像處理和編碼。此外，如果編碼部分以與預(yù)定代碼順序不同的順序?qū)斎雸D像進(jìn)行編碼，則可以提供重新排序部分以將從編碼部分輸出的代碼重新排序成預(yù)定代碼順序。根據(jù)本發(fā)明的另一個(gè)實(shí)施例，提供了一種圖像處理方法，包括對(duì)輸入圖像執(zhí)行圖像處理，使得在所述圖像處理中，用于獲得處理后的圖像所需的處理前的圖像的尺寸根據(jù)所述輸入圖像中的所述處理前的圖像的位置而不同；對(duì)所述圖像處理后的圖像進(jìn)行編碼； 在所述編碼之前，對(duì)作為所述輸入圖像的一部分的預(yù)處理圖像執(zhí)行圖像處理和編碼，以預(yù)先獲取用于對(duì)所述輸入圖像進(jìn)行編碼的所需信息；以及在所述預(yù)處理過程中，確定所述預(yù)處理圖像以使得用于獲得所述處理后的預(yù)處理圖像所需的所述處理前的圖像的尺寸減小。根據(jù)本發(fā)明的另一個(gè)方面，提供了一種成像設(shè)備，包括成像部分，被構(gòu)造為產(chǎn)生拍攝的圖像；圖像處理部分，被構(gòu)造為對(duì)所述拍攝的圖像執(zhí)行圖像處理，使得在所述圖像處理中，用于獲得處理后的圖像所需的處理前的圖像的尺寸根據(jù)所述拍攝的圖像中的所述處理前的圖像的位置而不同；編碼部分，被構(gòu)造為對(duì)從所述圖像處理部分輸出的處理后的圖像進(jìn)行編碼；以及預(yù)處理指示部分，被構(gòu)造為在所述拍攝的圖像的圖像處理和編碼之前，所述預(yù)處理指示部分指示所述圖像處理部分對(duì)作為所述獲取的圖像的一部分的預(yù)處理圖像執(zhí)行圖像處理，并且將處理后的預(yù)處理圖像發(fā)送至所述編碼部分，以從所述編碼部分預(yù)先獲取用于對(duì)所述拍攝的圖像進(jìn)行編碼的所需信息，其中，所述預(yù)處理指示部分確定所述預(yù)處理圖像以使得用于獲得所述處理后的預(yù)處理圖像所需的所述處理前的圖像的尺寸減小。根據(jù)上述本發(fā)明，在輸入圖像的圖像處理和編碼之前，執(zhí)行預(yù)處理，其中對(duì)作為輸入圖像的一部分的預(yù)處理圖像進(jìn)行處理和編碼以預(yù)先獲得對(duì)輸入圖像進(jìn)行編碼所需的信息。預(yù)處理包括確定預(yù)處理圖像以減小用于獲得處理后的預(yù)處理圖像所需的處理前的圖像的尺寸的。這使得可以通過預(yù)處理降低從輸入圖像讀取以進(jìn)行圖像處理的數(shù)據(jù)量，由此能夠降低處理時(shí)間和功耗等。


圖1A、1B和IC是示出在預(yù)處理期間讀取的圖像數(shù)據(jù)量通常在兩種情況(即，目標(biāo)圖像發(fā)生畸變的情況和圖像沒有發(fā)生畸變的另一種情況)下如何不同的解釋圖；圖2是示出圖像處理設(shè)備應(yīng)用到成像設(shè)備的典型結(jié)構(gòu)的示意圖；圖3A、3B和3C是示出圖像處理部分的典型內(nèi)部結(jié)構(gòu)的示意圖；圖4是示出使用存儲(chǔ)在易失性存儲(chǔ)部分中的圖像數(shù)據(jù)執(zhí)行預(yù)處理的例子的示意圖；圖5是示出在進(jìn)行編碼之前圖像處理后的圖像數(shù)據(jù)臨時(shí)存儲(chǔ)在易失性存儲(chǔ)部分中的例子的示意圖；圖6是示出從具有小圖像畸變的區(qū)域讀取圖像數(shù)據(jù)的例子的示意圖；圖7是示出代碼量估計(jì)處理的流程圖；圖8A、8B和8C是示出拍攝的圖像的右側(cè)具有大畸變而左側(cè)具有小畸變的代碼量估計(jì)的示意圖；圖9A、9B和9C是示出拍攝的圖像的上部具有大畸變而下部具有小畸變的代碼量估計(jì)的示意圖；的不意圖；理的例子；圖
10是示出通常如何對(duì)拍攝的圖像進(jìn)行編碼的流程11是示出圖像處理的單位在水平方向上為2塊而在垂直方向上為3塊的例子
12是示出DC分量獲取處理的流程13A、13B和13C示出了拍攝的圖像的右側(cè)具有大畸變而左側(cè)具有小畸變的預(yù)處
14是示出通常如何對(duì)拍攝的圖像進(jìn)行編碼的流程15是示出使用塊“2”列作為預(yù)處理圖像的編碼操作的示意16A、16B、16C、16D和16E是示出使用塊“2”列作為預(yù)處理圖像的圖像處理和編
碼操作的示意圖；圖17A和圖17B是如何對(duì)編碼的數(shù)據(jù)的塊單位進(jìn)行重新排序的示意圖；圖18A和圖18B是示出對(duì)由透鏡導(dǎo)致的圖像畸變進(jìn)行校正的第一例子的示意19A和圖19B是示出對(duì)由透鏡導(dǎo)致的圖像畸變進(jìn)行校正的第二例子的示意20A和圖20B是示出對(duì)縮放率隨位置而不同的圖像進(jìn)行校正的例子的示意21A和圖21B是示出對(duì)縮放率隨顏色而不同的圖像進(jìn)行校正的例子的示意22A和圖22B是不出對(duì)具有|旲糊的拍攝的圖像進(jìn)行校正的例子的不意圖；以及圖23A、23B、23C和23D是示出當(dāng)順序執(zhí)行模糊校正和畸變校正時(shí)有效確定預(yù)處理圖像的操作的示意圖。
具體實(shí)施例方式現(xiàn)在將描述本發(fā)明的一些優(yōu)選實(shí)施例。將在下面標(biāo)題之下進(jìn)行描述I.圖像處理設(shè)備的結(jié)構(gòu)2.圖像處理設(shè)備的操作3.作為預(yù)處理的估計(jì)代碼量的操作4.作為預(yù)處理的獲得DC分量的操作5.用于預(yù)處理的預(yù)處理圖像的具體例子〈I.圖像處理設(shè)備的結(jié)構(gòu)>圖2是示出本發(fā)明的圖像處理設(shè)備應(yīng)用到成像設(shè)備10的典型結(jié)構(gòu)的示意圖。成像設(shè)備10包括成像光學(xué)系統(tǒng)11、成像部分12、模擬信號(hào)處理部分13、模擬/數(shù)字(A/D)轉(zhuǎn)換部分14、圖像處理部分15、編碼部分16、重新排序部分17、記錄部分18、易失性存儲(chǔ)部分
19、顯示部分20、控制部分25、輸入部分26和非易失性存儲(chǔ)部分27。在成像設(shè)備10中，圖像處理部分15、編碼部分16、重新排序部分17、記錄部分18、易失性存儲(chǔ)部分19、顯示部分
20、控制部分25和非易失性存儲(chǔ)部分27經(jīng)由總線29進(jìn)行互連。成像光學(xué)系統(tǒng)11主要由透鏡組成并且在成像部分12的受光面形成未示出的物體的光學(xué)圖像。使用諸如互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)或者電荷耦合器件(CCD)的固態(tài)圖像傳感裝置構(gòu)造成像部分12。成像部分12執(zhí)行光電轉(zhuǎn)換，產(chǎn)生通過成像光學(xué)系統(tǒng)11在它的受光面上形成并且表示光學(xué)圖像的拍攝的圖像的圖像信號(hào)。成像部分12將這樣產(chǎn)生的圖像信號(hào)輸出到模擬信號(hào)處理部分13。模擬信號(hào)處理部分13對(duì)從成像部分12輸出的模擬圖像信號(hào)執(zhí)行諸如相關(guān)雙重采樣(CDS)和模擬放大的處理，并且將處理后的圖像信號(hào)輸出到A/D轉(zhuǎn)換部分14。A/D轉(zhuǎn)換部分14將從模擬信號(hào)處理部分13輸出的模擬圖像信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)，并且將代表轉(zhuǎn)換后的圖像信號(hào)的圖像數(shù)據(jù)輸出到圖像處理部分15。圖像處理部分15對(duì)從A/D轉(zhuǎn)換部分14輸出的圖像數(shù)據(jù)執(zhí)行相機(jī)信號(hào)處理和不同校正處理。圖3A到圖3C示出了圖像處理部分15的典型內(nèi)部結(jié)構(gòu)。圖像處理部分15包括用于處理相機(jī)信號(hào)的模塊，例如，白平衡調(diào)整部分151、顏色轉(zhuǎn)換部分152、偽顏色抑制部分153和伽馬校正部分154。另外，圖像處理部分15包括色差校正部分155、畸變校正部分 156和模糊校正部分157例如作為執(zhí)行處理的模塊，由此，用于獲得處理后的圖像所需的處理前的圖像的尺寸根據(jù)拍攝的圖像中的圖像位置而不同。白平衡調(diào)整部分151調(diào)整諸如三元色的信號(hào)水平的圖像數(shù)據(jù)，從而以最佳顏色再現(xiàn)拍攝的圖像。使用已知的變換矩陣，顏色轉(zhuǎn)換部分152將白平衡調(diào)整后的三元色數(shù)據(jù)轉(zhuǎn)換成亮度數(shù)據(jù)和色差數(shù)據(jù)。偽顏色抑制部分153對(duì)色差數(shù)據(jù)執(zhí)行在飽和部分處抑制偽顏色數(shù)據(jù)的處理。伽馬校正部分154對(duì)圖像數(shù)據(jù)進(jìn)行校正以符合使用的顯示裝置的伽馬特征。色差校正部分155執(zhí)行使縮放率隨顏色分量而不同的圖像成為相同尺寸的處理。 例如，色差校正部分155可以計(jì)算來自成像光學(xué)系統(tǒng)11的色差量，并且以對(duì)計(jì)算的色差量進(jìn)行校正的方式對(duì)圖像數(shù)據(jù)執(zhí)行色差校正。畸變校正部分156執(zhí)行使縮放率隨圖像位置而不同的的圖像稱為相同尺寸的處理或者對(duì)由透鏡產(chǎn)生的圖像畸變進(jìn)行校正的處理。例如， 畸變校正部分156可以以對(duì)由成像光學(xué)系統(tǒng)11中的透鏡畸變導(dǎo)致的畸變的圖像進(jìn)行校正的方式對(duì)圖像數(shù)據(jù)執(zhí)行畸變校正處理。模糊校正部分157通常可以由用于執(zhí)行增益調(diào)整以使得校正的圖像將具有關(guān)于產(chǎn)生模糊圖像的PSF(點(diǎn)散布函數(shù))頻率特性的期望頻率特性的濾波器組成。模糊校正部分157通過執(zhí)行濾波處理(其中，濾波器中的抽頭的數(shù)目根據(jù)圖像位置(即，發(fā)現(xiàn)模糊的地方)而不同)去除模糊。對(duì)圖像數(shù)據(jù)進(jìn)行處理的順序不限于圖3A所示的順序。該順序還可以是圖3B和圖 3C所示之一。除了圖3A到圖3C中所示的組件以外，圖像處理部分15還可以包括用于執(zhí)行信號(hào)處理和校正的新模塊。作為另一種替代，可以從圖像處理部分15的結(jié)構(gòu)去除如圖3A 到圖3C所示的用于執(zhí)行信號(hào)處理和校正的一些模塊。圖2中的編碼部分16對(duì)從圖像處理部分輸出的圖像數(shù)據(jù)進(jìn)行編碼以產(chǎn)生編碼的數(shù)據(jù)。重新排序部分17將由編碼部分16產(chǎn)生的以塊為單位的編碼的數(shù)據(jù)重新排序成預(yù)定塊順序。記錄部分18將由重新排序部分17進(jìn)行重新排序的以塊為單位的編碼的數(shù)據(jù)記錄到記錄介質(zhì)。易失性存儲(chǔ)部分19用作工作存儲(chǔ)部分。例如，易失性存儲(chǔ)部分19可以臨時(shí)存儲(chǔ)拍攝的圖像的圖像數(shù)據(jù)。顯示部分20由液晶顯示部件、有機(jī)電致發(fā)光顯示部件等等構(gòu)成。顯示部分20顯示拍攝的圖像、相機(jī)通過(camera-through)圖像以及關(guān)于成像設(shè)備的設(shè)置和操作的菜單和其它指示。輸入部分26連接到控制部分25。為了接受用戶的輸入操作，輸入部分26包括諸如電源開關(guān)、快門鍵和變焦鍵的不同操作鍵，以及用于顯示菜單、選擇菜單項(xiàng)和執(zhí)行各種設(shè)置的操作鍵。輸入部分26向控制部分25輸出反映用戶的操作的操作信號(hào)。控制部分25由微計(jì)算機(jī)等等構(gòu)成。控制部分25讀取并執(zhí)行存儲(chǔ)在非易失性存儲(chǔ)部分27中的程序以用反映用戶的操作的方式控制成像設(shè)備10的組件。控制部分25還用作預(yù)處理指示部分。在編碼之前，控制部分25指示圖像處理部分15對(duì)作為輸入圖像的一部分的預(yù)處理圖像執(zhí)行圖像處理并且將處理后的預(yù)處理圖像發(fā)送到編碼部分16以預(yù)先獲取對(duì)輸入圖像進(jìn)行編碼所需的信息。另外，控制部分25確定預(yù)處理圖像以使得圖像處理部分向例如編碼部分16提供可采用編碼單元的尺寸的處理后的預(yù)處理圖像所需的處理前的圖像的尺寸減小。<2.圖像處理設(shè)備的操作>成像設(shè)備10執(zhí)行預(yù)處理(例如，代碼量的估計(jì)和DC分量的獲取)。為了使用預(yù)處理的結(jié)果對(duì)圖像數(shù)據(jù)進(jìn)行編碼，成像設(shè)備10臨時(shí)存儲(chǔ)要被編碼到易失性存儲(chǔ)部分19中的圖像數(shù)據(jù)并且利用為預(yù)處理目的保持在易失性存儲(chǔ)部分19中的圖像數(shù)據(jù)。如果由圖像處理部分15執(zhí)行的任何處理耗時(shí)，則獲取圖像之間的間隔不能夠縮短。為了縮短圖像獲取間隔，成像設(shè)備10可以將由圖像處理部分15部分處理的圖像數(shù)據(jù)存儲(chǔ)在易失性存儲(chǔ)部分19中并，然后從它讀取圖像數(shù)據(jù)，使得圖像處理部分15可以執(zhí)行其余處理。另外，如果由圖像處理部分15處理的圖像數(shù)據(jù)臨時(shí)存儲(chǔ)在易失性存儲(chǔ)部分19中， 使得保持在其中的圖像數(shù)據(jù)可用于預(yù)處理或者用于對(duì)所有拍攝的圖像進(jìn)行編碼，則到易失性存儲(chǔ)部分19的通信量增加。因此，當(dāng)執(zhí)行預(yù)處理或者對(duì)所有拍攝的圖像進(jìn)行編碼時(shí)，成像設(shè)備10可以向編碼部分16提供由圖像處理部分15處理的圖像數(shù)據(jù)，而沒有將圖像數(shù)據(jù)臨時(shí)存儲(chǔ)在易失性存儲(chǔ)部分19中。圖4示出了使用針對(duì)畸變進(jìn)行校正并且臨時(shí)存儲(chǔ)在易失性存儲(chǔ)部分19中的圖像數(shù)據(jù)執(zhí)行預(yù)處理的例子。在這個(gè)例子中，針對(duì)畸變未進(jìn)行校正的圖像數(shù)據(jù)示出圖像的左側(cè)沒有畸變，而圖像的右側(cè)畸變較大。例如，如果預(yù)處理圖像位于塊“8”、“16”和“24”中，則成像設(shè)備10從易失性存儲(chǔ)部分19讀取塊“8”、“16”和“24”的圖像數(shù)據(jù)，并且使得圖像處理部分15針對(duì)畸變對(duì)讀取的圖像數(shù)據(jù)進(jìn)行校正并且將校正的圖像數(shù)據(jù)送給編碼部分16。在如上所述成像設(shè)備10向編碼部分16提供針對(duì)畸變進(jìn)行校正的圖像數(shù)據(jù)的情況下，與如圖5所示圖像處理后的圖像數(shù)據(jù)被臨時(shí)存儲(chǔ)在易失性存儲(chǔ)部分19中相比較，對(duì)易失性存儲(chǔ)部分19的通信量較輕。在預(yù)處理中，如果從要針對(duì)畸變進(jìn)行校正的塊讀取圖像數(shù)據(jù)并且如果預(yù)處理圖像位于如圖4所示圖像畸變較大的區(qū)域內(nèi)，則與預(yù)處理圖像位于圖像畸變可忽略的區(qū)域內(nèi)的情況相比較，要進(jìn)行讀取的數(shù)據(jù)量更大。因此，成像設(shè)備10確定預(yù)處理圖像以使得圖像處理部分15將處理后的預(yù)處理圖像送給編碼部分16所需的處理前的圖像的尺寸減小。即，成像設(shè)備10選擇用于獲得預(yù)處理圖像所需的讀取圖像數(shù)據(jù)量較小的屏幕中的位置作為預(yù)處理圖像的區(qū)域，并且將用于獲得預(yù)處理圖像所需的處理前的圖像的區(qū)域看做預(yù)處理讀取區(qū)域。另外，成像設(shè)備10從預(yù)處理讀取區(qū)域讀取圖像數(shù)據(jù)，針對(duì)畸變對(duì)讀取圖像數(shù)據(jù)進(jìn)行校正，并且預(yù)先獲得使用針對(duì)畸變進(jìn)行校正的圖像數(shù)據(jù)對(duì)輸入圖像進(jìn)行編碼所需的信息。另外，成像設(shè)備10使用預(yù)先從預(yù)處理獲得的結(jié)果對(duì)輸入圖像進(jìn)行編碼。〈3.作為預(yù)處理的估計(jì)代碼量的操作>在下文解釋用于預(yù)處理中估計(jì)代碼量的典型操作。假設(shè)用于預(yù)處理中的圖像數(shù)據(jù)是要針對(duì)畸變進(jìn)行校正并且存儲(chǔ)在易失性存儲(chǔ)部分19中的圖像數(shù)據(jù)。圖7是示出代碼量估計(jì)處理的流程圖。在步驟STl中，控制部分25設(shè)置代碼量估計(jì)區(qū)域。例如，在要對(duì)源于透鏡畸變的畸變圖像進(jìn)行校正的情況下，能夠基于使用的透鏡、 變焦因子等等確定產(chǎn)生的畸變的屬性。因此，控制部分25根據(jù)使用的透鏡、變焦因子等等確定畸變較小的圖像區(qū)域。另外，控制部分25確定預(yù)處理圖像以使得用于獲得預(yù)處理中的處理后的預(yù)處理圖像所需的處理前的圖像的尺寸減小。另外，控制部分25設(shè)置獲得確定的預(yù)處理圖像所需的處理前的圖像的區(qū)域作為代碼量估計(jì)區(qū)域。隨后，控制部分進(jìn)入步驟 ST2。針對(duì)代碼量估計(jì)，可以關(guān)于處理圖像提供例如以等間隔布置的相同尺寸的預(yù)處理圖像。然后可以使用從正進(jìn)行編碼的預(yù)處理圖像導(dǎo)出的代碼量估計(jì)拍攝的圖像的代碼量。 圖8A示出了拍攝的圖像的右側(cè)畸變較大而它的左側(cè)畸變較小的例子。圖8B示出了采用塊 “2”、“4”、“6”和“8”的列作為預(yù)處理圖像并且設(shè)置區(qū)域GAp2、GAp4、GAp6和GApS作為代碼量估計(jì)區(qū)域。與如圖8C所示的采用塊“1”、“3”、“5”和“7”的列作為預(yù)處理圖像并且設(shè)置區(qū)域GApl、GAp3、GAp5和GAp7作為代碼量估計(jì)區(qū)域相比較，圖8B的例子需要讀取的數(shù)據(jù)量更大。因此，控制部分25確定具有小畸變的圖像部分中的預(yù)處理圖像。S卩，控制部分25 選擇塊“ I ”、“3”、“5”和“7”的列中的圖像作為預(yù)處理圖像并且設(shè)置區(qū)域GApl、GAp3、GAp5 和GAp7作為代碼量估計(jì)區(qū)域(即，預(yù)處理讀取區(qū)域)。
如圖9A所示，假設(shè)拍攝的圖像的上部的畸變大而它下部的畸變小。在這種情況下，如果如圖9B所示采用塊“1”、“17”和“33”的行作為代碼量估計(jì)區(qū)域GAql、GAql7和 GAq33，則這將導(dǎo)致需要讀取更大量的數(shù)據(jù)。因此，控制部分25設(shè)置具有小畸變的圖像部分中的代碼量估計(jì)區(qū)域。即，如圖9C所示，控制部分25設(shè)置塊“9”、“25”和“41”的行作為代碼量估計(jì)區(qū)域GAq9、GAq25和GAq41。在步驟ST2中，控制部分25從易失性存儲(chǔ)部分19讀取代碼量估計(jì)區(qū)域的圖像數(shù)據(jù)，并且將讀取圖像數(shù)據(jù)送給圖像處理部分15。在步驟ST2以后，控制部分25進(jìn)入步驟 ST3。在步驟ST3中，圖像處理部分15執(zhí)行圖像處理。圖像處理部分15可以對(duì)代碼量估計(jì)區(qū)域的讀取圖像數(shù)據(jù)執(zhí)行畸變校正和其它處理。另外，在進(jìn)入步驟ST4之前，圖像處理部分15向編碼部分16輸出處理后的圖像數(shù)據(jù)。在步驟ST4中，編碼部分16執(zhí)行編碼。編碼部分16對(duì)從圖像處理部分15提供的處理后的圖像數(shù)據(jù)進(jìn)行編碼以產(chǎn)生編碼的數(shù)據(jù)。在產(chǎn)生編碼的數(shù)據(jù)以后，到達(dá)步驟ST5。在步驟ST5中，控制部分25確定編碼參數(shù)。控制部分25基于當(dāng)編碼部分16對(duì)預(yù)處理圖像的圖像數(shù)據(jù)即代碼量估計(jì)區(qū)域的圖像數(shù)據(jù)進(jìn)行編碼時(shí)給出的代碼量，估計(jì)正在進(jìn)行編碼的拍攝的圖像的代碼量。另外，基于代碼量估計(jì)的結(jié)果，控制部分25確定編碼參數(shù)以使得正在進(jìn)行編碼的拍攝的圖像的代碼量將到達(dá)期望量。例如，如果使用JPEG(聯(lián)合圖像專家組)方法對(duì)拍攝的圖像進(jìn)行編碼，則確定量化臺(tái)階尺寸和其它參數(shù)，使得正在進(jìn)行編碼的拍攝的圖像的代碼量將與期望量一致。另外，成像設(shè)備10使用通過預(yù)處理確定的編碼參數(shù)對(duì)拍攝的圖像進(jìn)行編碼。圖10 是示出通常如何對(duì)拍攝的圖像進(jìn)行編碼的流程圖。在步驟STll中，控制部分25對(duì)編碼進(jìn)行設(shè)置。控制部分25向編碼部分16提供在圖7所示的預(yù)處理中確定的編碼參數(shù)，對(duì)由編碼部分16執(zhí)行的編碼進(jìn)行設(shè)置，并且進(jìn)入步驟ST12。在步驟ST12中，控制部分25讀取所有拍攝的圖像。控制部分25順序讀取存儲(chǔ)在易失性存儲(chǔ)部分19中的所有拍攝的圖像的圖像數(shù)據(jù)，向圖像處理部分15提供這樣獲取的圖像數(shù)據(jù)，然后進(jìn)入步驟ST13。在步驟ST13中，圖像處理部分15執(zhí)行圖像處理。圖像處理部分15對(duì)存儲(chǔ)在易失性存儲(chǔ)部分19中的拍攝的圖像的圖像數(shù)據(jù)執(zhí)行畸變校正和其它處理，將處理后的圖像數(shù)據(jù)輸出到編碼部分16，并且進(jìn)入步驟ST14。在步驟ST14中，編碼部分16執(zhí)行編碼。編碼部分16對(duì)從圖像處理部分15給出的處理后的圖像數(shù)據(jù)進(jìn)行編碼。這使得可以獲得拍攝的圖像的期望量的編碼數(shù)據(jù)。如上所述，確定預(yù)處理圖像，以使得用于獲得處理后的預(yù)處理圖像所需的處理前的圖像的尺寸減小。這樣獲得的預(yù)處理圖像用于估計(jì)代碼量。結(jié)果，當(dāng)執(zhí)行預(yù)處理時(shí)，可以降低從易失性存儲(chǔ)部分19讀取的圖像數(shù)據(jù)量，使得可以降低處理時(shí)間和功耗。另外，由于由圖像處理部分15處理的圖像數(shù)據(jù)被提供給編碼部分16，所以能夠降低對(duì)易失性存儲(chǔ)部分19的通信量。<4.作為預(yù)處理的獲得DC分量的操作>下面解釋編碼部分16如何使用JPEG方法對(duì)圖像數(shù)據(jù)進(jìn)行編碼以及在預(yù)處理中獲取DC分量。該編碼方法包括對(duì)作為緊接在前編碼的塊的DC分量的差分的前值差分進(jìn)行編碼以增強(qiáng)編碼效率。為了高效執(zhí)行圖像處理和其它處理，成像設(shè)備10以多塊增量為圖像處理的單位讀取圖像數(shù)據(jù)。在這種情況下，可以預(yù)先在預(yù)處理中獲得DC分量作為用于計(jì)算前值差分的前值。當(dāng)以這種圖像處理單位為增量讀取圖像數(shù)據(jù)時(shí)，在預(yù)處理中預(yù)先獲取的DC 分量可用于對(duì)讀取的塊進(jìn)行編碼。例如，如果圖像處理單位是水平方向上的兩個(gè)塊和垂直方向上的三個(gè)塊(如圖11 所示)，則成像設(shè)備10可以從易失性存儲(chǔ)部分19讀取塊“1”、“2”、“9”、“10”、“17”和“18” 的圖像數(shù)據(jù)以進(jìn)行圖像處理和編碼。在這種情況下，如果在預(yù)處理中獲得塊“8”和“16”的 DC分量，則由此能夠?qū)K“9”和“ 17”進(jìn)行編碼。塊“ I ”是第一塊并且計(jì)算的DC分量被量化。使用塊“I”的DC分量對(duì)塊“2”進(jìn)行編碼。類似的是，分別使用塊“9”和“17”的DC分量對(duì)塊“ 10 ”和“ 18 ”進(jìn)行編碼。如上所述，成像設(shè)備10預(yù)先在預(yù)處理中獲取DC分量。如果以該圖像處理單位為增量讀取圖像數(shù)據(jù)，則成像設(shè)備10可以使用在預(yù)處理中獲得的DC分量對(duì)由此讀取的圖像數(shù)據(jù)進(jìn)行編碼。圖12是示出DC分量獲取處理的流程圖。在步驟ST21中，控制部分25設(shè)置預(yù)處理讀取區(qū)域。例如，在要對(duì)源于透鏡畸變的畸變的圖像進(jìn)行校正的情況下，能夠基于使用的透鏡、變焦因子、等等確定產(chǎn)生的畸變的性質(zhì)。由此，控制部分25根據(jù)使用的透鏡、變焦因子等等確定畸變較小的圖像區(qū)域。另外，控制部分25基于圖像區(qū)域的確定結(jié)果確定預(yù)處理圖像，以使得在預(yù)處理中獲得的處理后的預(yù)處理圖像所需的處理前的圖像的尺寸減小。另外，控制部分25設(shè)置獲得確定的預(yù)處理圖像所需的處理前的圖像的區(qū)域作為預(yù)處理讀取區(qū)域。控制部分25然后進(jìn)入步驟ST22。現(xiàn)在假設(shè)獲取的圖像的右側(cè)的畸變較大，而左側(cè)的畸變較小(如圖13A所示)。 在這種情況下，如果采用較大畸變圖像部分中的塊“8”的列作為預(yù)處理圖像從而使得GApS 被當(dāng)作預(yù)處理讀取區(qū)域(如圖13B所示)，要讀取的數(shù)據(jù)量將會(huì)增加。因此，控制部分25在小畸變的圖像部分中定位預(yù)處理圖像并且相應(yīng)地設(shè)置預(yù)處理讀取區(qū)域。例如，如圖13C所示，可以采用小畸變的圖像部分中的塊“2”的列的圖像作為預(yù)處理圖像并且區(qū)域GAp2被當(dāng)作預(yù)處理讀取區(qū)域。在步驟ST22中，控制部分25從易失性存儲(chǔ)部分19讀取預(yù)處理讀取區(qū)域的圖像數(shù)據(jù)，并且在進(jìn)入步驟ST23之前，將讀取圖像數(shù)據(jù)送給圖像處理部分15。在步驟ST23中，圖像處理部分15執(zhí)行圖像處理。圖像處理部分15可以對(duì)獲取的預(yù)處理讀取區(qū)域的圖像數(shù)據(jù)執(zhí)行畸變校正和其它處理。圖像處理部分15然后將處理后的圖像數(shù)據(jù)輸出到編碼部分16，然后進(jìn)入步驟ST24。在步驟ST24中，編碼部分16執(zhí)行編碼。編碼部分16對(duì)從圖像處理部分15給出的處理后的圖像數(shù)據(jù)進(jìn)行編碼，然后進(jìn)入步驟ST25。在步驟ST25中，控制部分25獲取DC分量。當(dāng)存儲(chǔ)通過已經(jīng)對(duì)預(yù)處理讀取區(qū)域的圖像數(shù)據(jù)進(jìn)行編碼的編碼部分16獲得的DC分量時(shí)，控制部分25終止預(yù)處理，該存儲(chǔ)被執(zhí)行以使得DC分量應(yīng)用于所有拍攝的圖像的接下來編碼中。另外，成像設(shè)備10使用在預(yù)處理中獲取的DC分量對(duì)拍攝的圖像進(jìn)行編碼。圖14 是示出通常如何對(duì)拍攝的圖像進(jìn)行編碼的流程圖。在步驟ST31中，控制部分25設(shè)置第一讀取區(qū)域。控制部分25將在編碼的前進(jìn)方向上與在預(yù)處理中讀取的塊相鄰的區(qū)域設(shè)置作為第一讀取區(qū)域，然后進(jìn)入步驟ST32。在步驟ST32中，控制部分25讀取讀取區(qū)域的圖像數(shù)據(jù)。在進(jìn)入步驟ST33之前， 控制部分25從易失性存儲(chǔ)部分19讀取讀取區(qū)域的圖像數(shù)據(jù)，并且將獲取的圖像數(shù)據(jù)提供給圖像處理部分15。在步驟ST33中，圖像處理部分15使用獲取的圖像數(shù)據(jù)執(zhí)行圖像處理。在進(jìn)入步驟ST34之前，圖像處理部分15使用以圖像處理單位為增量獲取的圖像數(shù)據(jù)執(zhí)行畸變校正和其它處理。在步驟ST34中，編碼部分16執(zhí)行編碼。在進(jìn)入步驟ST35之前，編碼部分16使用在預(yù)處理中或者在先編碼處理中獲得的DC分量對(duì)圖像數(shù)據(jù)進(jìn)行編碼。在步驟ST35中，控制部分25確定所有處理是否完成。如果仍有要進(jìn)行處理和編碼的任何圖像數(shù)據(jù)，則控制部分25進(jìn)入步驟ST36。如果已經(jīng)對(duì)所有拍攝的圖像進(jìn)行了處理和編碼，則控制部分25終止處理。在步驟ST36中，控制部分25確定讀取區(qū)域是否在右邊緣上。如果讀取區(qū)域在拍攝的圖像的右邊緣上，則控制部分25進(jìn)入步驟ST37。否則，控制部分進(jìn)入步驟ST38。在步驟ST37中，控制部分25將讀取區(qū)域移至左邊緣。然后控制部分25進(jìn)入步驟 ST39。在步驟ST38中，控制部分25將讀取區(qū)域向右移動(dòng)一個(gè)圖像處理單位。在步驟ST38 以后，控制部分25進(jìn)入步驟ST39。在步驟ST39中，控制部分25確定從移動(dòng)后的讀取區(qū)域讀取圖像數(shù)據(jù)是否完成。如果確定從移動(dòng)的讀取區(qū)域讀取圖像數(shù)據(jù)完成，則控制部分25進(jìn)入步驟ST40。如果確定還有圖像數(shù)據(jù)要從移動(dòng)的讀取區(qū)域讀取，則控制部分25返回步驟ST32。在步驟ST40中，控制部分25將讀取區(qū)域向下移動(dòng)一個(gè)圖像處理單位。在步驟ST40 以后，控制部分25返回到步驟ST32。圖15示出了當(dāng)采用塊“2”的列的圖像作為預(yù)處理圖像設(shè)置預(yù)處理讀取區(qū)域時(shí)執(zhí)行的編碼操作。當(dāng)采用塊“2”的列的圖像作為預(yù)處理圖像時(shí)，控制部分25設(shè)置由在編碼的前進(jìn)方向上與在預(yù)處理處理中讀取的塊相鄰的圖像處理單位組成的區(qū)域(即，由塊“3”、“4”、 “11”、“12”、“19”和“20”組成的區(qū)域)作為第一讀取區(qū)域。控制部分25然后讀取讀取區(qū)域的圖像數(shù)據(jù)并且對(duì)讀取數(shù)據(jù)進(jìn)行處理和編碼。由于在預(yù)處理中已經(jīng)獲得了塊“2”、“10” 和“18”的DC分量，所以編碼部分16使用獲取的DC分量對(duì)塊“3”、“11”和“19”進(jìn)行編碼。 另外，編碼部分16能夠使用在塊“3”、“11”和“19”的編碼處理中計(jì)算的DC分量對(duì)塊“4”、 “12”和“20”進(jìn)行編碼。當(dāng)?shù)谝蛔x取區(qū)域的圖像處理和編碼完成時(shí)，控制部分25將讀取區(qū)域移至由塊 “5”、“6”、“13”、“14”、“21”和“22”組成的區(qū)域，并且使用新到達(dá)的讀取區(qū)域的圖像數(shù)據(jù)執(zhí)行圖像處理和編碼。在要對(duì)塊“ 5 ”、“ 13 ”和“ 21 ”進(jìn)行編碼的情況下，使用在塊“ 4 ”、“12”和 “20”的編碼處理中計(jì)算的DC分量。 控制部分25然后將讀取區(qū)域移至由塊“ 7 ”、“ 8 ”、“ 15 ”、“ 16，，、“ 23 ”和“ 24 ”組成的
區(qū)域，并且使用新到達(dá)的讀取區(qū)域的圖像數(shù)據(jù)執(zhí)行圖像處理和編碼。此刻，讀取區(qū)域位于圖像的右邊緣上。由此在該讀取區(qū)域的圖像處理和編碼以后，控制部分25將讀取區(qū)域移至圖像的左邊緣，即移至由塊“ I ”、“ 2 ”、“9 ”、“ 10，，、“ 17 ”和“ 18 ”組成的區(qū)域。控制部分25然后使用新到達(dá)的讀取區(qū)域的圖像數(shù)據(jù)執(zhí)行圖像處理和編碼。塊“I”是第一塊并且計(jì)算的DC 分量被量化。分別使用在塊“8”和“ 16”的編碼處理中計(jì)算的DC分量對(duì)塊“9”和“ 17”進(jìn)
行編碼。然后向右移動(dòng)讀取區(qū)域。此時(shí)的讀取區(qū)域由已經(jīng)執(zhí)行了圖像處理和編碼的塊“3”、 “4”、“11”、“12”、“19”和“20”組成。由此，控制部分25向下移動(dòng)讀取區(qū)域以到達(dá)由塊“27”、 “28”、“35”、“36”、“43”和“44”組成的區(qū)域，并且使用新到達(dá)的讀取區(qū)域執(zhí)行圖像處理和編碼。由于已經(jīng)在預(yù)處理中獲得了塊“26”、“34”和“42”的DC分量，所以編碼部分16能夠使用這些DC分量對(duì)塊“27”、“35”和“43”進(jìn)行編碼。能夠同樣地對(duì)所有拍攝的圖像執(zhí)行圖像處理和編碼。如上所述，控制部分25確定預(yù)處理圖像，以使得用于獲得處理后的預(yù)處理圖像所需的處理前的圖像的尺寸減小。使用這樣確定的預(yù)處理圖像，控制部分25預(yù)先獲得用于計(jì)算前值差分的前值。這使得成像設(shè)備10將當(dāng)預(yù)處理時(shí)要從易失性存儲(chǔ)部分19讀取的圖像數(shù)據(jù)量最小化，由此降低處理時(shí)間和功耗。另外，由于通過圖像處理部分15處理的圖像數(shù)據(jù)被提供給編碼部分16，所以成像設(shè)備10能夠降低易失性存儲(chǔ)部分19的通信量。順便說一句，如果以減小讀取數(shù)據(jù)量的方式設(shè)置預(yù)處理讀取數(shù)據(jù)，并且如果將由在編碼的前進(jìn)方向上與在預(yù)處理中讀取的塊相鄰的圖像處理單位組成的區(qū)域設(shè)置作為第一讀取區(qū)域，則可能不會(huì)以遵照使用種的編碼方法的方式對(duì)最終編碼的數(shù)據(jù)進(jìn)行排序。圖16A、16B、16C、16D和16E示出了當(dāng)采用塊“2”的列的圖像作為預(yù)處理圖像時(shí)執(zhí)行的圖像處理和編碼操作。例如，使用塊“2”的列的圖像作為預(yù)處理圖像，控制部分25可以設(shè)置由塊“3”、“4”、“11”、“12”、“19”和“20”組成的區(qū)域作為第一讀取區(qū)域，如圖16A所示。當(dāng)從第一讀取區(qū)域開始圖像處理時(shí)，從如圖16B所示的第一讀取區(qū)域產(chǎn)生處理后的圖像數(shù)據(jù)。由于處理后的圖像數(shù)據(jù)被提供給編碼部分16，所以以圖16C所示的塊的順序產(chǎn)生編碼的數(shù)據(jù)。由于沒有按照編碼方法對(duì)這樣產(chǎn)生的編碼的數(shù)據(jù)的塊進(jìn)行正確排序，所以重新排序部分17以塊為增量對(duì)編碼的數(shù)據(jù)進(jìn)行重新排序。圖17A和圖17B是示出如何對(duì)編碼的數(shù)據(jù)的塊單位進(jìn)行重新排序的示意圖。圖 17A示出了當(dāng)對(duì)處理后的圖像數(shù)據(jù)進(jìn)行編碼時(shí)有效的塊的典型順序。重新排序部分17以塊為增量對(duì)編碼的數(shù)據(jù)進(jìn)行重新排序，從而使得按照該編碼方法對(duì)塊進(jìn)行正確排序，即向右以從“I”開始的塊編號(hào)的升序重新布置這些塊(如圖17B所示)。在該重新排序以后，編碼的數(shù)據(jù)被重新布置成圖16D所示的順序。當(dāng)對(duì)這樣重新排序的編碼的數(shù)據(jù)進(jìn)行解碼時(shí)，能夠以如圖16E所示的塊的正確順序產(chǎn)生圖像數(shù)據(jù)。<5.用于預(yù)處理的預(yù)處理圖像的具體例子〉圖18A到圖19B示出了對(duì)由透鏡導(dǎo)致的畸變進(jìn)行校正的例子。圖18A和圖19A均指示校正前的圖像，圖18B和圖19B均指示校正后的圖像。可歸因于透鏡的圖像畸變趨于不出現(xiàn)在中心而是出現(xiàn)在邊緣處。如圖18A到圖19B所示，控制部分25由此通過確定由虛線指示的中心處的預(yù)處理圖像設(shè)置預(yù)處理讀取區(qū)域。與在如點(diǎn)劃線指示的邊緣處確定預(yù)處理圖像相比較，這種設(shè)置使得要在預(yù)處理中讀取的圖像數(shù)據(jù)量更小。這使得成像設(shè)備10降低處理時(shí)間和功耗。圖20A和圖20B示出了對(duì)縮放率隨位置而不同的圖像進(jìn)行校正的例子。圖20A示出了校正前的圖像，圖20B指示校正后的圖像。當(dāng)縮放率隨圖像中的位置而不同時(shí)，控制部分25在縮小率較大的位置處(即，附圖的左邊上)確定預(yù)處理圖像，以便設(shè)置預(yù)處理讀取區(qū)域。與預(yù)處理圖像位于中心或右側(cè)處相比較，這種設(shè)置使得要在預(yù)處理中讀取的圖像數(shù)據(jù)量更小。這使得成像設(shè)備10降低處理時(shí)間和功耗。圖21A和圖21B示出了對(duì)縮放率隨顏色而不同的圖像進(jìn)行校正的例子。圖21A示出了校正前的圖像，圖21B指示校正后的圖像。該例子示出藍(lán)色圖像的縮小率較大，紅色圖像的放大率較大。在由圖像處理部分15校正色差的情況下，圖像的縮放率越靠近屏幕的邊緣越大，越靠近屏幕中心越小。因此，控制部分25在中心處確定預(yù)處理圖像的位置，從而設(shè)置預(yù)處理讀取區(qū)域。與在邊緣處確定預(yù)處理圖像的位置相比較，該設(shè)置使得要在預(yù)處理進(jìn)行讀取的圖像數(shù)據(jù)量更小。這使得成像設(shè)備10降低處理時(shí)間和功耗。圖22A和圖22B示出了對(duì)模糊的拍攝圖像進(jìn)行校正的例子。在圖22A中，右側(cè)上人的圖像模糊。通常，使用數(shù)字濾波器完成模糊圖像的校正。為了執(zhí)行過濾處理，通常需要讀取比針對(duì)進(jìn)行校正的區(qū)域要寬的區(qū)域的圖像數(shù)據(jù)。如果數(shù)字濾波器中的抽頭的數(shù)目增加， 則從其讀取圖像數(shù)據(jù)的區(qū)域相應(yīng)地增加。即，當(dāng)在圖像處理中執(zhí)行模糊校正時(shí)，通常需要從比模糊區(qū)域要寬的區(qū)域讀取圖像數(shù)據(jù)。因此，控制部分25確定存在較小模糊的預(yù)處理圖像的位置。與在存在很多模糊的位置確定預(yù)處理圖像的位置相比，這使得要在預(yù)處理中讀取的數(shù)據(jù)量更小。這又使得成像設(shè)備10降低處理時(shí)間和功耗。另外，當(dāng)圖像處理部分15執(zhí)行畸變校正、色差校正和模糊校正時(shí)，成像設(shè)備10可以考慮這些校正處理的每個(gè)所需的圖像數(shù)據(jù)量，以使得預(yù)處理圖像的位置最佳。圖23A、23B、23C和23D示出了當(dāng)順序?qū)囊资源鎯?chǔ)部分19讀取的圖像數(shù)據(jù)有效確定預(yù)處理圖像的操作。例如，圖23A示出了由圖像處理部分15處理的圖像中的預(yù)處理圖像的三個(gè)候選區(qū)域(每5個(gè)像素寬)。在圖23A中，圖像的最左區(qū)域、最右區(qū)域和中心區(qū)域被選擇為預(yù)處理圖像的候選區(qū)域。圖23B指示獲得校正后的預(yù)處理圖像所需的校正前的預(yù)處理讀取區(qū)域。例如，圖 23B示出為了獲得畸變校正和其它校正后的最左候選區(qū)域的預(yù)處理圖像，需要從校正前的圖像獲取比最左候選區(qū)域(5個(gè)像素寬)寬2個(gè)像素的區(qū)域的圖像數(shù)據(jù)。即，如果使用左邊緣上具有7個(gè)像素寬度的預(yù)處理讀取區(qū)域的圖像數(shù)據(jù)執(zhí)行畸變校正，則能夠產(chǎn)生圖23A 所示的最左候選區(qū)域的預(yù)處理圖像。同樣，圖23B示出為了獲得最右候選區(qū)域的預(yù)處理圖像，需要從校正前的圖像獲取比最右候選區(qū)域(5個(gè)像素寬)寬2個(gè)像素的區(qū)域的圖像數(shù)據(jù)。圖23B還示出為了獲得中心候選區(qū)域的預(yù)處理圖像，需要從校正前的圖像獲取在兩側(cè)上比中心候選區(qū)域(5個(gè)像素寬)要窄一個(gè)像素的區(qū)域的圖像數(shù)據(jù)。圖23C示出了要針對(duì)模糊進(jìn)行校正并且獲得針對(duì)模糊進(jìn)行校正的候選區(qū)域的預(yù)處理圖像所需的預(yù)處理讀取區(qū)域。在圖23C中，假設(shè)最左候選區(qū)域是沒有模糊的預(yù)處理圖像的區(qū)域，中心候選區(qū)域是顯著模糊的預(yù)處理圖像的區(qū)域，最右候選區(qū)域是可忽略模糊的預(yù)處理圖像的區(qū)域。圖像中的沒有模糊的最左候選區(qū)域不需要用于模糊校正的過濾處理。因此，圖23C 指示為了獲得校正后的最左候選區(qū)域的預(yù)處理圖像，需要從校正前的圖像獲取校正前的最左候選區(qū)域(即，7個(gè)像素寬的區(qū)域)的圖像數(shù)據(jù)。即，如果使用7個(gè)像素寬的最左區(qū)域的圖像數(shù)據(jù)執(zhí)行模糊校正，則能夠產(chǎn)生圖23B中所示的最左候選區(qū)域的預(yù)處理圖像。圖23C還示出為了執(zhí)行最右候選區(qū)域的預(yù)處理圖像的模糊校正，需要獲取比校正前的最右候選區(qū)域?qū)捔伺c濾波器的抽頭計(jì)數(shù)對(duì)應(yīng)的數(shù)目的像素的區(qū)域。例如，顯示了需要從校正前的圖像獲得比校正前的最右候選區(qū)域?qū)扞個(gè)像素的區(qū)域的圖像數(shù)據(jù)。另外，圖 23C指示為了校正中心候選區(qū)域的預(yù)處理圖像的模糊，需要獲取比校正前的中心候選區(qū)域?qū)捔伺c濾波器的抽頭計(jì)數(shù)對(duì)應(yīng)的數(shù)目的像素的區(qū)域。例如，為了通過增加的抽頭計(jì)數(shù)校正許多模糊，顯示了需要從校正前的圖像獲取在左側(cè)上比校正前的中心候選區(qū)域?qū)?個(gè)像素而在右側(cè)上寬2個(gè)像素的區(qū)域的圖像數(shù)據(jù)。S卩，為了通過從易失性存儲(chǔ)部分19讀取圖像數(shù)據(jù)獲得候選區(qū)域的預(yù)處理圖像以進(jìn)行模糊校正和畸變校正，需要讀取圖23D中所示的區(qū)域的圖像數(shù)據(jù)。例如，為了獲得圖 23A所示的最左候選區(qū)域的圖像，需要設(shè)置7個(gè)像素寬的最左區(qū)域作為預(yù)處理讀取區(qū)域，并且相應(yīng)地從易失性存儲(chǔ)部分19讀取圖像數(shù)據(jù)。另外，為了獲得圖23A所示的最右候選區(qū)域的圖像，需要設(shè)置8個(gè)像素寬的最右區(qū)域作為預(yù)處理讀取區(qū)域，并且相應(yīng)地從易失性存儲(chǔ)部分19讀取圖像數(shù)據(jù)。另外，為了獲得圖23A所示的中心候選區(qū)域的圖像，需要設(shè)置8個(gè)像素寬的中心區(qū)域作為預(yù)處理讀取區(qū)域，并且相應(yīng)地從易失性存儲(chǔ)部分19讀取圖像數(shù)據(jù)。因此，控制部分25將要從易失性存儲(chǔ)部分19讀取的圖像數(shù)據(jù)量進(jìn)行比較，并且選擇具有最小數(shù)據(jù)量的最左候選區(qū)域的圖像作為預(yù)處理圖像。另外，控制部分25設(shè)置獲得作為預(yù)處理圖像的最左候選區(qū)域的圖像所需的處理前的圖像的區(qū)域作為預(yù)處理讀取區(qū)域。以這種方式，當(dāng)結(jié)合要執(zhí)行的校正處理時(shí)，控制部分25通過考慮各個(gè)校正處理所需的區(qū)域設(shè)置預(yù)處理讀取區(qū)域。這使得成像設(shè)備10降低處理時(shí)間和功耗。可以通過硬件、軟件或者二者的組合執(zhí)行在這個(gè)說明書中解釋的這一系列處理。 在通過軟件執(zhí)行圖像處理和編碼的情況下，組成處理序列的程序可以從計(jì)算機(jī)的專用硬件加載到它的內(nèi)部存儲(chǔ)器以用于執(zhí)行，或者在程序執(zhí)行時(shí)從適宜源安裝到通用計(jì)算機(jī)或能夠基于安裝的程序執(zhí)行各種功能的設(shè)備等等。例如，程序可以預(yù)記錄在用作記錄介質(zhì)的硬盤或ROM(只讀存儲(chǔ)器)上。或者，程序可以臨時(shí)或永久存儲(chǔ)(記錄)在可移動(dòng)記錄介質(zhì)(例如，軟盤、CD-ROM(緊湊盤只讀存儲(chǔ)器)、M0(磁光)盤、DVD (數(shù)字多功能盤)、磁盤或半導(dǎo)體存儲(chǔ)器)上。可以提供這些可移動(dòng)記錄介質(zhì)作為所謂的套裝軟件。除了從上述可移動(dòng)記錄介質(zhì)安裝到計(jì)算機(jī)以外，程序還可以經(jīng)由LAN(局域網(wǎng))或者互聯(lián)網(wǎng)從下載網(wǎng)站以無線方式或者以有線方式轉(zhuǎn)移到計(jì)算機(jī)。計(jì)算機(jī)可以接收這些轉(zhuǎn)移的程序并且將它們安裝在適宜的內(nèi)置記錄介質(zhì)(例如，硬盤)上。使用本文公開的技術(shù)的圖像處理設(shè)備、圖像處理方法和成像設(shè)備執(zhí)行預(yù)處理，使得在對(duì)輸入圖像進(jìn)行圖像處理以后而在對(duì)處理的圖像進(jìn)行編碼之前，對(duì)作為輸入圖像的一部分的預(yù)處理圖像進(jìn)行處理和編碼以預(yù)先獲得用于對(duì)輸入圖像進(jìn)行編碼所需的信息。該預(yù)處理包括確定預(yù)處理圖像，以使得用于獲得處理后的預(yù)處理圖像所需的處理前的圖像的尺寸減小。這使得可以在預(yù)處理中減小針對(duì)圖像處理目的要從輸入圖像讀取的數(shù)據(jù)量，由此能夠降低處理時(shí)間和功耗。這樣，本發(fā)明的技術(shù)可以有利地適用于諸如數(shù)字相機(jī)等等的成像設(shè)備。
應(yīng)該明白，盡管結(jié)合特定實(shí)施例描述了本發(fā)明，但是顯而易見，本領(lǐng)域技術(shù)人員鑒于上述描述可以想到多種替代、變型和修改。因此，本發(fā)明旨在包括落入權(quán)利要求的精神和范圍內(nèi)的所有這些替代、變型和修改。本申請(qǐng)包含與在于2011年I月18日提交到日本專利局的日本優(yōu)先權(quán)專利申請(qǐng)JP 2011-007687中公開的主題有關(guān)的主題，該日本優(yōu)先權(quán)專利申請(qǐng)的全部?jī)?nèi)容以引用方式并入本文。
權(quán)利要求
1.一種圖像處理設(shè)備，包括圖像處理部分，被構(gòu)造為對(duì)輸入圖像執(zhí)行圖像處理，使得在所述圖像處理中，用于獲得處理后的圖像所需的處理前的圖像的尺寸根據(jù)在所述輸入圖像中所述處理前的圖像的位置而不同；編碼部分，被構(gòu)造為對(duì)從所述圖像處理部分輸出的處理后的圖像進(jìn)行編碼；以及預(yù)處理指示部分，被構(gòu)造為在所述輸入圖像的圖像處理和編碼之前，所述預(yù)處理指示部分指示所述圖像處理部分對(duì)作為所述輸入圖像的一部分的預(yù)處理圖像執(zhí)行圖像處理作為預(yù)處理，并且將處理后的預(yù)處理圖像發(fā)送至所述編碼部分，以從所述編碼部分預(yù)先獲取用于對(duì)所述輸入圖像進(jìn)行編碼的所需信息，其中，所述預(yù)處理指示部分確定所述預(yù)處理圖像以使得用于獲得所述處理后的預(yù)處理圖像所需的所述處理前的圖像的尺寸減小。
2.根據(jù)權(quán)利要求I的圖像處理設(shè)備，其中，所述圖像處理部分執(zhí)行包括以下處理中的至少一種的圖像處理使縮放率隨顏色分量而不同的圖像成為相同尺寸的處理，使縮放率隨圖像位置而不同的圖像成為相同尺寸的處理，應(yīng)用抽頭計(jì)數(shù)隨圖像位置而不同的濾波器的處理，和對(duì)由透鏡導(dǎo)致的圖像畸變進(jìn)行校正的處理。
3.根據(jù)權(quán)利要求I的圖像處理設(shè)備，其中，所述預(yù)處理指示部分獲得代碼量作為編碼所需的息。
4.根據(jù)權(quán)利要求I的圖像處理設(shè)備，其中，所述編碼部分以預(yù)定代碼順序?qū)η爸挡罘诌M(jìn)行編碼；以及在所述預(yù)處理中，所述預(yù)處理指示部分預(yù)先獲得用于計(jì)算所述前值差分的前值。
5.根據(jù)權(quán)利要求4的圖像處理設(shè)備，其中，所述編碼部分使用JPEG方法執(zhí)行編碼；以及所述預(yù)處理指示部分在所述預(yù)處理期間預(yù)先獲得直流分量。
6.根據(jù)權(quán)利要求I的圖像處理設(shè)備，其中，所述預(yù)處理指示部分使用所述處理后的預(yù)處理圖像作為用于所述編碼的處理的單位的尺寸。
7.根據(jù)權(quán)利要求I的圖像處理設(shè)備，還包括重新排序部分，被構(gòu)造為對(duì)代碼順序進(jìn)行重新排序，其中，所述編碼部分以與預(yù)定代碼順序不同的順序?qū)λ鲚斎雸D像進(jìn)行編碼；以及所述重新排序部分將從所述編碼部分輸出的代碼重新排序成所述預(yù)定代碼順序。
8.—種圖像處理方法，包括對(duì)輸入圖像執(zhí)行圖像處理，使得在所述圖像處理中，用于獲得處理后的圖像所需的處理前的圖像的尺寸根據(jù)所述輸入圖像中的所述處理前的圖像的位置而不同；對(duì)所述圖像處理后的圖像進(jìn)行編碼；在所述編碼之前，對(duì)作為所述輸入圖像的一部分的預(yù)處理圖像執(zhí)行圖像處理和編碼， 以預(yù)先獲取用于對(duì)所述輸入圖像進(jìn)行編碼的所需信息；以及在所述預(yù)處理過程中，確定所述預(yù)處理圖像以使得用于獲得所述處理后的預(yù)處理圖像所需的所述處理前的圖像的尺寸減小。
9.一種成像設(shè)備，包括成像部分，被構(gòu)造為產(chǎn)生拍攝的圖像；圖像處理部分，被構(gòu)造為對(duì)所述拍攝的圖像執(zhí)行圖像處理，使得在所述圖像處理中，用于獲得處理后的圖像所需的處理前的圖像的尺寸根據(jù)所述拍攝的圖像中的所述處理前的圖像的位置而不同；編碼部分，被構(gòu)造為對(duì)從所述圖像處理部分輸出的處理后的圖像進(jìn)行編碼；以及預(yù)處理指示部分，被構(gòu)造為在所述拍攝的圖像的圖像處理和編碼之前，所述預(yù)處理指示部分指示所述圖像處理部分對(duì)作為所述獲取的圖像的一部分的預(yù)處理圖像執(zhí)行圖像處理，并且將處理后的預(yù)處理圖像發(fā)送至所述編碼部分，以從所述編碼部分預(yù)先獲取用于對(duì)所述拍攝的圖像進(jìn)行編碼的所需信息，其中，所述預(yù)處理指示部分確定所述預(yù)處理圖像以使得用于獲得所述處理后的預(yù)處理圖像所需的所述處理前的圖像的尺寸減小。
全文摘要
本發(fā)明提供了一種圖像處理設(shè)備、圖像處理方法和成像設(shè)備。圖像處理設(shè)備包括圖像處理部分，被構(gòu)造為對(duì)輸入圖像執(zhí)行圖像處理，使得在所述圖像處理中，用于獲得處理后的圖像所需的處理前的圖像的尺寸根據(jù)在所述輸入圖像中所述處理前的圖像的位置而不同；編碼部分，被構(gòu)造為對(duì)從所述圖像處理部分輸出的處理后的圖像進(jìn)行編碼；以及預(yù)處理指示部分，被構(gòu)造為在所述輸入圖像的圖像處理和編碼之前，所述預(yù)處理指示部分指示所述圖像處理部分對(duì)作為所述輸入圖像的一部分的預(yù)處理圖像執(zhí)行圖像處理作為預(yù)處理，并且將處理后的預(yù)處理圖像發(fā)送至所述編碼部分，以從所述編碼部分預(yù)先獲取用于對(duì)所述輸入圖像進(jìn)行編碼的所需信息。
文檔編號(hào)H04N9/64GK102611825SQ20121000657
公開日2012年7月25日 申請(qǐng)日期2012年1月11日 優(yōu)先權(quán)日2011年1月18日
發(fā)明者尾崎浩治 申請(qǐng)人:索尼公司