專利名稱：使用滾動快門拍攝圖像的成像器的制作方法
技術領域：
本發明涉及一種包括使用滾動快門捕捉圖像的成像傳感器的成像器。
背景技術：
公知的用于捕捉圖像的成像傳感器具有設置在二維平面上的光電二極管。成像器 連續顯示從成像傳感器輸出到顯示器的圖像數據。觀察顯示器的用戶能夠看到圖像，并能 夠識別預覽圖像(through image)。美國已公布專利申請公開No. 2006-0157760A1公開了 一種作為成像器中使用的成像傳感器的CMOS成像傳感器。但是，CMOS成像傳感器使用滾動快門照相，從而CMOS成像傳感器中設置的每個光 電二極管的曝光時刻在垂直方向上不同。因此，在對象的位置、尺寸等等隨時間變化的情況 下，所顯示的圖像和影片會發生畸變并會很難看。

發明內容
本發明的目的是提供一種在拍攝變化較大的動態對象的情況下在顯示器上顯示 具有最小畸變的圖像的成像器。成像器具有成像傳感器和對焦檢測器。成像傳感器沿正向或逆向讀取所存儲的電 荷并輸出從所讀取的電荷創建的圖像數據。比較器計算所述成像傳感器輸出的第一圖像數 據與成像傳感器在輸出第一圖像數據之后緊接著輸出的第二圖像數據之間的差，并確定該 差是否大于第一閾值。合成器(composer)從成像傳感器輸出的兩個圖像的數據創建合成 圖像數據。在比較器確定該差大于第一閾值的情況下，合成器從第二圖像數據以及通過沿 與第二圖像數據的掃描方向相反的逆向掃描第二圖像獲得的逆向掃描圖像數據創建合成 圖像數據。


參照附圖，通過下面的描述將更好地理解本發明的目的和優點，其中圖1是根據本發明的實施例的成像器從其后表面所見的透視圖；圖2是成像器的方塊圖；圖3是具有最小畸變的對象圖像；圖4顯示了在從上到下掃描的情況下通過使用滾動快門導致的畸變；圖5顯示了在從下到上掃描的情況下通過使用滾動快門導致的畸變；圖6顯示了通過第一畸變降低過程獲得的圖像；圖7是第一畸變降低過程的流程圖；以及圖8是第二畸變降低過程的流程圖。
具體實施例方式下面將參考附圖所示的實施例描述本發明。
圖1和2顯示了作為根據本實施例的成像器的數碼相機100。例如，數碼相機為輕 便型相機。照相機配備有開啟和關閉主電源的主電源開關111、釋放按鈕112、IXD監視器 114、卡槽116、以及從數碼相機的前表面突出的成像鏡頭121。主電源開關111和釋放按鈕 112由操作開關110構成。主電源開關111是從數碼相機100的后表面突出的瞬時開關(momentary switch) 0當用戶按下主電源開關111時，數碼相機100開機。如果用戶在數碼相機100被 供電時按下主電源開關111，則數碼相機100關機。釋放按鈕112是設置在數碼相機100的頂部的二階(two-step)瞬時開關。在用 戶部分按下釋放按鈕112的情況下，數碼相機執行測光、測距過程。在用戶完全按下釋放按 鈕112的情況下，數碼相機捕捉圖像。IXD監視器114的形狀是具有與所拍攝的圖像相同的縱橫比3 4的矩形。如圖 1所示，IXD監視器114的矩形的長邊沿數碼相機100的縱向方向延伸，IXD監視器114設 置在靠近數碼相機100的后表面的中心處。IXD監視器114顯示預覽圖像和通過照相鏡頭 121獲得的圖像、所拍攝的圖像、以及數碼相機100的配置設置。參考圖2描述數碼相機中設置的部件。數碼相機100主要包括控制數碼相機100 的操作的DSP 131、用于操作數碼相機100的操作開關110、將對象圖像轉化為數字圖像信 號的成像單元120、存儲從DSP 131發送來的數據的存儲器132、存儲所拍攝的圖像的SD 卡133、以及IXD監視器114。成像單元120主要包括CMOS成像傳感器124、AFE (模擬前 端)125、以及定時發生器(timing generator) 126。成像鏡頭121將對象圖像對焦到CMOS成像傳感器124的成像區域上。CMOS成像 傳感器124具有在其中將進入的對象圖像轉化為模擬圖像信號的成像區域。成像區域是矩 形的并設置在數碼相機100中，以使成像區域的長邊與圖1中從右到左的方向一致并且成 像區域的短邊與圖1中從上到下的方向一致。多個光電二極管在成像區域上排列。在下文 中，將沿長邊方向排列的光電二極管稱為行(1 ine)，將沿短邊方向排列的光電二極管稱為 列(row) οCMOS成像傳感器124將在成像區域上形成的對象圖像轉化為模擬圖像信號，然后 將模擬圖像信號發送到AFE 125。AFE 125在調整模擬圖像信號的增益之后將模擬圖像信 號轉化為數字圖像信號，然后將數字圖像信號發送到DSP 131。CMOS成像傳感器124使用滾動快門來輸出模擬圖像信號。滾動快門是一種信號讀 取過程(signal-reading procedure)，其為CMOS成像傳感器124的每一行(即沿長邊方 向排列的每組光電二極管)輸出模擬圖像信號。根據該實施例的CMOS成像傳感器124沿 從成像區域的頂部到底部的掃描方向輸出模擬圖像信號，然后沿從成像區域的底部到頂部 的掃描方向輸出模擬圖像信號。之后，CMOS成像傳感器124沿從成像區域的頂部到底部的 掃描方向輸出模擬圖像信號。即，CMOS成像傳感器124從上到下以及從下到上交替輸出信 號。在下文中，從成像區域的頂部到底部的掃描方向為正向，從成像區域的底部到頂部的掃 描方向為逆向。定時發生器126向CMOS成像傳感器124和AFE 125兩者發送基于來自DSP 131 的信號的定時信號。CMOS成像傳感器124和AFE 125基于該定時信號操作。
在成像前，DSP 131使用來自數字圖像信號中包含的對象圖像的光量執行對象的 測光過程。其根據測光值計算曝光值，然后計算拍攝中使用的快門速度和光圈值。之后，基 于計算出的快門速度和光圈值拍攝照片。DSP 131利用接收到的數字圖像信號控制照相鏡 頭121，對象圖像被對焦到CMOS成像傳感器的成像區域上。在從AFE 125接收到數字圖像信號之后，DSP 131處理數字圖像信號并將其發送 到IXD監視器114作為預覽圖像。DSP 131在拍攝過程中處理所接收的數字圖像信號并創建包含用于一幀圖像的數 據的圖像數據。圖像數據被存儲在SD卡133中并被顯示在IXD監視器114上。當DSP 131 進行計算并執行圖像處理時，存儲器132用作臨時存儲中間數據的工作存儲器。SD卡133可拆卸地存放在設于數碼相機100的側面的卡槽116中。用戶可以從數 碼相機100外部接近卡槽116來更換SD卡133。在拍攝狀態隨時間變化的對象的情況下，當能夠輸出存儲在光電二極管的全部行 或列中的電荷時對象的狀態可能會變化。由于CMOS成像傳感器124使用滾動快門輸出模 擬圖像信號，因此對每一行而言在每個光電二極管中存儲電荷的時刻不同。因此，CMOS成 像傳感器124所輸出的圖像可能會發生畸變。下文將參考圖3詳細描述輸出圖像的畸變。圖3顯示了作為數碼相機100的拍攝 對象的節拍器。節拍器具有繞垂直軸以短周期來回擺動的擺。圖4顯示了在CMOS成像傳感器124沿正向掃描后輸出模擬圖像信號的情況下獲 得的圖像。為了說明起見，圖像的畸變被放大。擺從CMOS成像傳感器124拍攝擺的末端的 時刻運動到CMOS成像傳感器124拍攝擺的軸的時刻。因此，在照片中，擺的直臂看起來具 有朝向節拍器頂部的凸曲線。圖5顯示了在CMOS成像傳感器124沿逆向掃描后輸出模擬圖像信號的情況下獲 得的圖像。為了說明起見，圖像的畸變被放大。擺從CMOS成像傳感器124拍攝擺的軸的時 刻運動到CMOS成像傳感器124拍攝擺的末端的時刻。因此，在照片中，擺的直臂看起來具 有朝向節拍器底部的凸曲線。為了防止變形，執行第一畸變降低過程。在第一畸變降低過程中，如果對象的運動 大于閾值，則將CMOS成像傳感器124沿正向掃描后輸出的圖像信號和CMOS成像傳感器124 沿逆向掃描后輸出的圖像信號一起平均，從而獲得具有最小畸變的圖像。作為該過程的結 果，獲得圖6所示的圖像。參考圖7描述第一畸變降低過程。在預覽圖像被顯示在IXD監視器114上或拍攝 影片的情況下，執行第一畸變降低過程。緊鄰執行該過程之前，DSP 131在存儲器132中存 儲從CMOS成像傳感器124讀取的一個幀圖像。在步驟S701中，DSP 131從CMOS成像傳感器124讀取幀圖像。在下文中，該幀圖 像為幀圖像N。在步驟S702中，DSP 131計算幀圖像N與之前從CMOS成像傳感器124讀取并存 儲在存儲器132中的幀圖像N-I之間的差S。幀圖像N-I包括CMOS成像傳感器在沿與幀圖 像N的掃描方向相反的方向掃描后捕捉和輸出的圖像信號。通過下面描述的公式計算差S。
6Yn XnS = XXK(W)-A-I(W)I
少=0 X=O其中，Pn(x，y)是幀圖像N中的像素(x，y)的彩色信號。通過對所有像素計算幀圖 像N中的像素(x，y)的彩色信號與幀圖像N-I中的像素(x，y)的彩色信號之差的總和來得 到差S。對全部的紅色、綠色、以及藍色信號計算差S。根據差S的計算來防止色移(color shift)ο在步驟S703中，確定差S是否超過特定值。該特定值是令使用滾動快門拍攝的圖 像不會發生畸變的試驗值。在差S大于特定值的情況下，過程進行到步驟S704。在差S小 于或等于特定值的情況下，過程進行到步驟S705，而不執行步驟S704。在步驟S704中，計算用于幀圖像N和幀圖像N_1的等式。通過計算幀圖像N中的 每個像素的平均彩色信號來計算用于幀圖像N的等式。以類似的方式計算用于幀圖像N-I 的等式。在步驟S705中，改變掃描方向，即顛倒掃描方向。從而準備讀取下一個幀圖像。之 后，過程結束。根據該實施例，在拍攝變化較大的動態對象的情況下，成像器100能夠在LCD監視 器114上顯示具有最小畸變的圖像。下文將參考圖8描述第二實施例。第二實施例中與第一實施例相似的結構使用相 似的附圖標記，并省略其描述。根據第二實施例的CMOS成像傳感器124沿從成像區域的頂 部到底部的方向輸出模擬圖像信號。在第二實施例中，掃描方向通常是從上到下的。DSP 131執行畸變降低過程。參考圖8描述第二畸變降低過程。在預覽圖像被顯 示在LCD監視器114上或拍攝影片的情況下，執行第二畸變降低過程。緊鄰執行畸變降低 過程之前，DSP 131在存儲器132中存儲從CMOS成像傳感器124中讀取的幀圖像。在步驟S801中，DSP 131從CMOS成像傳感器124讀取幀圖像。在下文中，該幀圖 像為幀圖像N。在步驟S802中，DSP 131計算幀圖像N與之前從CMOS成像傳感器124讀取并存 儲在存儲器132中的幀圖像N-I之間的差S。幀圖像N-I包括CMOS成像傳感器所輸出的通 過沿與幀圖像N的掃描方向相同的方向掃描來創建的圖像信號。在步驟S803中，確定差S是否超過特定值。該特定值是令使用滾動快門拍攝的圖 像不會發生畸變的試驗值。在差S大于特定值的情況下，過程進行到步驟S804。在差S小 于或等于特定值的情況下，過程結束。在步驟S804中，改變掃描方向，即顛倒掃描方向。從而準備讀取下一個幀圖像。在步驟S805中，DSP 131從CMOS成像傳感器124讀取幀圖像。在下文中，該幀圖 像為幀圖像N+1。在步驟S806中，計算用于幀圖像N和幀圖像N+1的等式。通過計算幀圖像N中的 每個像素的平均彩色信號來計算用于幀圖像N的等式。以類似的方式計算用于幀圖像N+1 的等式。在步驟S807中，改變掃描方向，即顛倒掃描方向。從而準備讀取下一個幀圖像。之 后，過程結束。根據該實施例，在CMOS成像傳感器124無法一直交替掃描的情況下，當只拍攝動
7態對象時，成像器100仍然可以通過交替掃描在IXD監視器114上顯示具有最小畸變的圖像。應當注意的是，滾動快門可以為CMOS成像傳感器124的每一列輸出模擬圖像信 號，即為每個沿短邊方向排列的光電二極管輸出模擬圖像信號。CMOS成像傳感器124從成 像區域從左至右輸出模擬圖像信號，然后從成像區域從右至左輸出模擬圖像信號。之后， CMOS成像傳感器124從成像區域從左至右輸出模擬圖像信號。即，CMOS成像傳感器124可 以從左至右以及從右至左交替輸出。DSP可以對幀圖像N中完成掃描的行、或者對掃描完成行和附近的掃描完成行計 算差S。因為是在差最大的區域中計算差S，這可以使待檢測對象的運動更有效率。可以不對所有的三個彩色信號計算差S，相反可以只對一個或兩個彩色信號計算 差S。此外，可以根本不對彩色信號計算差S，而可以改為對亮度進行計算。如圖4所示，成像區域被分成多個塊，計算每個塊中的信號的平均值，然后可以通 過計算從幀圖像N計算的所有塊的平均值與從幀圖像N-I計算的所有塊的平均值之差的總 和得到差S。應當注意的是，如果不能對所有像素計算差的總和，也可以改為以預定間隔計算 的差的總和。這種變化將縮短計算時間。還可以計算位于中心成像區域附近的多個像素之間的差的總和。由于對象圖像極 有可能位于中心成像區域附近，因此對象的運動被精確檢測。此外，當幀圖像N中掃描開始的行或列與幀圖像N中掃描結束的不同行或列之間 的差小于或等于步驟S703中的預定值時，可以不處理步驟S704。由于在差小于或等于預定 值的情況下，確定數碼相機在進行搖攝并且對象的狀態不改變，因此用于幀圖像的等式在 這種情況下不適用。因此，在數碼相機100進行搖攝的情況下，可以獲得具有最小畸變的圖像。雖然在此參考附圖描述了本發明的實施例，但是顯然本領域技術人員可在不脫離 本發明的范圍的情況下進行多種修改和變化。
權利要求
一種成像器，包括成像傳感器，其沿正向或逆向讀取存儲的電荷并輸出從所讀取的電荷創建的圖像數據；比較器，其計算所述成像傳感器輸出的第一圖像數據與所述成像傳感器在輸出第一圖像數據之后緊接著輸出的第二圖像數據之間的差，并確定該差是否大于第一閾值；以及合成器，其從所述成像傳感器輸出的兩個圖像的數據創建合成圖像數據；在所述比較器確定該差大于第一閾值的情況下，所述合成器從第二圖像數據和通過在與第二圖像數據的掃描方向相反的逆向上掃描第二圖像獲得的逆向掃描圖像數據創建合成圖像數據。
2.如權利要求1所述的成像器，其中所述成像傳感器通過交替在正向和逆向上讀取 電荷來輸出圖像數據，第一圖像數據是通過在與第二圖像數據的掃描方向相反的逆向上掃 描獲得的逆向掃描圖像數據，所述合成器從第一圖像數據和第二圖像數據創建合成圖像數 據。
3.如權利要求1所述的成像器，其中在所述比較器確定差大于第一閾值的情況下，所 述成像傳感器通過沿與第一圖像數據的掃描方向相反的逆向掃描而輸出逆向掃描圖像數 據，所述合成器從第一圖像數據和第二圖像數據創建合成圖像數據。
4.如權利要求1所述的成像器，其中所述比較器對每個相應的像素計算第一圖像數據 的信號值與第二圖像數據的信號值之差的總和，在總和大于第一閾值的情況下，所述合成 器創建合成圖像數據。
5.如權利要求1所述的成像器，其中所述比較器對每個相應的像素計算第一圖像數 據的信號值與第二圖像數據的信號值之間的任意的差的總和，在總和大于第一閾值的情況 下，所述合成器創建合成圖像數據。
6.如權利要求1所述的成像器，其中所述成像傳感器在所述成像傳感器的成像區域的 中心處具有中心區域，所述比較器對每個相應的像素計算第一圖像數據的中心區域中的信 號值與第二圖像數據的中心區域中的信號值之差的總和，在總和大于第一閾值的情況下， 所述合成器創建合成圖像數據。
7.如權利要求1所述的成像器，其中所述成像傳感器具有通過劃分成像區域獲得的多 個檢測區域，所述比較器計算每個檢測區域中的像素的平均信號值，并計算在第一圖像數 據中對每個相應的檢測區域所計算的平均值與在第二圖像數據中對每個相應的檢測區域 所計算的平均值之差的總和，以及確定該總和是否大于第一閾值。
8.如權利要求2所述的成像器，其中所述成像傳感器具有通過劃分成像區域獲得的多 個檢測區域，初始掃描區域是具有開始時掃描的像素的檢測區域，所述比較器計算第一圖 像數據的初始掃描區域中的像素的信號值與第二圖像數據的初始掃描區域中的像素的信 號值之差的總和，并確定該總和是否大于第一閾值。
9.如權利要求1所述的成像器，其中所述成像傳感器具有通過劃分成像區域獲得的多 個檢測區域，終止掃描區域是具有結束時掃描的像素的檢測區域，以及在第一圖像數據的初始掃描區域中的像素的信號值與第二圖像數據的初始掃描區域 中的像素的信號值之差大于第一閾值并且第一圖像數據的終止掃描區域中的像素的信號值與第二圖像數據的終止掃描區域中的像素的信號值之差大于第一閾值的情況下，所述合 成器不創建合成圖像。
10.如權利要求1所述的成像器，其中在所述比較器計算第一圖像數據與第二圖像數 據之差并確定該差大于第一閾值的情況下，所述合成器不創建合成圖像。
11.如權利要求1所述的成像器，其中所述比較器計算第一圖像數據與第二圖像數據 中的像素的所有彩色信號之差，并確定該差是否大于第一閾值。
12.如權利要求1所述的成像器，其中所述合成器計算所述成像傳感器輸出的兩個圖 像的數據中所包括的圖像信號值的平均值，并從所計算的平均值創建合成圖像。
13.如權利要求1所述的成像器，其中所述成像傳感器使用滾動快門輸出圖像信號，所 述成像傳感器通過所述滾動快門沿垂直方向讀取每一行的電荷。
全文摘要
本發明提供了一種使用滾動快門拍攝圖像的成像器。該成像器具有成像傳感器和對焦檢測器。成像傳感器沿正向或逆向讀取所存儲的電荷并輸出從所讀取的電荷創建的圖像數據。比較器計算所述成像傳感器輸出的第一圖像數據與成像傳感器在輸出第一圖像數據之后緊接著輸出的第二圖像數據之間的差，并確定該差是否大于第一閾值。合成器從成像傳感器輸出的兩個圖像的數據創建合成圖像數據。在比較器確定該差大于第一閾值的情況下，合成器從第二圖像數據和通過沿與第二圖像數據的掃描方向相反的逆向掃描第二圖像獲得的逆向掃描圖像數據創建合成圖像數據。
文檔編號H04N5/225GK101931743SQ20101020524
公開日2010年12月29日 申請日期2010年6月13日 優先權日2009年6月17日
發明者山元康裕 申請人:Hoya株式會社