專利名稱：圖像處理裝置以及圖像處理方法
技術領域：
本發明涉及可生成寬范圍的圖像的圖像處理裝置以及圖像處理方法。
背景技術：
在數碼相機或具有攝像功能的便攜式電話等中，攝像視角的極限依賴于透鏡的焦點距離、攝像元件的尺寸等裝置主體所具備的硬件設計規格。
因此，作為用于獲取規格超過硬件設計規格那樣的廣角圖像，例如作為所謂的全景圖像的一技術，目前已知有全景攝像的技術。
為了實現上述全景攝像，用戶例如在一邊維持按下操作了快門開關的操作的狀態一邊以自身的身體為軸，使數碼相機在垂直方向大致固定不變而在水平方向進行旋轉地移動。
于是，數碼相機在該期間執行多次攝像處理，將作為該多次的攝像處理的各結果而獲得的多個圖像(以下，稱為“攝像圖像”)的圖像數據在橫方向(水平方向)進行合成， 由此，來生成全景圖像的圖像數據。
在JP特開平11-282100號公報中公開了 在每多次的攝像處理后，對攝像圖像中的特征點進行檢測，按照鄰接的2張攝像圖像的特征點彼此一致的方式，將多個攝像圖像的圖像數據在橫方向進行合成，由此，來生成全景圖像的圖像數據的手法。
但是，即使上述專利文獻，作為全景圖像，重視其背景，而在全景圖像中包含人物等的被攝體的情況下，存在不重視對該人物的漂亮反映這樣的問題。發明內容
本發明是鑒于這樣的問題而開發的，目的在于與進行攝像的定時無關地，作為攝像圖像，能夠生成包含恰當的被攝體在內的寬范圍的圖像。
為了達成上述目的，本發明的一方案的圖像處理裝置的特征在于，具備圖像獲取單元，其依次獲取圖像；檢測單元，其從由所述圖像獲取單元獲取的多個圖像中對被攝體像進行檢測；計算單元，其對由所述檢測單元檢測出的各被攝體像的評價值進行計算；決定單元，其將由所述計算單元計算出的評價值為規定值以上的被攝體像決定為合成對象；以及生成單元，其對由所述決定單元決定為合成對象的被攝體像與由所述獲取單元依次獲取的圖像進行合成，來生全景圖像。
另外，本發明的一方案的圖像處理方法是圖像處理裝置的圖像處理方法，該圖像處理裝置具備用于獲取在規定方向一邊移動攝像范圍一邊連續拍攝到的圖像的圖像獲取步驟，該圖像處理方法特征在于，包括檢測步驟，從由所述圖像獲取步驟依次獲取的圖像中分別對被攝體像進行檢測；計算步驟，對由所述檢測步驟分別檢測出的被攝體像的評價值進行計算；決定步驟，其基于由所述計算步驟中分別計算出的評價值，從多個所述被攝體像中，將特定的被攝體像決定為合成對象；以及生成步驟，對由所述決定步驟所 決定的被攝體像與由所述獲取單元依次獲取的圖像進行合成，來生成寬范圍的圖像。


圖1是表示作為本發明所涉及的攝像裝置的一實施方式的數碼相機的硬件構成的框圖。
圖2是表示圖1的數碼相機的用于執行攝像處理的功能構成的功能框圖。
圖3是用于對作為圖2的數碼相機的動作模式而分別選擇通常攝像模式與全景攝像模式的情況下的攝像操作進行說明的圖。
圖4是表示通過圖3所示的全景攝像模式所生成的全景圖像的一個示例的圖。
圖5是表示在全景圖像的合成中所利用的圖像數據以及根據該圖像數據所生成的全景圖像的圖像數據的一個示例的圖。
圖6是表示圖2的數碼相機所執行的攝像處理的流程的一個示例的流程圖。
圖7是表示圖6的攝像處理中的全景攝像處理的詳細流程的流程圖。
圖8是表示·圖7的全景攝像處理中的表情判定處理的詳細流程的流程圖。
圖9是表示圖7的全景攝像處理中的圖像合成處理的詳細流程的流程圖。
具體實施方式
以下，參照圖面，對本發明所涉及的實施方式進行說明。
圖1是表示作為本發明所涉及的圖像處理裝置的一實施方式的數碼相機I的硬件構成的框圖。
數碼相機I 具備 CPU (Central Processing Unit) 11、R0M (Read Only Memory) 12> RAM (Random Access Memory) 13、總線14、光學系統15、攝像部16、圖像處理部17、存儲部 18、顯示部19、操作部20、通信部21、角速度傳感器22、驅動器23。
CPUll根據R0M12所存儲的程序、或者從存儲部18加載至RAM13的程序，執行各種的處理。ROMl2除存儲CPUll用于執行各種的處理時的程序，還適宜地存儲CPUll在執行各種處理中所需的數據等。
例如，在本實施方式中，用于實現后述的圖2的圖像控制部51至合成部58的各功能的程序存儲在ROM 12或存儲部18中。因此，CPUll執行基于這些程序的處理，通過與后述的圖像處理部17進行適宜協動，能夠實現后述的圖2的圖像控制部51至合成部58的各功能。
CPU1UR0M12以及RAM13介由總線14相互連接。該總線I另外還與光學系統15、 攝像部16、圖像處理部17、存儲部18、顯示部19、操作部20、通信部21、角速度傳感器22以及驅動器23連接。
光學系統15為了對被攝體進行撮影，由對光進行聚光的透鏡、例如聚焦透鏡或變焦透鏡等來構成。聚焦透鏡是使被攝體像在攝像部16的攝像元件的受光面進行成像的透鏡。變焦透鏡是焦點距離在一定范圍內自由地變化的透鏡。光學系統15另外還根據需要， 設置有用于調整焦點、曝光等的周邊裝置。
攝像部16由光電變換元件、AFE(Analog Front End :模擬前端)等構成。光電變換兀件例如由 CCD(Charge Coupled Device) > CMOS (Complementary Metal Oxide Semiconductor)型的光電變換元件構成。光電變換元件按照每一定時間，對該期間所入射而蓄積的被攝體像的光信號進行光電變換(攝像)，將作為其結果而獲得的模擬的電信號依次提供給AFE。
AFE針對該模擬的電信號，實施A/D (Analog/Digital)變換處理等的各種信號處理，將其結果所獲得的數字信號作為攝像部16的輸出信號而進行輸出。
此外，以下將攝像部16的輸出信號稱為“攝像圖像的圖像數據”。因此，從攝像部 16輸出攝像圖像的圖像數據，并適宜地提供給圖像處理部17等。
圖像處理部 17 由 D SP (Digital Signal Processor)、或 VRAM (Video Random Access Memory)等構成。
圖像處理部17與CPUll進行協動，針對從攝像部16輸入的攝像圖像的圖像數據， 除噪聲降低、白平衡、手抖動修正等的圖像處理外，還實施在發揮后述的圖像獲取部52至合成部58的各功能中所需的各種圖像處理。
在此，以下，如無特別限定，所謂“圖像數據”被稱為從攝像部16中按每一定時間所輸出的攝像圖像的圖像數據、或者該圖像數據被加工等后的數據。即，在本實施方式中， 該圖像數據作為處理單位被采用。
存儲部18由DRAM (Dynamic Random Access Memory)等構成，對從圖像處理部17 所輸出的圖像數據、后述的全景中途圖像的圖像數據等進行臨時存儲。另外，存儲部18也還存儲各種圖像處理中所需的各種數據等。
顯示部19例如由IXD (Liquid Crystal Device :液晶顯示裝置)、IXD驅動部構成的平板顯示器面板來構成。顯示部19以圖像為單位來顯示由從存儲部18等中所提供的圖像數據來表現的圖像，例如后述的實時取景圖像。
操作部20除具有快門開關41外，雖未圖示還具有電源開關、攝像模式開關、再現開關等多個開關。操作部20在這些多個開關中的規定開關被進行按下操作時，將對該規定開關所分配的指令提供給CPUlI。
通信部21介由包含因特網的網絡，控制與未圖示的其他的裝置之間的通信。
角速度傳感器22由陀螺儀等構成，隨著以全景攝像時的用戶的身體為軸的旋轉， 對數碼相機I的水平方向的位移量進行檢測，將表示檢測結果的數字信號(以下，僅稱為 “角度位移量”)提供給CPU11。此外，角速度傳感器22根據需要也可發揮方位傳感器的功倉泛。
對驅動器23適宜地安裝由磁盤、光盤、光磁盤或者半導體存儲器等形成的可移動介質31。接下來，從可移動介質31中所讀出的程序根據需要而安裝于存儲部18。另外，可移動介質31能夠與存儲部18相同地存儲存儲部18所存儲的圖像數據等的各種數據。
圖2是表示用于執行圖1的數碼相機I所執行的處理中的、對被攝體進行攝像直至將作為其結果而獲得的攝像圖像的圖像數據記錄于可移動介質31 的一系列處理(以下， 稱為“攝像處理”)的功能構成的功能框圖。
如圖2所示，在執行攝像處理的情況下，CPUll中，圖像控制部51發揮功能，圖像處理部17中，圖像獲取部52、臉部檢測部53、臉部區域提取部54、表情判定部55、表情決定部56、表情變更部57、合成部58發揮功能。此外，圖像控制部51的功能并不必需如本實施方式那樣地搭載于CPUlI，可將該功能轉移到圖像處理部17中。相反，圖像獲取部52至合成部58的各功能并不必需如本實施方式那樣搭載于圖像處理部17，也可以將這些功能中的至少一部分轉移到CPUll中。
圖像控制部51對全部攝像處理的執行進行控制。例如，圖像控制部51作為數碼相機I的動作模式，對通常攝像模式與全景攝像模式進行選擇性切換，執行基于切換后的動作模式的處理。在成為全景攝像模式時，圖像獲取部52至合成部58在圖像控制部51的控制下進行動作。
在此，為了易于理解圖像控制部51至合成部58，在對這些功能的構成進行說明之前，適宜地參照圖3以及圖4，詳細說明全景攝像模式。
圖3是用于說明作為圖1的數碼相機I的動作模式而分別選擇了通常攝像模式與全景攝像模式的情況下的攝像操作的圖。詳細而言，圖3A是用于說明通常攝像模式下的攝像操作的圖。圖3B是用于說明全景攝像模式下的攝像操作的圖。
在圖3A以及圖3B的各圖中，處于數碼相機I的里側的圖畫表示包含數碼相機I 的被攝體在內的實際世界的樣子。另外，圖3B所示的縱向的點線表示數碼相機I的移動方向的各位置a、b、C。數碼相機I的移動方向是指，用戶以自身的身體為軸而使數碼相機I 的攝像方向(角度)進行變化的情況下的、數碼相機I的光軸進行移動的方向。數碼相機 I的移動方向的位移量通過角速度傳感器22作為角度位移量而進行檢測。
通常攝像模式是指針對與數碼相機I的視角對應的尺寸(分辨率)的圖像進行攝像的情況下的動作模式。
通常攝像模式中，如圖3A所示，用戶在使數碼相機I固定的狀態下，將操作部20 的快門開關41按下至下限。此外，如此這樣，以下將快門開關41被按下至下限的操作稱為 “全按下操作”或僅簡稱為“全按下”。
圖像控制部51進行控制，控制在進行全按下操作后立即將從圖像處理部17輸出的圖像數據作為記錄對象而使之記錄于可移動介質31為止的一系列處理的執行。
以下，如此這樣地，將通常攝像模式下通過圖像控制部51的控制所執行的一系列處理稱為“通常攝像處理”。
另一方面，全景攝像模式是指對全景圖像進行攝像的情況下的動作模式。
在全景攝像模式下，如圖3B所示，用戶在維持快門開關41的全按下操作的狀態下，使數碼相機I向該圖中黑箭頭的方向進行移動。
圖像控制部51在維持全按下操作的期間，對圖像獲取部52至合成部58進行控制，反復進行如下動作，即在來自角速度傳感器22的角度位移量每達到一定值就獲取緊接著其后從攝像部16所輸出的圖像數據，并且將其臨時存儲在存儲部18。
其后，圖像控制部51對圖像獲取部52至合成部58進行控制，將存儲部18所存儲的相鄰接的圖像數據按照水平方向依順序進行合成，由此，來生成全景圖像的 圖像數據。在此，相鄰接的圖像數據是指，在全景攝像中的通過第K次(K為I以上的整數值)的攝像所獲得的攝像圖像的圖像數據與相同全景攝像中的通過第K+1次的攝像所獲得攝像圖像的圖像數據。此外，關于圖像數據的合成，并不限于相鄰接的2個圖像數據的合成，也可以在每次獲得成為合成對象的2個以上的任意個數的圖像數據時進行處理，也可以在獲取到了成為合成對象的所有圖像數據后進行。
其后，通過用戶進行解除全按下操作的操作，即從快門開關41拿開手指等的操作 (以下，將這樣的操作稱為“釋放操作”)而指示了全景攝像的結束時，圖像控制部51對合成部58等進行控制，使全景圖像的圖像數據作為記錄對象而記錄于可移動介質31中。
如此這樣，圖像控制部51在全景攝像模式下，對圖像獲取部52至合成部58進行控制，來控制生成全景圖像的圖像數據并將其作為記錄對象而記錄于可移動介質31為止的一系列處理。
以下，如此這樣地，將全景攝像模式下通過圖像控制部51的控制所執行的一系列處理稱為“全景攝像處理”。
圖4表示在圖3所示的全景攝像模式下由圖像獲取部52至合成部58所生成的全景圖像的圖像數據。
S卩，在全景攝像模式下，進行如圖3B所示那樣的攝像操作時，在圖像控制部51的控制下，通過圖像獲取部52至合成部58，生成如圖4所示那樣的全景圖像Pl的圖像數據， 并記錄于可移動介質31中。
在此，全景攝像模式下生成包含人物等的被攝體在內的全景圖像的圖像數據的情況下，存在合成源的多個圖像數據各自中被攝體不同的情況，在這樣的情況下，優選生成包含最為漂亮的被攝體在內的全景圖像的圖像數據。具體來說，在全景圖像的合成源的多個圖像數據的各自中存在某圖像數據中人物閉眼，其他的圖像數據中人物睜眼的情況，在這樣的情況下，優選生成包含睜眼的人物在內的全景圖像的圖像數據。
因此，在本實施方式所涉及的數碼相機I中，圖像獲取部52至合成部58在圖像控制部51的控制下，執行下述這樣的處理。
圖像獲取部52在每次數碼相機I移動規定量(角度位移量每次成為一定值)，接受從圖像控制部51所發出的獲取指令，依次從圖像處理部17中獲取圖像數據。
臉部檢測部53對圖像獲取部52所獲取的圖像數據進行解析，對該圖像數據所含的人物的臉部的信息(至少包含臉部部分的位置以及大小)進行檢測。此外，臉部檢測部 53所進行的臉部的檢測能夠通過已公知的任意的方法來進行。
臉部區域提取部54從臉部檢測部53檢測出臉部的圖像數據中提取臉部區域。 此外，作為提取的臉部區域，在合成處理中能夠設定恰當的任意區域，例如，可以是包含眼 鼻· 口的臉部部分的區域，也可以是包含臉部部分與頭部的區域，也可以是包含圖像數據中所含的人物的全部的區域。
表情判定部55進行臉部檢測部53所檢測的臉部的表情判定。表情判定是對作為攝像圖像的恰當的人物的表情(笑臉)進行判定，例如，對眼的大小、口的形狀等預先確定分值，對臉部檢測部53所檢測出的臉部以該分值進行評價，通過計算判定對象的臉部的評價值來執行表情判定。
表情決定部56將表情判定部55所計算出的評價值為規定值以上的臉部決定為合成對象的臉部，將包含所決定的臉部在內的臉部區域的圖像數據存儲于存儲器(本實施方式中，存儲部18)中。此外，表情決定部56也可以將計算出的評價值最高的臉部決定為合成對象的臉部。另外，關于 規定值以上的評價值，能夠任意地設定，例如，能夠設定成為了笑臉的評價值。
表情變更部57將包含表情判定部55所計算出的評價值低于規定值的臉部的臉部區域的圖像數據變更為包含表情決定部56決定為合成對象的臉部的臉部區域的圖像數據。
合成部58對圖像獲取部52所獲取的圖像數據中的相鄰接的圖像數據彼此進行合成，來生成全景圖像的圖像數據。具體來說，合成部58將圖像獲取部52所獲取的、表情變更部57所進行的臉部區域的變更后的圖像數據中的相鄰接的圖像數據彼此進行合成，來生成全景圖像的圖像數據。換而言之，合成部58執行與將圖像獲取部52所獲取的多個圖像數據中所含的人物的臉部中利用表情決定部56所決定的臉部來生成全景圖像的圖像數據的情形等效的處理。
關于如以上那樣的通過圖像獲取部52至合成部58所生成的全景圖像的圖像數據，參照圖5進行說明。圖5A表示全景圖像的合成中所利用的、由圖像獲取部52所獲取的圖像數據，圖5B表示根據圖5A的圖像數據所生成的全景圖像的圖像數據。
參照圖5A，在由圖像獲取部52獲取攝像圖像Fa的圖像數據時，臉部檢測部53從攝像圖像Fa中對被攝體(人物A)的臉部100進行檢測。接下來，臉部區域提取部54從檢測出臉部100的攝像圖像Fa中提取臉部區域100a。此外，關于臉部區域100a，能夠設為任意的區域，例如，可設為僅臉部100的區域，也可以設為一并含有圖5所示臉部100與頭(頭發)的區域，也可以設為攝像圖像Fa中所含的人物的全部的區域。
接下來，表情判定部55針對攝像圖像Fa的臉部100，根據眼的大小、口的形狀等來計算評價值。在圖5A中，臉部100是笑臉且眼睛也睜得較大，所以表情判定部55將其確定為規定值以上的評價值。因此，表情決定部56將臉部100決定為全景圖像中所利用的臉部，并將臉部100的臉部區域100a的部分的圖像數據存儲在存儲部18中。
相同地，在接續在攝像圖像Fa的圖像數據之后，通過圖像獲取部52而獲取到攝像圖像Fb的圖像數據時，臉部檢測部53從攝像圖像Fb中檢測被攝體(相同人物A)的臉部110，臉部區域提取部54從檢測出臉部110的攝像圖像Fb的圖像數據中提取臉部區域110a。
接下來，表情判定部55針對攝像圖像Fb的臉部110進行評價值的計算，在圖5A 中，由于臉部Iio的眼睛閉合，所以表情判定部55計算為低于規定值的評價值。因此，表情變更部57將臉部110的臉部區域Ila的部分的圖像數據變更為在存儲部18所存儲的臉部 100的臉部區域IOOa的部分的圖像數據。
其后，合成部58通過對包含攝像圖像Fa以及攝像圖像Fb在內的多個攝像圖像各自的圖像數據進行依次合成，來生成圖5B所示的全景圖像P2的圖像數據。此時，由于利用通過表情決定部56所決定的臉部100的臉部區域100a來生成全景圖像P2，如圖5B所示， 能夠獲得包含寫真更漂亮的被攝體的全景圖像P2。
以上，參照圖2至圖5，對本發明所適用的數碼相機I的功能的構成進行了說明。 接下來，參照圖6，對具有這樣的功能構成的數碼相機I所執行的攝像處理進行說明。
圖6是表示攝像處理的流程的一個示例的流程圖。在本實施方式中，攝像處理是在數碼相機I的未圖示的電源成為接通狀態且滿足規定的條件時而開始進行的。
在步驟SI中，圖2的圖像控制部51執行操作檢測處理以及初始設定處理。
操作檢測處理是指，對操作部20的各開關的狀態進行檢測的處理。圖像控制部51 通過執行操作檢測處理，作為動作模式，能夠檢測出是設定為通常攝像模式還是設定為全景攝像模式。
另外，作為本實施方式的初始設定處理的I個，采用用于設定角度位移量的一定值與角度位移量的最大極限的角度位移閾值(例如，360度)的處理。具體來說，“角度位移量的一定值與角度位移量的最大極限的角度位移閾值(例如，360度)”是預先存儲在圖1的R0M12中，通過從R0M12中讀出后寫入RAM13中來進行設定的。此外，角度位移量的一定值將在后述的圖7的步驟S 31的判定處理中將被利用。另一方面，角度位移量的最大極限的角度位移閾值(例如，360度)將在該圖的步驟S37的判定處理中將被利用。
在步驟S2中，圖像控制部51開始進行實時取景攝像處理以及實時取景顯示處理。
S卩，圖像控制部51對攝像部16等進行控制，使攝像部16進行的攝像動作繼續。接下來，圖像控制部51將在攝像部16進行的攝像動作繼續的期間從該攝像部16依次輸出的圖像數據臨時存儲在存儲器(本實施方式中，存儲部18)中。這樣的通過圖像控制部51所進行的一系列控制處理在此稱為“實時取景攝像處理”。
另外，圖像控制部51依次讀出實時取景攝像時所臨時記錄在存儲器(本實施方式中，存儲部18)中的各圖像數據，將與各圖像數據對應的圖像依次顯示在顯示部19。這樣的通過圖像控制部51所進行的一系列控制處理在此稱為“實時取景顯示處理”。此外，將通過實時取景顯示處理而顯示在顯示部19的圖像以下稱為“實時取景圖像”。
在步驟S3中，圖像控制部51判定快門開關41是否被半按下。在此，半按下是指操作部20的快門開關41被按壓至中途(未達到下限的規定位置)的操作，以下也可適宜地將其稱為“半按下操作”。
在快門開關41未被半按下的情況下，步驟S3中判定為“否”，處理進入至步驟S9。
在步驟S9中，圖像控制部51判別是否進行了處理的結束指示。對處理的結束指示并不特別限定，在本實施方式中，采用數碼相機I的未圖示的電源成為關斷狀態的情況的通知。
因此，本 實施方式中“電源成為關斷狀態”被通知給圖像控制部51時，步驟S9中判定為“是”，攝像處理全部結束。
針對于此，在電源為接通狀態的情況下，不進行電源成為關斷狀態的通知，所以， 步驟S9中判定為“否”，處理返回至步驟S2，反復進行其以后的處理。即，本實施方式中，只要電源維持接通狀態，至快門開關41被半按下為止的期間，反復執行步驟S3 否”以及步驟S9 否”的循環處理，攝像處理成為待機狀態。
另一方面，在實時取景顯示處理中，快門開關41被半按下時，步驟S3中判定為 “是”，處理進入至步驟S4。
在步驟S4中，圖像控制部51對攝像部16進行控制，執行所謂的AF (Auto Focus 自動對焦)處理。
在步驟S5中，圖像控制部51判定快門開關41是否被全按下。
在快門開關41未被全按下的情況下，在步驟S 5中判定為“否”。在該情況下，處理返回至步驟S4，反復進行其以后的處理。即，本實施方式中，在快門開關41被全按下為止的期間，反復進行步驟S4、以及步驟S 5 否”的循環處理，每次均執行AF處理。
其后，在快門開關41被全按下時，步驟S 5中判定為“是”，處理進入至步驟S6。步驟S6中，圖像控制部51判定當前所設定的攝像模式是否是全景攝像模式。
在不是全景攝像模式的情況下，即在所設定的攝像模式是通常攝像模式的情況下，步驟S6中判定為“否”，處理進入至步驟S7。在步驟S7中，圖像控制部51執行上述的通常攝像處理。即，在全按下操作被進行后立即從圖像處理部17輸出的I個圖像數據作為記錄對象而記錄于可移動介質31中。因此，步驟S7的通常攝像處理結束，處理進入至步驟 S9。此外，關于步驟S9以后的處理如上所述，故在此省略其說明。
針對于此，在當前設定的攝像模式是全景攝像模式的情況下，步驟S6中判定為 “是”，處理進入至步驟S8。
在步驟S8中，圖像控制部51執行上述的全景攝像處理。關于全景攝像處理的詳細情況，將參照圖7而進行后述，圖像控制部51生成全景圖像的圖像數據，并將其作為記錄對象而記錄于可移動介質31中。因此，步驟S8的全景攝像處理結束，處理進入至步驟S9。 此外，關于步驟S9以后的處理如上所述，故在此省略其說明。
以上，參照圖6，對攝像處理的流程進行了說明。接下來，參照圖7對圖6的攝像處理中的步驟S8的全景攝像處理的詳細流程進行說明。
圖7是用于說明全景攝像處理的詳細流程的流程圖。如上所述，在全景攝像模式的狀態下快門開關41被全按下時，圖6的步驟S5以及S6中判定為“是”，處理進入至步驟 S8，作為全景攝像處理，執行如下的處理。
在步驟S31中，圖像控制部51判定數碼相機I是否移動了一定距離。即，圖像控制部51判定從角速度傳感器22所提供的角度位移量是否達到一定值。數碼相機I移動或角度位移量發生變化意味著數碼相機的攝像范圍進行移動。
在數碼相機I未移動一定距離的情況下，步驟S 31中判定為“否”。在該情況下， 處理返回至步驟S31。S卩，至數碼相機I移動一定距離為止，全景攝像處理成為待機狀態。
針對于此，在數碼相機I移動了一定距離的情況下，在步驟S31中，判定為“是”，處理進入至步驟S32。
在步驟S32中，圖像獲取部52在圖像控制部51的控制下，獲取從攝像部16所輸出的圖像數據(合成對象)。即，圖像獲取部52在從角速度傳感器22所提供的角度位移量每次達到一定值時，在其后立即獲得從攝像部16所輸出的圖像數據。
在步驟S33中，臉部檢測部53在圖像控制部51的控制下，對圖像獲取部52所獲取的圖像數據進行解析，判定在該圖像數據中是否存在人物的臉部(被攝體像)。
在圖像數據中未存在人物的臉部的情況下，在步驟S33中判定為“否”，在該情況下，處理進入至步驟S35。
另一方面，在圖像數據中存在有人物的臉部的情況下，步驟S33中判定為“是”，在該情況下，處理進入至步驟S34。
在步驟S34中，圖像控制部51進行表情判定處理。關于表情判定處理的詳細情況將參照圖8進行后述，圖像控制部51對表情判定部55進行控制，判定圖像數據中所含的臉部的表情。由此，步驟S34的表情判定處理結束后，處理進入至步驟S35。
在步驟S35中，圖像控制部51進行圖像合成處理。關于圖像合成處理的詳細情況， 將參照圖9進行后述，圖像控制部51對合成部58進行控制，將相鄰接的圖像數據彼此依次進行合成，來生成全景圖像的圖像數據。因此，步驟S35的圖像合成處理結束后，處理轉移至步驟S36。
在步驟S36中，圖像控制部51判定是否有用戶進行的結束指示。關于用戶進行的結束指示，能夠任意地設定，例如，能夠將用戶進行的快門開關41的全按下的解除作為用戶進行的結束指示。
在有用戶進行的結束指示的情況下，步驟S36中判定為“是”，全景攝像處理結束。
另一方面，在沒有用戶進行的結束指示的情況下，步驟S36中判定為“否”，在該情況下，處理進入至步驟S37。
在步驟S37中，圖像控制部51判定圖像獲取方向的移動距離是否超過了閾值。即， 圖像控制部51判定從角速度傳感器22所提供的角度位移量的累積值是否達到了最大極限的角度位移閾值(例如，360度)。
在圖像獲取方向的移動距離超過了閾值的情況下，在步驟S37中判定為“是”，全景攝像處理結束。
另一方面，在圖像獲取方向的移動距離未超過閾值的情況下，步驟S37中判定為 “否”，在該情況下，處理返回至步驟S31。即，沒有用戶進行的結束指示，在圖像獲取方向的移動距離未超過閾值的情況下，全景攝像處理繼續，反復進行新的圖像數據的獲取以及該圖像數據的合成。
以上，參照圖7，對全景攝像處理的流程進行了說明。接下來，參照圖8，對圖7的全景攝像處理中的步驟S 34的表情判定處理的詳細流程進行說明。圖8是用于說明表情判定處理的詳細流程的流程圖。
在步驟S51中，臉部區域提取部54在圖像控制部51的控制下，從包含人物的臉部在內的圖像數據中提取臉部區域。此外，關于臉部區域，如上所述，可以是僅包含眼 鼻 口在內的臉部部分的區域，另外，也可以是包含臉部部分與頭部在內的區域，另外，也可以是包含人物全部的區域。
在提取臉部區域后，在步驟S52中，表情判定部55在圖像控制部51的控制下，對通過臉部檢測部53所檢測出的臉部的評價值進行計算。即，表情判定部55基于圖像數據中所含的臉部的眼的大小、口的形狀等，對判定對象的臉部的評價值進行計算。
其后,在步驟S53中,表情判定部55在圖像控制部51的控制下,判定計算出的評價值是否在規定值以上。
在計算出的評價值不為規定值以上的情況下，步驟S53中判定為“否”，表情判定處理結束。
另一方面，在計算出的評價值在規定值以上的情況下，步驟S53中判定為“是”，在該情況下，處理進入至步驟S54。
在步驟S54中，表情決定部56在圖像控制部51的控制下，將被判定為規定值以上評價值的臉部的臉部區域的部分的圖像數據保存在存儲部18中，結束表情判定處理。
以上，參照圖8對表情判定處理的流程進行了說明。
接下來，參照圖9，對圖7的全景攝像處理中的步驟S35的圖像合成處理的詳細流程進行說明。圖9是用于說明圖像合成處理的詳細流程的流程圖。
在步驟S71中，圖像控制部51對成為合成對象的相鄰接的圖像數據中被攝體是否變動進行判定。在此，本實施方式中，將評價值低于規定值的臉部區域的部分的圖像數據蓋寫為評價值為規定值以上的臉部區域的部分的圖像數據(后述的步驟S75)。因此，步驟S71 中的被攝體的變動是指，不適于臉部區域的圖像數據的蓋寫的變動，例如，臉部區域的形狀發生變化那樣的變動、視角內中的臉部 區域的位置(考慮了角度位移量)發生變化那樣的變動等。另一方面，臉部區域內中的被攝體的變動，例如，閉眼這樣的表情的變化不包含在步驟S71中的被攝體的變動中。
在被攝體有變動的情況下，步驟S71中判定為“是”，在該情況下，處理進入至步驟 S76。
另一方面，在被攝體沒有變動的情況下，步驟S72中判定為“否”，在該情況下，處理進入至步驟S72。
步驟S72中，圖像控制部51對進行合成的圖像數據中是否存在臉部區域進行判定。此外，在本實施方式中，進行合成的圖像數據可以是相鄰接的圖像數據中的在后面所獲取的圖像數據，另外，也可以是相鄰接的圖像數據的雙方。
在進行合成的圖像數據中不存在臉部區域的情況下，步驟S72中判定為“否”，在該情況下，處理進入至步驟S76。
在進行合成的圖像數據中存在有臉部區域的情況下，步驟S72中判定為“是”，在該情況下，處理進入至步驟S73。
步驟S73中，表情判定部55在圖像控制部51的控制下，對進行合成的圖像數據的臉部區域的評價值是否在規定值以上進行判定。
在進行合成的圖像數據的臉部區域的評價值為規定值以上的情況下，步驟S 73 中判定為“是”，在該情況下，處理進入至步驟S76。
另一方面，在進行合成的圖像數據的臉部區域的評價值不為規定值以上的情況下，步驟S73中判定為“否”，在該情況下，處理進入至步驟S74。
在步驟S74中，表情變更部57在圖像控制部51的控制下，判定在存儲部18是否保存有規定值以上的評價值的臉部區域的部分的圖像數據。
在存儲部18未保存有規定值以上的評價值的臉部區域的部分的圖像數據的情況下，步驟S 74中判定為“否”，在該情況下，處理進入至步驟S76。
另一方面，在存儲 部18保存有規定值以上的評價值的臉部區域的部分的圖像數據的情況下，步驟S74中判定為“是”，在該情況下，處理進入至步驟S75。
在步驟S75中，表情變更部57在圖像控制部51的控制下，將步驟S73中已判定為低于規定值的評價值的臉部區域的部分的圖像數據蓋寫為在存儲部18所保存的規定值以上的評價值的臉部區域的部分的圖像數據。
其后，在步驟S76中，合成部58在圖像控制部51的控制下，將相鄰接的圖像數據彼此進行合成，生成全景圖像的圖像數據后，結束圖像合成處理。
根據以上那樣的本實施方式的數碼相機1，在臉部檢測部53檢測出圖像數據中所含的人物的臉部時，表情判定部55進行該臉部的表情判定。接下來，表情決定部56將表情判定部55進行表情判定的結果的、作為攝像圖像而恰當的臉部決定為合成對象的人物的臉部，合成部58按照包含所決定的人物的臉部地進行全景合成。
因此，即使全景圖像的攝像中，作為被攝體的人物的表情發生變化的情況下，例如，全景圖像的攝像中出現了閉眼的情況下，不利用閉眼的定時所拍攝到的圖像數據，而能夠利用在睜眼的定時所拍攝到的圖像數據來進行全景圖像的圖像數據，能夠獲得包含恰當表情的人物的全景圖像。
另外，在數碼相機I中，臉部區域提取部54從合成對象的圖像數據中提取包含人物的臉部在內的臉部區域，表情決定部56將作為攝像圖像而包含恰當的臉部的臉部區域的部分的圖像數據保存在存儲部18中。接下來，表情變更部57在進行合成的圖像數據中所含的臉部作為攝像圖像不為優選的情況下，將該臉部區域蓋寫為在存儲部18已保存的臉部區域的部分的圖像數據后，進行全景合成。
由此，能夠防止作為攝像圖像不為優選的臉部與恰當的臉部進行合成，能夠進行自然的全景合成。
另外，關于在成為全景攝像處理的對象的攝像范圍中存在多個人物的情況下的全景合成的方法，以下作為變形例而進行記載。
[變形例]
在成為全景攝像處理的對象的攝像范圍中存在有多個人物(例如，人物A、B、C)的情況下，利用通過臉部檢測部53最初所檢測出的各人物的臉部的信息，臉部區域提取部54 在確定出與模板匹配技術最初所檢測出的各人物(人物A、B、C)對應的臉部的位置后，提取與該所確定的各位置對應的各人物的臉部區域即可。
接下來，表情判定部55對各人物的臉部區域的評價值進行計算，表情決定部56將成為規定值以上的臉部區域分別保存在存儲部18中。
關于其后的全景攝像處理，相對于各人物的臉部區域只要實施與上述實施方式同樣的處理即可。
另外，關于多個人物(人物A、B、C)的臉部的位置的確定的方法，利用模板匹配技術，但各人物的臉部的位置的確定的方法并不限于此。
例如，可以通過預先將各人物的臉部信息存儲在存儲部18中，臉部檢測部53以存儲部18中所存儲的各人物的臉部信息為基礎，從全景攝像處理中的各圖像中檢測各人物的臉部。
此外，本發明并不限于上述的實施方式，能夠達成本發明的目的的范圍內的變形、 改良等均包含在本發明中。
例如，在上述的實施方式中，每次獲取I個圖像數據時進行圖像合成處理(圖7的步驟S31中判定為“是”時進行步驟S35)，本發明并不限于此，也可以在獲得全景合成用的全部的圖像數據后進行圖像合成處理，也可以是在每次獲取2個以上的任意個數的圖像數據時進行圖像合成處理。
另外，在上述實施方式中，在進行臉部區域的蓋寫后再進行全景合成，但圖像合成處理的順序并不限于此。即，也可在進行全景合成后進行相應的臉部區域的蓋寫。
另外，在上述的實施方式中，利用評價值對人物的臉部的表情進行判定，以作為攝像圖像而恰當的臉部來進行全景合成，而利用評價值所判定的對象并不限于表情。例如，假定在全景圖像的攝像中，發生人物出現陰影的情況，可利用評價值對人物的明亮度等進行判定。
另外，在上述的實施方式中，作為合成對象的圖像數據中所含的被攝體像的一個示例而利用了人物的臉部，但并不限于此。例如，也可以將動物的臉部作為合成對象的圖像數據中所含的被攝體像。在該情況下，作為利用評價值所進行判定的對象，也可以適用動物是否閉眼等。
另外，在上述的實施方式中，本發明所適用的圖像處理裝置以數碼相機I為例進行了說明，但并不特別限定此。本發明也能夠一般性適用于具有可生成全景圖像的功能的電子設備，例如，可廣泛地適用于便攜式型個人計算機、便攜式型導航裝置、可攜帶的游戲機等。
上述的一系列處理也能夠通過硬件來執行，也可以通過軟件來執行。
在將一系列處理通過軟件來執行的情況下，通過網絡、記錄介質將構成該軟件的程序安裝至圖像處理裝置或者對該圖像處理裝置進行控制的計算機等。在此，計算機也可以是組裝到專用的硬件中的計算機。或者另外，計算機可以是通過安裝各種的程序從而能夠執行各種功能的計算機，例如通用的個人計算機。
包含這樣的程序的記錄介質不僅可以由用于對用戶提供程序而與裝置主體獨立地配置的可移動介質31來構成，也可以由預先組裝入裝置主體的狀態下對用戶所提供的記錄介質等來構成。可移動介質31例如由磁盤(包含軟盤)、光盤、光磁盤等構成。另外， 在預先組裝入裝置主體的狀態下對用戶所提供的記錄介質例如由記錄有程序的ROM 12或存儲部18中所含的硬盤等來構成。
此外，在本說明書中，對記錄于記錄介質中的程序進行記敘的步驟當然包含按其順序以時間序列進行的處理，也包含不按時間序列進行處理而是并列或者單個地執行的處理。
以上，對本發明的若干個實施方式進行了說明，這些的實施方式僅僅只是例示，并不是對本發明的技術的范圍進行限定。本發明能夠取其他的各種實施方式，而且，在不脫離本發明的宗旨的范圍內，能夠進行省略、置換等各種變更。這些的實施方式、其變形包含在本說明書等所記載的發明的范圍、宗旨內，也包含與權利要求書所記載的發明均等的范圍內。
權利要求
1.一種圖像處理裝置，其特征在于，具備 圖像獲取單元，其獲取在規定方向一邊移動攝像范圍一邊連續拍攝而得到的圖像； 檢測單元，其從由所述圖像獲取單元所獲取的多個圖像中分別對相同的被攝體像進行檢測； 計算單元，其對由所述檢測單元分別檢測出的被攝體像的評價值分別進行計算； 決定單元，其基于由所述計算單元分別計算出的評價值，從所述被攝體像中，將特定的被攝體像決定為合成對象；以及 生成單元，其對由所述決定單元決定為合成對象的特定的被攝體像與由所述圖像獲取單元依次獲取的圖像進行合成，來生成寬范圍的圖像。
2.根據權利要求1所述的圖像處理裝置，其特征在于， 所述圖像處理裝置還具備 被攝體提取單元，其根據所述多個圖像之中的所述被攝體像，來提取被攝體區域；以及被攝體變更單元，其將構成由所述被攝體提取單元所提取的被攝體區域的圖像變更為所述特定的被攝體像， 所述生成單元對所述特定的被攝體像與所依次獲取的所述圖像進行合成，來生成所述寬范圍的圖像。
3.根據權利要求1所述的圖像處理裝置，其特征在于， 所述圖像獲取單元獲取包含多種相同的被攝體像在內的多個圖像， 所述檢測單元從所獲取的所述多個圖像中，對多種相同的被攝體像進行檢測， 所述計算單元對與由所述檢測單元所檢測出的多種相同的被攝體像相關的多個評價值進行計算， 所述決定單元基于與由所述計算單元所計算出的多個被攝體像相關的多個評價值，從所檢測出的所述多個被攝體像中，將多個特定的被攝體像決定為合成對象， 所述生成單元通過對由所述決定單元決定為合成對象的多個特定的被攝體像與由所述圖像獲取單元依次獲取的圖像進行合成，來生成寬范圍的圖像。
4.根據權利要求1所述的圖像處理裝置，其特征在于， 所述被攝體像是以臉部區域為中心的圖像。
5.根據權利要求1所述的圖像處理裝置，其特征在于， 所述圖像處理裝置還具備攝像單元， 所述圖像獲取單元依次獲取由所述攝像單元拍攝到的圖像。
6.一種圖像處理方法，是具備用于獲取在規定方向一邊移動攝像范圍一邊連續拍攝而得到的圖像的圖像獲取單元的圖像處理裝置的圖像處理方法，其特征在于，包括 檢測步驟，從由所述圖像獲取單元所獲取的多個圖像中分別對被攝體像進行檢測； 計算步驟，對由所述檢測步驟分別檢測出的被攝體像的評價值進行計算； 決定步驟，基于由所述計算步驟分別計算出的評價值，從多個所述被攝體像中，將特定的被攝體像決定為合成對象；以及 生成步驟，對由所述決定步驟所決定的被攝體像與由所述圖像獲取單元所依次獲取的圖像進行合成，來生成寬范圍的圖像。
全文摘要
本發明提供一種圖像處理裝置和圖像處理方法。數碼相機(1)具備圖像獲取部(52)、臉部檢測部(53)、表情判定部(55)、表情決定部(56)、合成部(58)。圖像獲取部(52)依次獲取在規定方向一邊移動攝像范圍一邊連續拍攝到的圖像。臉部檢測部(53)從依次所獲取的圖像中分別對被攝體像進行檢測。表情判定部(55)分別計算所檢測出的被攝體像的評價值。表情決定部(56)分別基于計算出的評價值，從多個所述被攝體像中將特定的被攝體像決定為合成對象。合成部(58)將決定為合成對象的被攝體像與通過所述獲取單元所依次所獲取的圖像進行合成，來生成寬范圍的圖像。
文檔編號H04N5/232GK103037156SQ20121036390
公開日2013年4月10日 申請日期2012年9月26日 優先權日2011年9月29日
發明者宮本直知, 松本康佑 申請人:卡西歐計算機株式會社