本發明涉及生成合成的圖像的圖像處理方法和圖像處理裝置。

背景技術：

過去已知如下技術(例如參考專利文獻1)：在攝影時，為了能在1個監視器畫面同時確認被攝體的整體和細節這兩方，將使被攝體的整體縮小的圖像和使被攝體的一部分放大的圖像合成來顯示。

(專利文獻1：特開2002-162681號公報)

但在上述專利文獻1的情況下，是將攝影時的引導作為目的，在記錄攝影的圖像的情況下，或在將記錄的圖像在另外的監視器等重放顯示的情況下等，難以說是更有效地活用了合成的圖像。

技術實現要素：

本發明鑒于這樣的問題而提出，本發明的課題在于，能更有效活用合成的圖像的圖像處理裝置、圖像處理方法。

本發明的1個方式是圖像處理裝置所進行的圖像處理方法，特征在于，取得以第1分辨率表征被攝體的第1范圍的第1圖像，取得以高于所述第1分辨率的第2分辨率表征所述被攝體的小于所述第1范圍的第2范圍的第2圖像，將所述第1圖像和所述第2圖像以保持各自分辨率的狀態合成，來生成第3圖像。

另外，本發明的其他方式在圖像處理裝置，包含執行以下的控制部：取得以第1分辨率表征被攝體的第1范圍的第1圖像，取得以高于所述第1分辨率的第2分辨率表征所述被攝體的小于所述第1范圍的第2范圍的第2圖像，將所述第1圖像和所述第2圖像以保持各自分辨率的狀態合成來生成第3圖像。

附圖說明

圖1是表示運用本發明的實施方式1的攝像裝置的概略構成的框圖。

圖2是表示圖1的攝像裝置所進行的動態圖像攝影處理所涉及的動作的一例的流程圖。

圖3a～d是用于說明圖2的動態圖像攝影處理的圖。

圖4是表示圖1的攝像裝置所進行的重放處理所涉及的動作的一例的流程圖。

圖5a～c是用于說明圖4的重放處理的圖。

圖6是表示運用本發明的實施方式2的攝像裝置的概略構成的框圖。

圖7是表示圖6的攝像裝置所進行的動態圖像攝影處理所涉及的動作的一例的流程圖。

圖8是表示圖6的攝像裝置所進行的重放處理所涉及的動作的一例的流程圖。

圖9a～d是用于說明圖8的重放處理的圖。

具體實施方式

以下使用附圖對本發明說明具體方式。但發明的范圍并不限定于圖示例。

[實施方式1]

圖1是表示運用本發明的實施方式1的攝像裝置100的概略構成的框圖。

如圖1所示那樣，實施方式1的攝像裝置100具體具備：控制部1、存儲器2、攝像部3、信號處理部4、第1圖像處理部5、記錄控制部6、第1記錄部7、顯示部8和操作輸入部9。

另外，控制部1、存儲器2、攝像部3、信號處理部4、第1圖像處理部5、記錄控制部6以及顯示部8經由總線10而連接。

控制部1對攝像裝置100的各部進行控制。具體地，雖圖示省略，但控制部1具備cpu(centralprocessingunit，中央處理器)等，按照攝像裝置100用的各種處理程序(圖示略)來進行各種控制動作。

存儲器2例如由dram(dynamicrandomaccessmemory，動態隨機存取存儲器)等構成，暫時存放由控制部1、第1圖像處理部5等處理的數據等。

攝像部3以任意的攝像幀頻對被攝體攝像并生成幀圖像。具體地，攝像部3具備鏡頭部3a、電子攝像部3b和攝像控制部3c。

鏡頭部3a例如由變焦透鏡和聚焦透鏡等多個透鏡、調整通過透鏡的光的量的光圈等構成。

電子攝像部3b例如由ccd(chargecoupleddevice，電荷耦合期間)或cmos(complementarymetal-oxidesemiconductor，互補金屬氧化物半導體)等圖像傳感器(攝像元件)構成。并且電子攝像部3b將通過鏡頭部3a的各種透鏡的光學像變換成二維的圖像信號。

攝像控制部3c例如通過定時發生器或驅動器對電子攝像部3b進行掃描驅動，用電子攝像部3b將通過鏡頭部3a的光學像每隔給定周期變換成二維的圖像信號，從該電子攝像部3b的攝像區域一畫面份一畫面份地讀出幀圖像，并輸出給信號處理部4。

另外，攝像控制部3c也可以進行af(自動對焦處理)、ae(自動曝光處理)、awb(自動白平衡)等對被攝體攝像時的條件的調整控制。

信號處理部4對從電子攝像部3b轉發的幀圖像的模擬值的信號實施各種圖像信號處理。具體地，信號處理部4例如對幀圖像的模擬值的信號按rgb每個色分量適宜調整增益，用采樣保持電路(圖示略)采樣保持并用a/d變換器(圖示略)變換成數字數據，用彩色形成電路(圖示略)進行包括像素內插處理以及γ補正處理的彩色形成處理，從而生成數字值的亮度信號y以及色差信號cb、cr(yuv數據)。另外，信號處理部4將生成的亮度信號y以及色差信號cb、cr輸出給作為緩沖存儲器而使用的存儲器2。

第1圖像處理部5具備：第1生成部5a、第2生成部5b、第1取得部5c、第2取得部5d和第1合成部5e。

另外，第1圖像處理部5的各部例如由給定的邏輯電路構成，但該構成是一例，并不限于此。

第1生成部5a生成以第1分辨率表征被攝體的第1范圍a1的第1圖像i1(參考圖3(b))。

即，第1生成部(第1生成單元)5a，將由攝像部3攝像的原始圖像i0(參考圖3(a))整體縮小為第1范圍a1來生成第1圖像i1。

具體地，攝像部(攝像單元)3，以給定的解析度對被攝體的能攝影的范圍整體進行攝像，信號處理部4對從電子攝像部3b轉發的模擬值的信號實施各種圖像信號處理，來生成原始圖像i0的yuv數據，其中該給定的解析度利用了在電子攝像部3b的攝像區域的攝像中有效的全部像素(例如橫×縱：2560×1440等)。然后，第1生成部5a取得生成的原始圖像i0的yuv數據的復制，使原始圖像i0整體(第1范圍a1)通過間除處理等縮小，從而生成以第1分辨率表征的給定的像素數(例如橫×縱：1920×1080等)的第1圖像i1的yuv數據。

在此，第1分辨率以及后述的第2分辨率，相對地表征圖像中的物體(例如特定的被攝體s；后述)的精細程度，例如以像素數為基準，但這是一例，并不限于此，也可以以鏡頭部3a的成像性能或圖像的壓縮率為基準。作為鏡頭部3a的成像性能，例如能使用表征鏡頭的空間頻率特性的mtf(modulationtransferfunction，調制傳遞函數)曲線等，若鏡頭部3a的成像性能相對變高，則對應于此分辨率變高。另外，在例如以jpeg格式進行壓縮的情況下，由于根據壓縮率而畫質發生變化，因此若壓縮率相對變低，則對應于此分辨率變高。

另外，在由攝像部3對被攝體的動態圖像攝像的情況下，第1生成部5a將構成動態圖像的多個幀圖像的各自作為原始圖像i0，進行與上述同樣的處理來分別生成第1圖像i1的yuv數據。

第2生成部5b，生成以第2分辨率表征被攝體的第2范圍a2的第2圖像i2(參考圖3(c))。

即，第2生成部(第2生成單元)5b將由攝像部3攝像的原始圖像i0(參考圖3(a))的一部分的區域剪取為第2范圍a2，來生成第2圖像i2。這時，第2生成部5b從與第1生成部5a進行的第1圖像i1的生成中所用的圖像(原始圖像i0)相同的原始圖像i0生成第2圖像i2。

具體地，第2生成部5b，取得由信號處理部4生成的原始圖像i0的yuv數據的復制，將例如進行給定的被攝體檢測處理(例如臉檢測處理等)而檢測到的原始圖像i0內的特定的被攝體s所存在的區域(關注部分)剪取為第2范圍a2，由此生成以第2分辨率表征特定的被攝體s的第2圖像i2的yuv數據。

即，關于第2圖像i2的大小即第2范圍a2，由于是原始圖像i0的一部分的區域，因此比第1范圍a1要小。另外，關于第2圖像i2的第2分辨率，由于若比較構成第2圖像i2內的特定的被攝體s的像素數和構成第1圖像i1內的特定的被攝體s的像素數，則是第2圖像i2一方構成特定的被攝體s的像素數更多，因此高于第1分辨率。

另外，在由攝像部3對被攝體的動態圖像攝像的情況下，第2生成部5b將構成動態圖像的多個幀圖像的各自作為原始圖像i0，進行與上述同樣的處理來分別生成第2圖像i2的yuv數據。這時，第2生成部5b也可以對構成動態圖像的多個幀圖像的每一者，讓剪取的第2范圍a2的大小不同來分別生成第2圖像i2。例如第2生成部5b也可以對多個幀圖像伴隨時間經過而逐漸放大第2范圍a2的大小，來生成多個第2圖像i2。

如此，第1生成部5a以及第2生成部5b，從由攝像部3以給定的解析度攝像的相同的原始圖像i0分別生成第1圖像i1以及第2圖像i2。

另外，臉檢測處理由于是公知的技術，因此在此省略詳細的說明。另外，作為被攝體檢測處理而例示了臉檢測處理，但這是一例，并不限于此，只要是利用例如邊緣檢測處理、特征提取處理等給定的圖像認識技術的處理即可，能適宜任意變更。

第1取得部5c取得第1圖像i1。

即，第1取得部(第1取得單元)5c取得以第1分辨率表征被攝體的第1范圍a1的第1圖像i1(參考圖3(b))。具體地，第1取得部5c分別取得以構成動態圖像的多個幀圖像的各自為原始圖像i0由第1生成部5a生成的第1圖像i1的yuv數據。

第2取得部5d取得第2圖像i2。

即，第2取得部(第2取得單元)5d取得以高于第1分辨率的第2分辨率表征小于被攝體的第1范圍a1的第2范圍a2的第2圖像i2(參考圖3(c))。具體地，第2取得部5d分別取得以構成動態圖像的多個幀圖像的各自為原始圖像i0由第2生成部5b生成的第2圖像i2的yuv數據。

第1合成部5e生成第3圖像i3(參考圖3(d))。

即，第1合成部(合成單元)5e將由第1取得部5c取得的第1圖像i1和由第2取得部5d取得的第2圖像i2在保持各自的分辨率的狀態下合成，來生成第3圖像i3。具體地，在被攝體的攝影時，第1合成部5e不使第1圖像i1以及第2圖像i2的解析度變化，在合成狀態下成為里側的圖像(例如第1圖像i1等)內、在不存在特定的被攝體s的位置或基于用戶的給定操作設定為任意的位置的合成位置，重疊合成狀態下成為近前側的圖像(例如第2圖像i2等)來進行合成，由此生成保持第1圖像i1以及第2圖像i2各自的分辨率的第3圖像i3的yuv數據。

另外，在由攝像部3對被攝體的動態圖像攝像的情況下，第1合成部5e對構成動態圖像的多個幀圖像的每一者合成對應的第1圖像i1和第2圖像i2，來分別生成第3圖像i3。這時，第1合成部5e電可以使第1圖像i1和第2圖像i2的大小變化來進行合成。

例如，第1合成部5e以第1圖像i1為里側且以第2圖像北為近前側，將由第2生成部5b伴隨時間經過而使第2范圍a2的大小逐漸放大那樣生成的第2圖像i2與第1圖像i1進行合成(參考圖5(a)～圖5(c))。

另外，由于第1圖像i1與第2圖像i2的合成是公知的技術，因此在此省略詳細的說明。

記錄控制部6控制從第1記錄部7的數據的讀出、對第1記錄部7的數據的寫入。

即，記錄控制部6例如使由非易失性存儲器(閃速存儲器)或記錄介質等構成的第1記錄部7記錄動態圖像或靜止圖像的記錄用的圖像數據。具體地，記錄控制部6將被攝體的攝影時由第1合成部5e將第1圖像i1和第2圖像i2合成而生成的第3圖像i3以給定的壓縮格式(例如mpeg格式、m-jpeg格式、jpeg格式等)壓縮(編碼)，并記錄到第1記錄部(第1記錄單元)7。

例如，在由攝像部3對被攝體的動態圖像攝像的情況下，記錄控制部6將由第1合成部5e逐次生成的第3圖像i3壓縮，作為構成該動態圖像的幀圖像而暫時逐次記錄在存儲器2。然后，若動態圖像的攝像結束，則記錄控制部6從存儲器2取得全部幀圖像，使它們建立對應作為動態圖像記錄(保存)在第1記錄部7。

顯示部8具備顯示控制部8a和顯示面板8b。

顯示控制部8a基于從存儲器2或第1記錄部7讀出并由記錄控制部6解碼的給定的大小的圖像數據來進行使給定的圖像顯示于顯示面板8b的顯示區域的控制。具體地，顯示控制部8a具備vram(videorandomaccessmemory，視頻隨機存取存儲器)、vram控制器、數字視頻編碼器等。然后，數字視頻編碼器將由記錄控制部6解碼并存儲于vram(圖示略)的亮度信號y以及色差信號cb、cr，經由vram控制器從vram以給定的重放幀頻讀出，以這些數據為基礎產生視頻信號并輸出給顯示面板8b。

顯示面板8b基于來自顯示控制部8a的視頻信號將由攝像部3攝像的圖像等顯示在顯示區域內。具體地，顯示面板(重放單元)8b，將作為構成動態圖像的幀圖像記錄在1記錄部7的第3圖像i3以給定的重放幀頻切換來進行重放。這時，在將以多個第3圖像i3為多個幀圖像的動態圖像作為重放對象的情況下，顯示面板8b將合成了使第2范圍a2的大小逐漸放大的第2圖像i2的第3圖像i3作為幀圖像來進行重放(參考圖5(a)～圖5(c))，其中該多個第3圖像i3使用使第2范圍a2的大小逐漸放大而生成的多個第2圖像i2由第1合成部5e生成。

另外，作為顯示面板8b，例如能舉出液晶顯示面板或有機el(electro-luminescence，電致發光)顯示面板等，但這些是一例，并不限于此。

操作輸入部9用于進行該攝像裝置100的給定操作。具體地，操作輸入部9具備：被攝體的攝影指示所涉及的快門按鈕、攝影模式或功能等選擇指示所涉及的選擇決定按鈕、變焦量的調整指示所涉及的變焦按鈕(均省略圖示)等操作部。

然后，若由用戶操作了各種按鈕，則操作輸入部9將與操作的按鈕相應的操作信號輸出給控制部1。控制部1按照從操作輸入部9輸出并被輸入的操作指示來使各部執行給定的動作(例如動態圖像的攝影等)。

<動態圖像攝影處理>

接下來參考圖2～圖3(d)來說明攝像裝置100所進行的動態圖像攝影處理。

圖2是表示動態圖像攝影處理所涉及的動作的一例的流程圖。另外，圖3(a)～圖3(d)是用于說明動態圖像攝影處理的圖，示意表征構成動態圖像的一幀圖像。

如圖2所示那樣，首先控制部1的cpu例如基于用戶對操作輸入部9的給定操作來判定是否設定了第1合成模式，在該第1合成模式下，將合成第1圖像i1和第2圖像i2而得到的第3圖像i3作為構成動態圖像的幀圖像(步驟s1)。

在此，若判定為設定了第1合成模式(步驟s1；“是”)，基于用戶對操作輸入部9(例如快門按鈕)的給定操作，攝像部3開始被攝體的動態圖像的攝像(步驟s2)。

另一方面，若判定為未設定第1合成模式(步驟s1；“否”)，則進行通常的動態圖像攝影處理，將由攝像部3對被攝體攝像而生成的圖像作為構成動態圖像的幀圖像(步驟s3)。

若開始被攝體的動態圖像的攝像(步驟s2)，則攝像部3的攝像控制部3c在與動態圖像的攝像幀頻相應的給定的攝像定時，使用在電子攝像部3b的攝像區域的攝像中有效的全部像素(例如橫×縱：2560×1440等)來對被攝體的能攝影的范圍整體進行攝像，將該光學像變換成二維的圖像信號并輸出給信號處理部4，信號處理部4對從電子攝像部3b轉發的模擬值的信號實施各種圖像信號處理，生成原始圖像i0的yuv數據(步驟s4；參考圖3(a))。

然后，第1生成部5a，取得由信號處理部4生成的原始圖像i0的yuv數據的復制，使原始圖像i0整體通過間除處理等縮小，來生成以第1分辨率表征的給定的像素數(例如橫×縱：1920×1080等)的第1圖像i1的yuv數據(步驟s5；參考圖3(b))。

接下來，第2生成部5b取得由信號處理部4生成的原始圖像i0的yuv數據的復制，例如進行給定的被攝體檢測處理(例如臉檢測處理等)，來從原始圖像i0內檢測特定的被攝體s(步驟s6)。接下來，第2生成部5b將檢測到的特定的被攝體s所存在的區域作為第2范圍a2剪取，由此生成以第2分辨率表征特定的被攝體s的第2圖像i2的yuv數據(步驟s7；參考圖3(c))。

另外，作為第2范圍a2剪取的特定的被攝體s所存在的區域，例如也可以基于用戶對操作輸入部9的給定操作來指定。

另外，上述的步驟s5～s7的各處理的順序是一例，并不限于此，例如也可以在第2圖像i2的生成后生成第1圖像i1。

然后，第1取得部5c取得由第1生成部5a生成的第1圖像i1的yuv數據，并且第2取得部5d取得由第2生成部5a生成的第2圖像i2的yuv數據(步驟s8)。

接下來，第1合成部5e，在合成狀態下成為里側的第1圖像i1內確定成為近前側的第2圖像i2的合成位置(步驟s9)。具體地，第1合成部5e例如在第1圖像i1內將不存在特定的被攝體s的位置、基于用戶對操作輸入部9的給定操作而設定的任意的位置、作為默認而指定的位置等確定為合成位置。

接下來，第1合成部5e在第1圖像i1內的所確定的合成位置重疊第2圖像i2那樣進行合成，來生成第3圖像i3的yuv數據(步驟s10；參考圖3(d))。另外，在圖3(d)中示意地表征生成的第3圖像i3作為實時取景圖像顯示在顯示面板8b的狀態。

之后，記錄控制部6取得由第1合成部5e生成的第3圖像i3的yuv數據，將該第3圖像i3的yuv數據以給定的壓縮格式(例如mpeg格式等)壓縮，作為構成該動態圖像的幀圖像使存儲器2暫時記錄(步驟s11)。

接下來，控制部1的cpu判定是否輸入了被攝體的動態圖像的攝像的結束指示(步驟s12)。在此，被攝體的動態圖像的攝像的結束，例如基于用戶對操作輸入部9的給定操作來指示，或基于預先指定的錄影時間的經過來指示。

若在步驟s12判定為未輸入被攝體的動態圖像的攝像的結束指示(步驟s12；“否”)，則控制部1的cpu使處理返回步驟s4，逐次執行這以后的各處理。即，執行步驟s4～s11的各處理來生成成為構成動態圖像的下一幀圖像的第3圖像i3，并記錄在存儲器2。

上述的各處理直到在步驟s12判定為輸入了被攝體的動態圖像的攝像的結束指示為止(步驟s12；“是”)反復進行。

另一方面，若在步驟s12判定為輸入了被攝體的動態圖像的攝像的結束指示(步驟s12；“是”)，則記錄控制部6取得暫時記錄在存儲器2的全部幀圖像，使它們建立對應作為動態圖像保存在第1記錄部7(步驟s13)。

由此結束動態圖像攝影處理。

<重放處理>

接下來參考圖4～圖5(c)來說明攝像裝置100所進行的重放處理。

圖4是表示重放處理所涉及的動作的一例的流程圖。另外，圖5(a)～圖5(c)是用于說明重放處理的圖。

如圖4所示那樣，例如若基于用戶對操作輸入部9的給定操作指定了成為重放對象的動態圖像(步驟s21)，則顯示部8開始所指定的動態圖像的重放(步驟s22)。

即，記錄控制部6從第1記錄部7讀出重放對象的動態圖像的數據，將構成該動態圖像的多個幀圖像當中與當前的重放幀編號對應的幀圖像即第3圖像i3以與壓縮格式(例如mpeg格式等)相應的解碼化方式進行解碼，并輸出給顯示控制部8a(步驟s23)。然后顯示控制部8a使輸入的第3圖像i3作為幀圖像以給定的重放幀頻顯示在顯示面板8b的顯示區域(步驟s24；參考圖5(a))。

接下來，控制部1的cpu判定是否輸入了動態圖像的重放結束指示(步驟s25)。在此，動態圖像的重放的結束例如基于重放對象的動態圖像的重放時間的經過來指示，或者在重放中途也基于用戶對操作輸入部9的給定操作來指示。

若在步驟s25判定為未輸入動態圖像的重放結束指示(步驟s25；“否”)，則控制部1的cpu使處理返回步驟s23，逐次執行這以后的各處理。即，執行步驟s23、s24的各處理，顯示構成動態圖像的多個幀圖像當中當前的重放幀編號(若以前次為基準則為下一幀編號)的幀圖像(參考圖5(b)、圖5(c)等)。

在此，在圖5(a)～圖5(c)中，以第1圖像i1為里側且以第2圖像i2為近前側，表征以第3圖像i3為幀圖像的動態圖像的一例，將伴隨動態圖像的攝像時間的經過使第2范圍a2的大小逐漸放大而生成的第2圖像i2和第1圖像i1合成，從而得到該第3圖像i3。如圖5(c)所示那樣，若第2圖像i2的大小與第1圖像i1的大小大致相等，則成為第2圖像i2顯示在顯示面板8b的整面的狀態。

上述的各處理，直到在步驟s25判定為輸入了動態圖像的重放結束指示(步驟s25；“是”)為止都反復執行。

若在步驟s25判斷為輸入了動態圖像的重放結束指示(步驟s25；“是”)，則結束重放處理。

如以上那樣，根據實施方式1的攝像裝置100，由于取得以第1分辨率表征被攝體的第1范圍a1的第1圖像i1，取得以高于第1分辨率的第2分辨率表征小于被攝體的第1范圍a1的第2范圍a2的第2圖像i2，將取得的第1圖像i1和第2圖像i2以保持各自分辨率的狀態合成來生成第3圖像i3，因此不同于僅將第1圖像i1的一部分的區域放大進行合成或顯示，例如關于對應于特定的被攝體s確定的第2范圍a2，能作為分辨率更高的第2圖像i2與第1圖像i1合成來生成第3圖像i3，能在該第3圖像i3的記錄、重放中更有效地活用。

另外，由于對被攝體的能攝影的范圍整體以給定的解析度攝像，將攝像的原始圖像i0整體縮小為第1范圍a1來生成第1圖像i1，將原始圖像i0的一部分的區域(關注部分)剪取為第2范圍a2來生成第2圖像i2，能簡便地進行分辨率相互不同的第1圖像i1以及第2圖像i2的生成，作為結果，能取得它們來簡便地進行第3圖像i3的生成。特別是，能從以給定的解析度攝像的相同原始圖像i0分別生成分辨率互不相同的第1圖像i1以及第2圖像i2。

另外，由于將攝像的原始圖像i0整體縮小，不縮小原始圖像i0內的關注部分來進行記錄，因此，即使是少的記錄容量，也能以能實現整體的大致的確認和關注部分的詳細的確認的形式記錄攝影圖像。

另外，由于能以在將原始圖像i0整體縮小的第1圖像i1的一部分合成與剪取關注部分對應的第2圖像i2的狀態下進行記錄，因此不再需要個別記錄、重放2個幀圖像(圖像文件)的管理，只是對僅1個幀圖像(圖像文件)進行記錄、重放，就能實現整體的大致的確認和關注部分的詳細的確認。

進而，由于從構成由攝像部3攝像的被攝體的動態圖像的多個幀圖像的各自生成第1圖像i1，從多個幀圖像的各自生成第2圖像i2，對多個幀圖像的每一者將對應的第1圖像i1和第2圖像i2合成來生成第3圖像i3，因此能生成以分辨率互不相同第1圖像i1和第2圖像i2合成而得到的第3圖像i3為幀圖像的動態圖像。這時，通過對構成動態圖像的多個幀圖像每一者使第2范圍a2的大小不同來生成第2圖像i2，能對以使用生成的多個第2圖像i2生成的多個第3圖像i3為多個幀圖像的動態圖像進行重放，使第2范圍a2的大小逐漸放大，能更有效進行活用。

另外，由于在被攝體的攝影時，將第1圖像i1和第2圖像i2合成來生成第3圖像i3，將該第3圖像i3記錄在第1記錄部7，因此僅從第1記錄部7讀出第3圖像i3，就能重放第1圖像i1以及第2圖像i2合成而得到的第3圖像i3，例如，能效率良好地進行第2圖像i2內的以更高分辨率表征的特定的被攝體s的確認。

進而，即使將第3圖像i3壓縮記錄，也能設為保持第1圖像i1和第2圖像i2各自的分辨率的狀態。

[實施方式2]

以下參考圖6～圖9(d)來說明實施方式2的攝像裝置200。

實施方式2的攝像裝置200，在以下詳細說明以外的點上與上述實施方式1的攝像裝置100是大致同樣的構成，省略詳細的說明。

圖6是表示運用本發明的實施方式2的攝像裝置200的概略構成的框圖。

本實施方式的攝像裝置200在被攝體的攝影時，將由第1生成部5a生成的第1圖像i1和由第2生成部5b生成的第2圖像i2建立關聯記錄在第2記錄部207，在圖像的重放時，用第2圖像處理部205的第2合成部205e將第1圖像i1和第2圖像i2合成來生成第3圖像i3，顯示該第3圖像i3。

首先說明第2記錄部207。

第2記錄部207記錄第1圖像群g1、第2圖像群g2和合成位置列表l。

第1圖像群g1由第1生成部5a所生成的多個第1圖像i1構成。具體地，第1圖像群g1在在被攝體的動態圖像的攝影時將第1圖像i1和幀編號建立對應而構成，該第1圖像i1由第1生成部5a生成，由記錄控制部6以給定的壓縮格式(例如mpeg格式)壓縮。

第2圖像群g2由第2生成部5b所生成的多個第2圖像i2構成。具體地，第2圖像群g2在被攝體的動態圖像的攝影時，將第2圖像i2和幀編號建立對應來構成，該第2圖像i2由第2生成部5b生成，由記錄控制部6以給定的壓縮格式(例如mpeg格式)壓縮。

合成位置列表l，將合成狀態下成為里側的圖像(例如第1圖像i1等)內的成為近前側的圖像(例如第2圖像i2等)的合成位置和幀編號建立對應而構成。

另外，幀編號在被攝體的動態圖像的攝影時表征攝像幀的順序，在動態圖像的重放時表征重放幀的順序(重放幀編號)。

第2合成部205e在圖像的重放時將第1圖像i1和第2圖像i2合成來生成第3圖像i3。

即，第2合成部205e，將多個第3圖像i3生成為構成重放的動態圖像的多個幀圖像。例如第1取得部5c在圖像的重放時從記錄于第2記錄部207的第1圖像群g1取得用于形成成為與重放幀編號對應的幀圖像的第3圖像i3的第1圖像i1的yuv數據。另外，第2取得部5d，在圖像的重放時，從記錄于第2記錄部207的第2圖像群g2取得用于形成成為與重放幀編號對應的幀圖像的第3圖像i3的第2圖像i2的yuv數據。然后，第2合成部205e，將由第1取得部5c取得的第1圖像i1和由第2取得部5d取得的第2圖像i2以保持分辨率的狀態合成來生成第3圖像i3。具體地，第2合成部205e從記錄于第2記錄部207的合成位置列表l取得與重放幀編號對應的幀圖像中的合成位置，在合成狀態下成為里側的圖像(例如第1圖像i1等)的合成位置，重疊合成狀態下成為近前側的圖像(例如第2圖像i2等)，如此進行合成，來生成第3圖像i3的yuv數據。

另外，第2合成部205e與上述實施方式1同樣，例如可以以第1圖像i1為里側且以第2圖像i2為近前側，將由第2生成部5b伴隨時間經過使第2范圍a2的大小逐漸放大而生成的第2圖像i2與第1圖像i1進行合成。在該情況下，第2合成部205e也可以使里側的第1圖像i1的大小(像素數)逐漸縮小，若相比于不斷逐漸縮小的第1圖像i1的大小而使第2范圍a2的大小不斷逐漸放大的第2圖像i2變得更大，則也可以以第2圖像i2為里側、以第1圖像i1為近前側來進行合成，生成多個第3圖像i3(參考圖9(a)～圖9(d))。

在此，第2合成部205e例如通過使從被攝體的攝影的范圍最大的第1圖像i1(例如與最初的幀編號對應的第1圖像i1等)剪取的一部分的區域的大小逐漸變小，來使第1圖像i1的大小變化。

另外，第1生成部5a和第2生成部5b，與上述實施方式1的攝像裝置100中所具備的生成部具有大致同樣的構成以及功能，在此省略詳細的說明。

<動態圖像攝影處理>

接下來，參考圖7來說明攝像裝置200所進行的動態圖像攝影處理。

圖7是表示動態圖像攝影處理所涉及的動作的一例的流程圖。

如圖7所示那樣，首先控制部1的cpu，基于例如用戶對操作輸入部9的給定操作，在圖像的重放時，將第1圖像i1和第2圖像i2合成來生成第3圖像i3，并判定是否設定了設為構成動態圖像的幀圖像的第2合成模式(步驟s31)。

在此，若判定為設定了第2合成模式(步驟s31；“是”)，則與上述實施方式1的動態圖像攝影處理的步驟s2大致同樣，攝像部3開始被攝體的動態圖像的攝像(步驟s32)。

另一方面，若判定為未設定第2合成模式(步驟s31；“否”)，則與上述實施方式1的動態圖像攝影處理的步驟s3大致同樣地進行通常的動態圖像攝影處理(步驟s33)。

若開始被攝體的動態圖像的攝像(步驟s32)，則與上述實施方式1的動態圖像攝影處理的步驟s4大致同樣，攝像部3的攝像控制部3c在與動態圖像的攝像幀頻相應的給定的攝像定時，使用在電子攝像部3b的攝像區域的攝像中有效的全部像素(例如橫×縱：2560×1440等)來對被攝體的能攝影的范圍整體攝像，信號處理部4生成原始圖像i0的yuv數據(步驟s34)。

然后，第1生成部5a與上述實施方式1的動態圖像攝影處理的步驟s5大致同樣，將復制的原始圖像i0整體縮小來生成以第1分辨率表征的給定的像素數(例如橫×縱：1920×1080等)的第1圖像i1的yuv數據(步驟s35)。

接下來，第2生成部5b，與上述實施方式1的動態圖像攝影處理的步驟s6大致同樣，從復制的原始圖像i0內檢測特定的被攝體s(步驟s36)，接著與上述實施方式1的動態圖像攝影處理的步驟s7大致同樣，將特定的被攝體s所存在的區域作為第2范圍a2剪取，生成以第2分辨率表征特定的被攝體s的第2圖像i2的yuv數據(步驟s37)。

然后，第2合成部205e與上述實施方式1的動態圖像攝影處理的步驟s9大致同樣地，在合成狀態下成為里側的第1圖像i1內確定成為近前側的第2圖像i2的合成位置(步驟s38)。接著第2合成部205e將所確定的合成位置和幀編號建立對應追加到合成位置列表l，使存儲器2暫時記錄(步驟s39)。

接下來，記錄控制部6取得由第1生成部5a生成的第1圖像i1的yuv數據，并將該第1圖像i1的yuv數據以給定的壓縮格式(例如mpeg格式等)壓縮，與幀編號建立對應追加到第1圖像群g1，使存儲器2暫時記錄(步驟s40)。接著，記錄控制部6取得由第2生成部5b生成的第2圖像i2的yuv數據，將該第2圖像i2的yuv數據以給定的壓縮格式(例如mpeg格式等)壓縮，與幀編號建立對應并追加到第2圖像群g2，使存儲器2暫時記錄(步驟s41)。

另外，上述的步驟s40、s41的各處理的順序是一例，并不限于此，例如可以在第2圖像i2的記錄后記錄第1圖像i1。

接下來，控制部1的cpu與上述實施方式1的動態圖像攝影處理的步驟s12大致同樣，判定是否輸入了被攝體的動態圖像的攝像的結束指示(步驟s42)。

在此，若判定為未輸入被攝體的動態圖像的攝像的結束指示(步驟s42；“否”)，則控制部1的cpu使處理返回步驟s34，逐次執行這以后的各處理。即，執行步驟s34～s41的各處理來生成用于構成第3圖像i3的第1圖像i1以及第2圖像i2生成，并記錄在存儲器2，該第3圖像i3成為構成動態圖像的下一幀圖像。

上述的各處理直到在步驟s42判定為輸入了被攝體的動態圖像的攝像的結束指示(步驟s42；“是”)為止重復執行。

另一方面，若在步驟s42判定為輸入了被攝體的動態圖像的攝像的結束指示(步驟s42；“是”)，記錄控制部6取得暫時記錄在存儲器2的第1圖像群g1、第2圖像群g2和合成位置列表l，使它們建立對應保存在第2記錄部207(步驟s43)。

由此結束動態圖像攝影處理。

<重放處理>

接下來參考圖8～圖9(d)來說明攝像裝置200所進行的重放處理。

圖8是表示重放處理所涉及的動作的一例的流程圖。另外，圖9(a)～圖9(d)是用于說明重放處理的圖。

如圖8所示那樣，若基于例如用戶對操作輸入部9的給定操作將與最初的幀編號對應的第1圖像i1或第2圖像i2指定為重放對象(步驟s51)，則控制部1的cpu判定重放對象是否是以第2合成模式(參考圖7)記錄的圖像(步驟s52)。

在此，若判定為重放對象不是以第2合成模式記錄的圖像(步驟s52；“否”)，則控制部1的cpu進行上述的實施方式1的重放處理(參考圖5)等通常的重放處理(步驟s53)。

另一方面，若在步驟s52判定為重放對象是以第2合成模式記錄的圖像(步驟s52；“是”)，則顯示部8開始所指定的動態圖像的重放(步驟s54)。

即，記錄控制部6對記錄于第2記錄部207的第1圖像群g1當中與當前的重放幀編號對應的第1圖像i1以與壓縮格式(例如mpeg格式等)相應的解碼化方式解碼并輸出給存儲器2，第1取得部5c從存儲器2取得第1圖像i1的yuv數據(步驟s55)。接下來，記錄控制部6對記錄于第2記錄部207的第2圖像群g2當中與當前的重放幀編號對應的第2圖像i2以與壓縮格式(例如mpeg格式等)相應的解碼化方式進行解碼并輸出給存儲器2，第2取得部5d從存儲器2取得第2圖像i2的yuv數據(步驟s56)。之后，第2合成部205e從記錄于第2記錄部207的合成位置列表l取得與當前的重放幀編號對應的合成位置(步驟s57)。

另外，上述的步驟s55～s57的各處理的順序是一例，并不限于此，例如可以在第2圖像i2的取得后取得第1圖像i1，另外，取得合成位置的定時可以是第1圖像i1、第2圖像i2的取得前。

接下來，第2合成部205e在第1圖像i1內的合成位置重疊第2圖像i2，如此合成來生成第3圖像i3的yuv數據，并輸出給顯示控制部8a(步驟s58)。然后，顯示控制部8a將輸入的第3圖像i3作為幀圖像以給定的重放幀頻顯示在顯示面板8b的顯示區域(步驟s59；參考圖9(a))。

接下來，控制部1的cpu與上述實施方式1的重放處理的步驟s25大致同樣，判定是否輸入了動態圖像的重放結束指示(步驟s60)。

在此，若判定為未輸入動態圖像的重放結束指示(步驟s60；“否”)，控制部1的cpu使處理返回步驟s55，逐次執行這以后的各處理。即，執行步驟s55～s59的各處理，按照重放幀編號順序將第1圖像i1和第2圖像i2合成，由此生成第3圖像i3作為幀圖像，并顯示生成的幀圖像(參考圖9(c)～圖9(d)等)。

在此，在圖9(a)～圖9(d)中表征以第3圖像i3為幀圖像的動態圖像的一例，將第2圖像i2和第1圖像i1合成而得到第3圖像i3，該第2圖像i2伴隨動態圖像的攝像時間的經過使第2范圍a2的大小逐漸放大那樣生成。

在該動態圖像的一例中，伴隨近前側的第2圖像i2的大小的放大，而使里側的第1圖像i1的大小逐漸縮小，在該過程，若相比于不斷逐漸縮小的第1圖像i1的大小而使第2范圍a2的大小不斷逐漸放大的第2圖像i2變得更大，則第2合成部205e，以第2圖像i2為里側，以第1圖像i1為近前側來進行合成，生成第3圖像i3(參考圖9(c)等)。然后如圖9(d)所示那樣，最終成為在顯示于顯示面板8b的整面的第2圖像i2的近前側顯示與最初的幀編號對應的第1圖像i1的一部分的區域的狀態。

上述的各處理直到在步驟s60判定為輸入了動態圖像的重放結束指示(步驟s60；“是”)為止重復執行。

若在步驟s60判定為輸入了動態圖像的重放結束指示(步驟s60；“是”)，則結束重放處理。

如以上那樣，根據實施方式2的攝像裝置200，與上述實施方式1大致同樣，不同于僅將第1圖像i1的一部分的區域放大來合成或顯示，例如關于對應于特定的被攝體s(關注部分)而確定的第2范圍a2，能作為分辨率更高的第2圖像i2與第1圖像i1合成來生成第3圖像i3，在該第3圖像i3的記錄或重放中，能更有效地活用。

特別通過在被攝體的攝影時將生成的第1圖像i1和第2圖像i2建立關聯記錄在第2記錄部207，由此能在圖像的重放時，將記錄于第2記錄部207的第1圖像i1合成第2圖像i2合成來生成第3圖像i3，顯示該第3圖像i3。即，在被攝體的攝影時，不再需要將第1圖像i1和第2圖像i2合成來生成第3圖像i3，即使是處理能力相對低的裝置，也能個別效率良好地進行被攝體的攝影和第3圖像i3的生成。進而，若第1圖像i1成為第2圖像i2的里側那樣生成多個第3圖像i3，并且相比于不斷逐漸縮小的第1圖像i1的大小而使第2范圍a2的大小不斷逐漸放大的第2圖像i2變得更大，則還能使第2圖像i2成為比第1圖像i1更靠里側那樣生成多個第3圖像i3，通過個別進行被攝體的攝影和第3圖像i3的生成，能以相對自由度高的方式生成將第1圖像i1和第2圖像i2合成而得到的第3圖像i3。

即，在實施方式2中，即使是少的記錄容量也能以能實現整體的大致的確認和關注部分的詳細的確認的形式記錄攝影圖像，這與實施方式1同樣，但與實施方式1比較，通過取代需要個別記錄、重放第1圖像i1和第2圖像i2的管理，利用縮小原始圖像i0整體的第1圖像i1和與剪取的關注部分對應的第2圖像i2的重放顯示，能提高進行整體的大致的確認和關注部分的詳細的確認時的自由度。

另外，本發明并不限定于上述實施方式1、2，可以在不脫離本發明的主旨的范圍內進行種種改良和設計的變更。

例如，也可以通過在動態圖像的攝像時使由第2生成部5b從原始圖像i0剪取的一部分的區域的位置變化，來生成使第2范圍a2的位置不同的第2圖像i2。即，在特定的被攝體s為2個以上的情況下等，在動態圖像的攝像的中途，第2生成部5b生成使第2范圍a2的位置不同的第2圖像i2，由此能切換2個以上的特定的被攝體s來進行合成。

進而，也可以通過對應于特定的被攝體s的數量使第2范圍a2的數量變化，來生成與特定的被攝體s的各自對應的多個第2圖像i2，與第1圖像i1合成。

另外，在上述實施方式1、2中，作為構成動態圖像的多個幀圖像而生成多個第3圖像i3，但這是一例，并不限于此，例如也可以設為一幅靜止圖像。

另外，攝像裝置100、200的構成在上述實施方式1、2的例示是一例，并不限于此。進而，作為圖像處理裝置而例示了攝像裝置100、200，但并不限于此，是否具備攝像功能可以適宜任意變更。

此外在上述實施方式中，構成為在控制部1的控制下由第1取得部5c、第2取得部5d、第1合成部5e進行驅動來實現為第1取得單元、第2取得單元、合成單元的功能，但并不限于此，也可以構成為通過由控制部1的cpu執行給定的程序等來實現。

即，在程序存儲器(圖示略)記錄包含第1取得處理例程、第2取得處理例程、合成處理例程的程序。然后，通過第1取得處理例程使控制部1的cpu實現如下功能：取得以第1分辨率表征被攝體的第1范圍a1的第1圖像i1。另外，可以通過第2取得處理例程使控制部1的cpu實現如下功能：取得以高于第1分辨率的第2分辨率表征小于被攝體的第1范圍a1的第2范圍a2的第2圖像i2。另外，可以通過合成處理例程使控制部1的cpu實現如下功能：將取得的第1圖像i1和取得的第2圖像i2以保持各自分辨率的狀態進行合成，來生成第3圖像i3。

同樣地，關于攝像單元、第1生成單元、第2生成單元、第1記錄單元、第2記錄單元、重放單元、記錄控制單元，也可以構成為通過由控制部1的cpu執行給定的程序等來實現。

進而，作為存放用于執行上述的各處理的程序的計算機可讀的介質，除了能運用rom、硬盤等以外，還能運用閃速存儲器等非易失性存儲器、cd-rom等可移動記錄介質。另外，作為將程序的數據經由給定的通信線路來進行提供的介質，還運用載波(carrierwave)。

對本發明的幾個實施方式進行了說明，但本發明的范圍并不限定于上述的實施方式，還包含與記載于權利要求書的發明的范圍等同的范圍。

以下附記一開始添附在本申請的申請書的權利要求書所記載的發明。附記記載的權利要求的編號，如一開始在本申請的申請書添附的權利要求書。

另外，在上述的實施方式中，通過控制部基于存儲于存儲部的程序動作，來實現(執行、構成)為了得到上述那樣各種效果所需的各種功能(處理、手段)的一部分或全部。但這是一例，為了實現這些功能還能使用其他各種方法。

例如能將各種功能的一部分或全部用ic、lsi等的電子電路實現。在該情況下，關于電子電路的具體的構成，由于能基于說明書記載的流程圖、功能框圖等由本領域技術人員容易地實現，因此省略詳細(例如關于伴隨以流程圖示出的處理的分支的判斷處理，能構成為用比較器對輸入數據進行比較，根據該比較結果來切換選擇器)。

另外，怎樣分割為了得到各種效果而需要的多個功能(處理、手段)等也是自由的，以下記述其一例。

(構成1)

在圖像處理裝置所進行的圖像處理方法中，構成為：取得以第1分辨率表征被攝體的第1范圍的第1圖像，取得以高于所述第1分辨率的第2分辨率表征所述被攝體的小于所述第1范圍的第2范圍的第2圖像，將所述第1圖像和所述第2圖像以保持各自的分辨率的狀態合成來生成第3圖像。

(構成2)

上述構成的基礎上進一步構成為：由攝像部對被攝體的能攝影的范圍整體以給定的解析度攝像，將由所述攝像部攝像的圖像整體設為所述第1范圍，縮小該第1范圍的圖像來生成所述第1圖像，將由所述攝像部攝像的圖像的一部分的區域設為所述第2范圍，剪取該第2范圍的圖像來生成所述第2圖像。

(構成3)

上述構成的基礎上進一步構成為：從由所述攝像部以給定的解析度攝像的同一圖像分別生成所述第1圖像以及所述第2圖像。

(構成4)

上述構成的基礎上進一步構成為：在被攝體的攝影時，將所述第1圖像和所述第2圖像合成來生成所述第3圖像，將該第3圖像記錄在記錄部。

(構成5)

上述構成的基礎上進一步構成為：在被攝體的攝影時，將所述第1圖像和所述第2圖像建立關聯記錄在記錄部，在圖像的重放時，將記錄于所述記錄部的所述第1圖像和所述第2圖像合成來生成所述第3圖像，顯示該第3圖像。

(構成6)

上述構成的基礎上進一步構成為：由所述攝像部對被攝體的動態圖像攝像，從構成所述動態圖像的多個幀圖像的各自生成所述第1圖像，從構成所述動態圖像的多個幀圖像的各自生成所述第2圖像，對構成所述動態圖像的多個幀圖像的每一者，將對應的所述第1圖像和所述第2圖像合成來生成所述第3圖像。

(構成7)

上述構成的基礎上進一步構成為：對構成所述動態圖像的多個幀圖像的每一者，使所述第2范圍的大小不同來生成所述第2圖像。

(構成8)

上述構成的基礎上進一步構成為：使用使所述第2范圍的大小逐漸放大那樣生成的多個第2圖像來生成所述多個第3圖像，使所述第2范圍的大小逐漸放大那樣來重放以該生成的多個第3圖像為多個幀圖像的動態圖像。

(構成9)

上述構成的基礎上進一步構成為：讓所述第1圖像成為所述第2圖像的里側那樣生成所述多個第3圖像，并且若相比于斷逐漸縮小的所述第1圖像的大小而使所述第2范圍的大小不斷逐漸放大的所述第2圖像變得更大，則讓所述第2圖像成為所述第1圖像的里側那樣來生成所述多個第3圖像。

(構成10)

上述構成的基礎上進一步構成為：作為所述動態圖像的中途的幀圖像，生成使所述第2范圍的位置不同的所述第2圖像。

(構成11)

上述構成的基礎上進一步構成為：將合成所述第1圖像和所述第2圖像而生成的所述第3圖像壓縮，并記錄在記錄部。