本公開涉及圖像處理裝置、圖像處理方法和程序。

背景技術：

用于數字相機等的相機抖動校正技術例如在專利文獻1中說明的那樣已經是常見的。相機抖動校正技術的已知示例是使用安裝于圖像拍攝裝置上的陀螺儀傳感器來檢測相機抖動、然后驅動校正透鏡以朝消除相機抖動的方向移動光軸的光學技術。還已知檢測所拍攝的圖像中的相機抖動、然后切出區域以用于一致的目標區域的電子相機抖動校正技術。

引文列表

專利文獻1：日本特開2009-272890號公報

技術實現要素：

上述相機抖動校正技術使得即使當在圖像拍攝裝置抖動的環境中拍攝圖像的情況下也能夠記錄穩定的圖像。同時，經過相機抖動校正的圖像可能無法充分再現在圖像拍攝時感覺到的真實感。上述技術能夠在圖像拍攝時選擇是否校正相機抖動，但是難以在拍攝和記錄圖像之后改變關于是否應用相機抖動校正的選擇。當再現圖像時，無法充分再現用戶期望的穩定性或真實感。

因此，本公開提出了一種新穎的和改進過的圖像處理裝置、圖像處理方法和程序，其能夠再現添加有用戶所期望的效果的圖像。

根據本公開，提供一種圖像處理裝置，包括：圖像反向穩定化處理單元，被配置成根據關于圖像的抖動的抖動信息對該圖像添加表現抖動的效果。

另外，根據本公開，提供一種圖像處理裝置，包括：圖像反向穩定化處理單元，被配置成根據觀察者針對圖像的沉浸感的期望值，決定要被添加到該圖像的表現抖動的效果的程度。

另外，根據本公開，提供一種圖像處理方法，包括：由處理器根據關于圖像的抖動的抖動信息，對該圖像添加表現抖動的效果。

根據本公開，提供一種圖像處理方法，包括：由處理器根據觀察者針對圖像的沉浸感的期望值，決定要被添加到該圖像的表現抖動的效果的程度。

另外，根據本公開，提供一種程序，用于使計算機執行：根據關于圖像的抖動的抖動信息對該圖像添加表現抖動的效果的功能。

另外，根據本公開，提供一種程序，用于使計算機執行：根據觀察者針對圖像的沉浸感的期望值決定要被添加到該圖像的表現抖動的效果的程度的功能。

如上所述，根據本公開，能夠再現添加有用戶所期望的效果的圖像。

注意上述效果并非限定。與上述效果一起或代替上述效果，可以實現本說明書中說明的任意的效果或者可以從本說明書掌握的其它效果。

附圖說明

圖1是示出根據本公開的第1實施方式的圖像處理系統的功能結構示例的原理框圖。

圖2是示出本公開的第1實施方式的記錄處理的示例的流程圖。

圖3是示出本公開的第1實施方式的再現處理的示例的流程圖。

圖4是更詳細地示出用于在根據本公開的第1實施方式的圖像處理系統中執行記錄處理的功能結構的框圖。

圖5是更詳細地示出被包含于根據本公開的第1實施方式的圖像處理系統的解復用器和解碼模塊的功能結構的框圖。

圖6是更詳細地示出被包含于根據本公開的第1實施方式的圖像處理系統的沉浸度計算模塊的功能結構的框圖。

圖7是更詳細地示出被包含于根據本公開的第1實施方式的圖像處理系統的圖像反向穩定化模塊的功能結構的框圖。

圖8是更詳細地示出被包含于根據本公開的第1實施方式的圖像處理系統的顯示模塊的功能結構的框圖。

圖9是用于進一步說明在根據本公開的第1實施方式的圖像處理系統中計算沉浸度的處理的圖。

圖10是示出本公開的第1實施方式中的圖像顯示的第1示例的圖。

圖11是示出本公開的第1實施方式中的圖像顯示的第2示例的圖。

圖12是示出根據本公開的第2實施方式的圖像處理系統的功能結構示例的原理框圖。

圖13是示出本公開的第2實施方式中的記錄處理的示例的流程圖。

圖14是示出本公開的第2實施方式中的再現處理的示例的流程圖。

圖15是示出根據本公開的第3實施方式的圖像處理系統的功能結構示例的原理框圖。

圖16是示出根據本公開的實施方式的圖像處理裝置的硬件配置示例的框圖。

具體實施方式

在下文中，將參照附圖詳細說明本公開的優選的一個或多個實施方式。在本說明書和附圖中，用相同的附圖標記表示具有實質上相同的功能和結構的結構部件，并且省略對這些結構部件的重復說明。

將按照以下順序進行說明。

第1實施方式

1-1.功能結構

1-2.處理流程

1-3.各單元的詳細功能結構

1-4.計算沉浸度的處理

1-5.顯示例

2.第2實施方式

3.第3實施方式

4.硬件配置

5.補充信息

(1.第1實施方式)

(1-1.功能結構)

圖1是示出根據本公開的第1實施方式的圖像處理系統的功能結構示例的原理框圖。圖1示出圖像處理系統100包括信號捕獲和處理模塊110、編碼和復用器模塊120、存儲器模塊130、解復用器和解碼模塊140、沉浸度計算模塊150、圖像反向穩定化模塊160以及顯示模塊190。沉浸度計算模塊150接收模式設置170和觀眾環境設置180。以下詳細討論各部件。

上述圖像處理系統100的功能結構例如可以由單個圖像處理裝置實現，或者可以由多個圖像處理裝置分散實現。例如，上述圖像處理系統100的整體功能結構可以在諸如數字相機或配備有相機的智能手機或平板電腦的終端裝置中實現。在這種情況下，可以在終端裝置本身上瀏覽由終端裝置拍攝并經過反向穩定化處理的圖像。存儲器模塊130可以內置于終端裝置，或者可以是可移除記錄介質。

同時，例如，圖像處理系統100的功能結構可以由終端裝置和服務器裝置分散地實現。在這種情況下，例如，信號捕獲和處理模塊110和顯示模塊190可以在終端裝置中實現，這兩者之間的功能結構(即，編碼和復用器模塊120、存儲器模塊130、解復用器和解碼模塊140、沉浸度計算模塊150和圖像反向穩定化模塊160)可以由一個或多個服務器裝置實現。終端裝置與服務器裝置之間的通信以及服務器裝置之間的通信經由包括因特網、Wi-Fi和藍牙(注冊商標)的各種有線或無線網絡來執行。

編碼和復用器模塊120、存儲器模塊130、解復用器和解碼模塊140、沉浸度計算模塊150和圖像反向穩定化模塊160中的一些可以在終端裝置中實現。在這種情況下，實現信號捕獲和處理模塊110的終端裝置與實現顯示模塊190的終端裝置不同。例如，信號捕獲和處理模塊110在數字相機中實現，顯示模塊190可以在與數字相機不同的個人計算機中實現。

(1-2.處理流程)

圖2是示出本公開的第1實施方式的記錄處理的示例的流程圖。圖2示出信號捕獲和處理模塊110首先捕獲圖像拍攝裝置的運動(S101)，并捕獲音頻和圖像(S102)。此外，信號捕獲和處理模塊110按照在S101中獲取的運動來穩定圖像(S103)，并且編碼和復用器模塊120對音頻和圖像進行編碼和復用(S104)。然后，存儲器訪問(S105)使音頻和圖像的數據存儲在存儲器模塊130中。

此處，在本實施方式中，指示S103的圖像穩定化中的幀圖像的移動量的向量與穩定過的圖像的數據一起被編碼和復用(S104)，并存儲在存儲器模塊130中(S105)。該向量被用于后述的再現時的處理。

圖3是示出本公開的第1實施方式的再現處理的示例的流程圖。圖3示出解復用器和解碼模塊140首先對從存儲器模塊130讀出的圖像和音頻的數據進行解復用和解碼(S121)。此時，存儲在存儲器模塊130中的穩定化向量的數據與圖像和音頻的數據一起被讀出，并被解碼和解復用。

接下來，在反向穩定化之前決定適合于要被再現的圖像的顯示的沉浸度。以下討論沉浸度的定義。沉浸度計算模塊150根據模式設置170確定模式(S122)。如果模式是“手動”，沉浸度計算模塊150手動設置沉浸度(S123)。此處設置的沉浸度的值可以是例如通過用戶操作而輸入的值。同時，如果S122中的確定表示模式是“自動”，則沉浸度計算模塊150分析圖像(S124)并自動計算沉浸度(S125)。

圖像反向穩定化模塊160根據在S125中通過沉浸度計算模塊150自動計算出的沉浸度、或者在S123中通過沉浸度計算模塊150手動設置的沉浸度，對圖像進行反向穩定(S126)。此外，顯示模塊190顯示反向穩定過的圖像(S127)。

(1-3.各單元的詳細功能結構)

圖4是更詳細地示出用于在根據本公開的第1實施方式的圖像處理系統中執行記錄處理的功能結構的框圖。以下參照圖4，主要對信號捕獲和處理模塊110以及編碼和復用器模塊120的結構更詳細地進行說明。

信號捕獲和處理模塊110包括透鏡111、陀螺儀傳感器112、成像器傳感器113、麥克風114和圖像穩定化處理單元115。成像器傳感器113通過透鏡111接收光，并生成圖像數據。陀螺儀傳感器112檢測包括透鏡111的殼體的振動。按照由陀螺儀傳感器112檢測到的振動，移動被包含于透鏡111的校正透鏡，從而實現使光軸朝消除抖動的方向移動的光學相機抖動校正(圖像穩定化)。盡管未圖示，也可以通過移動成像器傳感器113來實現光學相機抖動校正。

圖像穩定化處理單元115按照由陀螺儀傳感器112檢測到的振動，對從成像器傳感器113輸出的圖像應用電子相機抖動校正(穩定圖像)。更具體而言，圖像穩定化處理單元115以將比從成像器傳感器113提供的輸入圖像的區域小的區域用作輸出圖像的區域并使被包含于輸出圖像的目標區域固定的方式，執行從輸入圖像切出輸出圖像的區域的處理。此處，圖像穩定化處理單元115可以按照通過陀螺儀傳感器112檢測振動而獲得的結果來決定要切出的區域，或者可以根據圖像的分析來決定要切出的區域。

由圖像穩定化處理單元115穩定過的圖像被輸入到編碼和復用器模塊120的圖像編碼單元122。在本實施方式中，從陀螺儀傳感器112提供到圖像穩定化處理單元115并指示殼體的振動的向量、或者與由圖像穩定化處理單元115執行的圖像穩定化處理對應的向量(例如，指示從輸入圖像切出的輸出圖像的位置從中心偏移的向量)被輸入到編碼和復用器模塊120的穩定化向量編碼單元121。上述各向量也被稱作穩定化向量。此外，由麥克風114獲取并與圖像對應的音頻數據被輸入到編碼和復用器模塊120的音頻編碼單元123。

此處，上述相機抖動校正(圖像穩定化)處理能夠是去除圖像拍攝時的由圖像拍攝裝置的抖動造成的影響的至少一部分的處理。該處理允許圖像穩定化處理單元115輸出穩定過的圖像。在這種情況下，圖像是去除了由圖像拍攝裝置的抖動造成的影響的至少一部分的圖像。如下所述，圖像反向穩定化模塊160對圖像添加表現抖動的效果，從而在圖像中再現圖像拍攝裝置的抖動。穩定化向量是指示在圖像拍攝時發生的圖像拍攝裝置的抖動的圖像拍攝裝置抖動信息的示例。

編碼和復用器模塊120包括穩定化向量編碼單元121、圖像編碼單元122、音頻編碼單元123和復用器124。如上所述，各編碼單元對從信號捕獲和處理模塊110提供的圖像數據、音頻數據以及穩定化向量進行編碼。復用器124對由各編碼單元編碼過的數據進行復用。復用過的數據被存儲在被包含于存儲器模塊130的數據存儲裝置131中。

圖5是更詳細地示出被包含于根據本公開的第1實施方式的圖像處理系統的解復用器和解碼模塊的功能結構的框圖。圖5示出解復用器和解碼模塊140包括解復用器141、穩定化向量解碼單元142、圖像解碼單元143和音頻解碼單元144。

解復用器141對通過編碼和復用器模塊120而存儲在存儲器模塊130中的數據存儲裝置131中的數據進行解復用，并獲取穩定化向量的數據、圖像數據和音頻數據。相應的解碼單元對由編碼和復用器模塊120編碼過的圖像數據、音頻數據、穩定化向量進行解碼。由此提供解碼過的穩定化向量145、解碼過的圖像(穩定過)146和解碼過的音頻147。

圖6是更詳細地示出被包含于根據本公開的第1實施方式的圖像處理系統的沉浸度計算模塊的功能結構的框圖。圖6示出沉浸度計算模塊150包括運動分析單元151、圖像分析單元152、音頻分析單元153、顯示裝置分析單元154和沉浸感分析單元155。

運動分析單元151執行基于解碼過的穩定化向量145的分析。圖像分析單元152執行基于解碼過的圖像(穩定過)146的分析。音頻分析單元153執行基于解碼過的音頻147的分析。顯示裝置分析單元154執行基于單獨獲取的與顯示裝置有關的信息的分析。

沉浸感分析單元155根據由各分析單元執行的分析的結果，執行對沉浸感的分析。此時，沉浸感分析單元155還使用模式設置(自動/手動)170和觀眾環境設置180作為輸入。沉浸感分析單元155根據分析的結果輸出沉浸度157。以下，討論沉浸感分析部155中的分析處理的具體示例。

圖7是更詳細地示出被包含于根據本公開的第1實施方式的圖像處理系統的圖像反向穩定化模塊的功能結構的框圖。圖7示出圖像反向穩定化模塊160包括圖像反向穩定化單元161。圖像反向穩定化單元161根據沉浸度157執行圖像反向穩定化處理。圖像反向穩定化單元161使用解碼過的穩定化向量145和解碼過的圖像(穩定過)146作為輸入。圖像反向穩定化單元161輸出反向穩定過的圖像162。

此處，圖像反向穩定化模塊160是根據關于圖像的抖動的抖動信息對圖像添加表現抖動的效果的圖像反向穩定化處理單元的示例。抖動信息是指示在拍攝圖像時發生的圖像拍攝裝置的抖動的圖像拍攝裝置抖動信息。換言之，抖動信息能夠包括穩定化向量145。如下所述，圖像反向穩定化模塊160根據通過沉浸度計算模塊150計算出的沉浸度157來決定上述效果的程度。在本實施方式中，沉浸度157代表關于圖像的捕獲環境的捕獲環境信息、或者關于圖像的觀眾環境的觀眾環境信息。

圖像反向穩定化模塊160也能夠是根據觀察者對圖像的沉浸感的期望值來決定要對圖像添加的表現抖動的效果的程度的圖像反向穩定化處理單元的示例。在本實施方式中，沉浸度157代表沉浸感的期望值。如下所述，沉浸度計算模塊150根據指示圖像的捕獲環境的捕獲環境信息、或者指示圖像的觀眾環境的觀眾環境信息來決定沉浸度157。

圖8是更詳細地示出被包含于根據本公開的第1實施方式的圖像處理系統的顯示模塊的功能結構的框圖。圖8示出顯示模塊190包括顯示I/O191。顯示I/O191根據反向穩定過的圖像162和解碼過的音頻147顯示圖像并輸出音頻。或者，顯示I/O191將圖像信號和音頻信號發送到外部連接的顯示裝置。

(1-4.計算沉浸度的處理)

圖9是用于進一步說明在根據本公開的第1實施方式的圖像處理系統中計算沉浸度的處理的圖。以下對使用被包含于沉浸度計算模塊150的運動分析單元151、圖像分析單元152、音頻分析單元153、顯示裝置分析單元154、沉浸感分析單元155和觀眾環境設置180的分析進行說明。

此處，在本說明書中，沉浸度是觀察者對所顯示的圖像的沉浸感的期望值。沉浸感可以被解釋為例如印象深刻、身臨其境之感等。旨在使觀察者感覺他們更沉浸(更令人印象深刻、或者更逼真)的圖像因此具有更高的適合于顯示的沉浸度。例如，能夠從內容的細節、場景、圖像的顏色等計算適合于顯示圖像的沉浸度。

運動分析單元151按照穩定化向量(圖像的幀的移動向量)的方向、大小或者其趨勢，輸出用于計算沉浸度的值。也就是說，在本實施方式中由沉浸度157代表的捕獲環境信息能夠包括關于圖像的幀的移動向量的信息。運動分析單元151使用向量變化量(VC)和每個運動類型的權重用于分析。向量變化量(VC)是用于將諸如向量范數的變化或角度的變化的、從原始穩定化向量提取的特征映射到輸出值的函數。在預先生成的表中定義每個運動類型的權重(MW)。例如根據運動分析的結果，決定要定義的運動類型。在示出的例子中，對“加速”的運動設置權重MW1。此時，運動分析單元151根據向量變化量的輸出VC和針對運動類型的權重MW1，輸出VC*MW1的值。

更具體而言，可以例如對較大的運動輸出較大的值(VC*MW)的方式設置運動分析單元151。在這種情況下，例如可以對較大的運動輸出較大的值的方式來設置向量變化量(VC)，或者可以對較大的運動設置較大的權重(MW)。

另外，可以輸出值(VC*MW)按照運動類型(諸如垂直和水平移動或旋轉)而變化的方式設置運動分析單元151。例如，可以對垂直和水平移動輸出較大的值(VC*MW)以易于反向穩定化的方式來設置運動分析單元151，同時可以對旋轉運動輸出較小的值(VC*MW)以使反向穩定化困難(即圖像穩定)的方式來設置運動分析單元151。

圖像分析單元152按照由圖像所指示的特征輸出用于計算沉浸度的值。也就是說，在本實施方式中，由沉浸度157代表的捕獲環境信息能夠包括由圖像所指示的圖像特征。圖像分析單元152使用圖像變化量(IC)和每個場景類型的權重用于分析。圖像變化量(IC)是用于將諸如亮度的變化或顏色分布的變化的、從原始的輸入圖像提取的特征映射到輸出值的函數。也就是說，在本實施方式中，圖像特征能夠包括圖像的亮度或顏色特征。另外，圖像特征可以包括場景類型。在預先生成的表中定義每個場景類型的權重(SW)。例如根據場景分析的結果，決定要定義的場景類型。在示出的例子中，對“滑雪”的場景設置權重SW2。此時，圖像分析單元152根據圖像變化量的輸出IC和針對場景類型的權重SW2，輸出IC*SW2的值。

更具體而言，可以例如對諸如體育或滑雪的場景輸出較大的值(IC*SW)以易于反向穩定化的方式來設置圖像分析單元152。在這種情況下，例如可以使上述場景的亮度或顏色分布的變化被顯著反映的方式設置圖像變化量(IC)，或者可以對上述場景類型設置更大的權重(SW)。

可以當顏色分布顯著變化時輸出較大的值(IC*SW)以易于反向穩定化的方式來設置圖像分析單元152。同時，可以當顏色分布經歷變化很少時輸出較小的值(IC*SW)以使反向穩定化困難的方式來設置圖像分析單元152。這是因為顏色分布的變化可以被認為指示畫面如何劇烈變化。例如，在畫面經歷很少變化的會議室拍攝的圖像在顏色分布上具有小的變化。同時，在諸如過山車的畫面劇烈變化的地方而拍攝的圖像在顏色分布上具有大的變化。

音頻分析單元153按照由伴隨圖像的音頻所指示的特征，輸出用于計算沉浸度的值。也就是說，在本實施方式中，由沉浸度157代表的捕獲環境信息能夠包括由伴隨圖像的音頻所指示的音頻特征。音頻分析單元153使用音頻變化量(AC)和針對每個音頻類型的權重用于分析。音頻變化量(AC)是用于將諸如音頻的高頻分量能量的變化或音頻的振幅的、從原始的輸入音頻提取的特征映射到輸出值的函數。也就是說，在本實施方式中，音頻特征能夠包括音頻的頻率分量、音頻的振幅或由音頻所表示的音頻類型。在預先生成的表中定義每個音頻類型的權重(AW)。例如根據音頻分析的結果，決定要定義的音頻類型。在示出的例子中，對“叫聲”的場景設置權重AW1。此時，音頻分析單元153根據音頻變化量的輸出AC和針對音頻類型的權重AW1輸出AC*AW1的值。

更具體而言，可以例如當獲取諸如電動機聲和漂移聲的噪聲音頻時輸出較大的值(AC*AW)以易于反向穩定化的方式來設置音頻分析單元153。在這種情況下，例如可以使音頻的頻率分量或振幅的變化被顯著地反映的方式設置音頻變化量(AC)，或者可以對上述音頻類型設置較大的權重(AW)。同時，可以當獲取指示安靜環境的音頻時輸出較小的值(AC*AW)以使反向穩定化困難(即圖像穩定)的方式來設置音頻分析單元153。

顯示裝置分析單元154使用裝置分析量(DA)和針對每個裝置類型的權重用于分析。裝置分析量(DA)是用于將例如顯示裝置的畫面的尺寸或分辨率映射到輸出值的函數。也就是說，在本實施方式中，由沉浸度157代表的觀眾環境信息能夠包括顯示有圖像的畫面的尺寸。顯示裝置的畫面的尺寸或分辨率能夠從例如指示內置于該裝置的監視器或投影儀的操作狀態的信息、或者經由外部監視器接口獲取的信息而獲得。在預先生成的表中定義針對每個裝置類型的權重(DW)。在示出的例子中，對場景“智能手機”設置權重DW3。此時，顯示裝置分析單元154根據裝置分析量的輸出值DA和針對裝置類型的權重DW3輸出DC*DW3的值。

更具體而言，可以對具有較大的尺寸和/或較高的分辨率的畫面輸出較小的值(DA*DW)以使反向穩定化困難的方式來設置顯示裝置分析單元154。同時，可以對具有較小的尺寸和/或較低的分辨率的畫面輸出較大的值(DA*DW)以易于反向穩定化的方式來設置顯示裝置分析單元154。這是因為當畫面的尺寸大或分辨率高時，通過穩定圖像而不是使圖像逼真來減少對觀察者的負擔(諸如誘發性視覺運動障礙)經常更為有用。

觀看分析量(WA)和針對每個觀眾環境設置的權重被用于使用觀眾環境設置180的分析。觀看分析量(WA)是將例如從觀察者到畫面的距離映射到輸出值的函數。也就是說，在本實施方式中，由沉浸度157代表的觀眾環境信息能夠包括從觀察者到顯示有圖像的畫面的距離。在預先生成的表中定義針對每個觀眾環境設置的權重(EW)。例如根據用戶的設置操作，能夠生成該表。在示出的例子中，對“家”的觀眾環境設置設置權重EW2。然后，在使用觀眾環境設置180的分析中，根據觀看分析量的輸出值WA和針對每個觀眾環境設置的權重EW2，輸出WA*EW2的值。

更具體而言，可以當觀察者離畫面具有更短的距離時輸出較小的值(WA*EW)以使反向穩定化困難的方式來設置使用觀眾環境設置180的分析。同時，可以當觀察者離畫面具有更長的距離時輸出較大的值(WA*EW)以易于反向穩定化的方式來設置使用觀眾環境設置180的分析。這是因為當觀察者靠近畫面時，通過穩定圖像而不是使圖像逼真來減少對觀察者的負擔(諸如誘發性視覺運動障礙)經常更為有用。

沉浸感分析單元155將使用運動分析單元151、圖像分析單元152、音頻分析單元153、顯示裝置分析單元154和觀眾環境設置180的分析的結果結合。例如，如圖所示的例子那樣，該結合能夠通過依照VC*MW1+IC*SW2+AC*AW1+DA*DW3+EA*EW2將被加權的輸出值相加來進行。此外，沉浸度函數(ID)將結合的結果映射到沉浸度157的輸出值。沉浸度157被用于在圖像反向穩定化模塊160中控制圖像的反向穩定化。

此處，如圖所示，沉浸度157能夠作為連續值而輸出。圖像反向穩定化模塊160例如按照沉浸度157的值，可以決定通過使用穩定化向量的反向穩定化，在要被再現的圖像中以何種程度再現圖像拍攝時的圖像拍攝裝置的抖動(在圖像中表現抖動的效果的程度)。在這種情況下，圖像反向穩定化模塊160根據沉浸度157是否超過預定的閾值，可以決定是否通過使用穩定化向量的反向穩定化在要被再現的圖像中再現圖像拍攝時的圖像拍攝裝置的抖動(是否對圖像添加表現抖動的效果)。如上所述，在本實施方式中，沉浸度157代表關于圖像的捕獲環境的捕獲環境信息、或者關于圖像的觀眾環境的觀眾環境信息。因此，也可以說由圖像反向穩定化模塊160進行的上述決定是基于捕獲環境信息或觀眾環境信息的決定。

(1-5.顯示示例)

圖10是示出本公開的第1實施方式中的圖像顯示的第1示例的圖。圖10所示的例子示出當模式設置170被設置為自動、手動(關)和手動(開)時的單個畫面和帶有子畫面的畫面的顯示示例。在圖中，“R”代表反向穩定過的圖像，“S”代表穩定過的圖像(未反向穩定)。

如果模式設置170被設置為自動，例如，根據在上述的沉浸度計算模塊150的處理中計算出的沉浸度157，對于單個畫面顯示反向穩定過的圖像和穩定過的圖像中的任意一個。同時，在帶有子畫面的畫面的情況下，按照沉浸度157，選擇是在主畫面上顯示反向穩定過的圖像并在子畫面上顯示穩定過的圖像，還是相反地在主畫面上顯示穩定過的圖像并在子畫面上顯示反向穩定過的圖像。

此處，當模式設置170被設置為自動時，如果沉浸度157大于預定的閾值，反向穩定過的圖像能夠在單個畫面上顯示，并且穩定過的圖像能夠在帶有子畫面的畫面的主畫面上顯示。同時，如果沉浸度157不大于預定的閾值，穩定過的圖像能夠在單個畫面上顯示，并且反向穩定過的圖像能夠在附帶子畫面的畫面的子畫面上顯示。

同時，如果模式設置170被設置為手動(關)，不管沉浸度157如何，在單個畫面上顯示穩定過的圖像(未反向穩定)。在這種情況下，沉浸度計算模塊150無需執行計算沉浸度157的處理。

如果模式設置170被設置為手動(開)時，不管沉浸度157如何，反向穩定過的圖像能夠在單個畫面上顯示，并且反向穩定過的圖像能夠在帶有子畫面的畫面的主畫面上顯示。在這種情況下，沉浸度計算模塊150無需執行計算沉浸度157的處理。在該示例中，手動操作可以切換是在主畫面上顯示反向穩定過的圖像并在子畫面上顯示穩定過的圖像，還是相反地在主畫面上顯示穩定過的圖像并在子畫面上顯示反向穩定過的圖像。

圖11是示出本公開的第1實施方式中的圖像顯示的第2示例的圖。在圖11所示的例子中，反向穩定過的圖像在全景圖像被顯示為子畫面的畫面的主畫面(主)上顯示，并且穩定過的圖像(未反向穩定)在顯示全景圖像的子畫面上(全景)顯示。此處，全景圖像經常被用于例如俯視廣闊的區域。因此，如圖示例那樣，子畫面可以被設置成不管沉浸度157如何均顯示穩定過的圖像。

(2.第2實施方式)

圖12是示出根據本公開的第2實施方式的圖像處理系統的功能結構示例的原理框圖。圖12示出圖像處理系統200包括信號捕獲和處理模塊110、編碼和復用器模塊120、存儲器模塊130、解復用器和解碼模塊140、沉浸度計算模塊150、圖像反向穩定化模塊160和顯示模塊190。沉浸度計算模塊150接收模式設置170和觀眾環境設置180。

根據本實施方式的圖像處理系統200包括與第1實施方式的部件相似的部件，但是所述部件的布置不同。在本實施方式中，由信號捕獲和處理模塊110獲取的圖像、音頻和穩定化向量被輸入到編碼和復用器模塊120，也被輸入到沉浸度計算模塊150。通過沉浸度計算模塊150計算出的沉浸度與圖像、音頻和穩定化向量一起在編碼和復用器模塊120中被編碼和復用，并且被存儲在存儲器模塊130中。

從存儲器模塊130讀出數據的解復用器和解碼模塊140對數據進行解復用和解碼，從而將沉浸度與圖像、音頻和穩定化向量一起獲得。圖像、音頻、穩定化向量和沉浸度被輸入到圖像反向穩定化模塊160，并且在圖像反向穩定化模塊160中執行與圖像的沉浸度一致的反向穩定化。通過顯示模塊190輸出由圖像反向穩定化模塊160處理過的圖像和音頻。

在本實施方式中，在記錄的圖像作為數據被存儲在存儲器模塊130中之前已經計算出沉浸度。因此，在再現時不進行圖像分析也能夠將圖像反向穩定。這樣的結構例如在執行再現處理的裝置不具有高處理能力而執行記錄處理的裝置具有足夠的處理能力的情況下是有效的。例如，如果模式設置170和觀眾環境設置180被設置為在再現時與在記錄時不同，沉浸度計算模塊150的處理的一部分可以在再現時被再次執行來更新沉浸度。

圖13是示出本公開的第2實施方式中的記錄處理的示例的流程圖。圖13示出信號捕獲和處理模塊110首先捕獲圖像拍攝裝置的運動(S201)，并捕獲音頻和圖像(S202)。此外，信號捕獲和處理模塊110按照在S201中獲取的運動穩定圖像(S203)。

在本實施方式中，此處決定圖像的沉浸度。沉浸度計算模塊150根據模式設置170確定模式(S204)。如果模式是“手動”，沉浸度計算模塊150手動設置沉浸度(S205)。此處被設置的沉浸度的值能夠是例如通過用戶操作而輸入的值。同時，如果S204中的確定示出模式是“自動”，則沉浸度計算模塊150分析圖像(S206)，并自動計算沉浸度(S207)。

編碼和復用器模塊120根據在S207中通過沉浸度計算模塊150自動計算出的沉浸度、或在S205中通過沉浸度計算模塊150手動設置的沉浸度，對圖像、音頻、穩定化向量和沉浸度進行編碼和復用(S208)。然后，存儲器訪問(S209)使復用過的數據被存儲在存儲器模塊130中。

圖14是示出本公開的第2實施方式中的再現處理的示例的流程圖。圖14示出解復用器和解碼模塊140首先對從存儲器模塊130讀出的圖像和音頻的數據進行解復用和解碼(S221)。此時，存儲在存儲器模塊130中的穩定化向量和沉浸度的數據與圖像和音頻的數據一起被讀出，并被解碼和解復用。

接著，圖像反向穩定化模塊160根據解碼過的穩定化向量和解碼過的沉浸度，將圖像反向穩定(S222)。此外，顯示模塊190顯示反向穩定過的圖像(S223)。

(3.第3實施方式)

圖15是示出根據本公開的第3實施方式的圖像處理系統的功能結構示例的原理框圖。圖15示出圖像處理系統300包括信號捕獲和處理模塊110、編碼和復用器模塊120、存儲器模塊130、解復用器和解碼模塊140、沉浸度計算模塊150、圖像反向穩定化模塊160和顯示模塊190。沉浸度計算模塊150接收模式設置170和觀眾環境設置180。此外，圖像處理系統300還包括第2存儲器模塊310。

根據本實施方式的圖像處理系統300與上述第1實施方式如下相似：沉浸度計算模塊150根據從存儲器模塊130讀出并且由解復用器和解碼模塊140解復用和解碼過的圖像、音頻和穩定化向量，計算沉浸度。然而，在本實施方式中，通過沉浸度計算模塊150計算出的沉浸度被存儲在第2存儲器模塊310中。圖像反向穩定化模塊160根據由解復用器和解碼模塊140解碼過的圖像、音頻和穩定化向量以及從第2存儲器模塊310讀出的沉浸度，執行反向穩定化處理。

在本實施方式中，通過沉浸度計算模塊150計算出的沉浸度暫時存儲在存儲器模塊310中。因此，能夠在再現圖像之前執行計算沉浸度的處理。因此，例如只要在記錄的圖像被再現之前通過批量處理計算出沉浸度，在再現時不進行圖像分析也能夠將圖像反向穩定。這樣的結構例如在執行記錄處理的裝置和執行再現處理的裝置都不具有高處理能力并向服務器請求計算沉浸度的處理的情況下是有效的。

即使執行記錄處理的裝置和執行再現處理的裝置具有足夠的處理能力，向服務器請求計算沉浸度的處理也能夠節約例如移動裝置或可佩戴裝置的電池。在這種情況下，根據本實施方式的結構能夠是有效的。

(4.硬件配置)

接著，參照圖16說明根據本公開的實施方式的圖像處理裝置的硬件配置。圖16是示出根據本公開的實施方式的圖像處理裝置的硬件配置示例的框圖。所示的圖像處理裝置900能夠實現例如上述實施方式中的終端裝置和/或服務器裝置。

圖像處理裝置900包括中央處理單元(CPU)901、只讀存儲器(ROM)903和隨機存取存儲器(RAM)905。另外，該圖像處理裝置900可以包括主機總線907、橋909、外部總線911、接口913、輸入裝置915、輸出裝置917、存儲裝置919、驅動器921、連接端口923和通信裝置925。此外，圖像處理裝置900必要時可以包括圖像拍攝裝置933和傳感器935。圖像處理裝置900可以不包括CPU901而包括稱為數字信號處理器(DSP)或專用集成電路(ASIC)的處理電路，或者將CPU 901和上述的處理電路都包括。

CPU 901作為運算處理器和控制器發揮功能，按照記錄在ROM 903、RAM905、存儲裝置919或可移除記錄介質927中的各種程序，控制圖像處理裝置900中的全部或一些操作。ROM 903存儲CPU 901使用的程序、運算參數等。RAM 905主要存儲被用于CPU 901的執行的程序和在執行中被適當修改的參數。CPU 901、ROM 903和RAM 905通過包括諸如CPU總線的內部總線的主機總線907互相連接。此外，主機總線907經由橋909連接到諸如外設部件互連/接口(PCI)總線的外部總線911。

輸入裝置915是由用戶操作的裝置，諸如鼠標、鍵盤、觸摸面板、按鈕、開關和控制桿。輸入裝置915可以是例如使用紅外線或其它無線電波的遙控裝置，或者可以是響應于圖像處理裝置900的操作而可操作的外部連接裝置929(諸如移動電話)。輸入裝置915包括根據由用戶輸入的信息生成輸入信號并將輸入信號輸出到CPU 901的輸入控制電路。用戶通過操作輸入裝置915，對圖像處理裝置900輸入各種類型的數據或要求處理操作。

輸出裝置917包括能夠通過視覺或聽覺將獲取的信息通知給用戶的裝置。輸出裝置917可以包括諸如液晶顯示器(LCD)、等離子體顯示面板(PDP)和有機電致發光(EL)顯示器的顯示裝置、諸如揚聲器和耳機的音頻輸出裝置和打印機。輸出裝置917可以以諸如文本和圖像的圖像形式和以諸如音頻和聲響的音頻形式，輸出從圖像處理裝置900的處理而獲得的結果。

存儲裝置919是被配置為圖像處理裝置900的存儲單元的示例的用于數據存儲的裝置。存儲裝置919包括例如諸如硬盤驅動器(HDD)的磁存儲裝置、半導體存儲裝置、光存儲裝置或磁光存儲裝置。存儲裝置919存儲要被CPU 901執行的程序、各種類型的數據、從外部獲取的各種數據等。

驅動器921是用于諸如磁盤、光盤、磁光盤和半導體存儲器的可移除記錄介質927的讀寫器，并且內置或外部附接于圖像處理裝置900。驅動器921讀出在附接于圖像處理裝置900的可移動記錄介質927中記錄的信息，并將讀出的信息輸出到RAM905。此外，驅動器921將記錄寫入到所裝載的可移動記錄介質927。

連接端口923是用于將裝置直接連接到圖像處理裝置900的端口。連接端口923可以包括例如通用串行總線(USB)端口、IEEE1394端口和小型計算機系統接口(SCSI)端口。連接端口923還可以包括RS-232C端口、光音頻終端、高清晰度多媒體接口(HDMI)(注冊商標)端口等。外部連接裝置929到連接端口923的連接使得能夠在圖像處理裝置900和外部連接裝置929之間交換各種類型的數據。

通信裝置925是例如包括用于連接到通信網絡931的通信裝置等的通信接口。通信裝置925可以是例如用于有線或無線局域網(LAN)、藍牙(注冊商標)、無線USB(WUSB)等的通信卡。此外，通信裝置925可以是用于光通信的路由器、用于非對稱數字用戶線路(ADSL)的路由器、用于各種通信的調制解調器等。通信裝置925根據預定的協議(諸如TCP/IP)，向例如因特網或其它的通信裝置發送信號和從其接收信號。此外，連接到通信裝置925的通信網絡931可以是以有線或無線方式連接的網絡，可以是例如因特網、家庭LAN、紅外通信、無線電波通信、衛星通信等。

圖像拍攝裝置933是例如通過使用諸如電荷耦合器件(CCD)或互補金屬氧化物半導體(CMOS)的圖像傳感器以及諸如用于控制在圖像傳感器上的目標圖像的形成的透鏡的各種部件來拍攝真實空間的圖像，來生成拍攝圖像的裝置。圖像拍攝裝置933可以是拍攝靜止圖像的裝置，也可以是拍攝運動圖像的裝置。

傳感器935例如包括各種傳感器，諸如加速度傳感器、陀螺儀傳感器、地磁傳感器、光傳感器和聲音傳感器。傳感器935獲取諸如圖像處理裝置900的殼體的姿勢的關于圖像處理裝置900的狀態的信息，以及諸如圖像處理裝置900周圍的亮度和噪聲的關于圖像處理裝置900周圍的環境的信息。傳感器935還可以包括用于接收GPS信號并測量裝置的緯度、經度和高度的全球定位系統(GPS)傳感器。

目前為止，說明了圖像處理裝置900的硬件配置的示例。上述各部件可以用通用的部件進行配置，也可以用專門于各部件的功能的硬件進行配置。也可以按照在實施時的技術水平對這樣的結構進行適當變更。

(5.補充信息)

本公開的實施方式例如可以包括如上所述的圖像處理裝置(終端裝置或服務器裝置)、系統、由圖像處理裝置或系統執行的信息處理方法、用于使圖像處理裝置發揮功能的程序和程序記錄于其上的非暫時性有形介質。

以上，已參照附圖說明了本公開的優選的一個或多個實施方式，然而本發明不限于以上實施方式。本領域的技術人員可以在所附權利要求的范圍內發現各種替換和修改，并且應當理解為它們自然屬于本發明的技術范圍內。

此外，在本說明書中說明的效果僅是說明性或例示的效果，并非限定。即，與上述效果一起或代替上述效果，根據本公開內容的技術可以實現基于本說明書的說明的本領域技術人員可知的其它效果。

此外，本技術也可以被配置如下。

(1)一種圖像處理裝置，包括：

圖像反向穩定化處理單元，被配置成根據關于圖像的抖動的抖動信息對該圖像添加表現抖動的效果。

(2)根據(1)的圖像處理裝置，其中，

所述抖動信息包括指示在拍攝所述圖像時發生的圖像拍攝裝置的抖動的圖像拍攝裝置抖動信息。

(3)根據(1)或(2)的圖像處理裝置，其中，

所述圖像反向穩定化處理單元根據關于所述圖像的捕獲環境的捕獲環境信息，決定所述效果的程度。

(4)根據(3)的圖像處理裝置，其中，

所述圖像反向穩定化處理單元根據所述捕獲環境信息，決定添加所述效果的程度。

(5)根據(4)的圖像處理裝置，其中，

所述圖像反向穩定化處理單元決定是否添加所述效果，作為添加所述效果的程度。

(6)根據(3)至(5)中的任意一項的圖像處理裝置，其中，

所述捕獲環境信息包括關于所述圖像的幀的移動向量的信息。

(7)根據(3)至(6)中的任意一項的圖像處理裝置，其中，

所述捕獲環境信息包括由所述圖像指示的圖像特征。

(8)根據(7)的圖像處理裝置，其中，

所述圖像特征包括所述圖像的亮度或顏色特征。

(9)根據(7)或(8)的圖像處理裝置，其中，

所述圖像特征包括場景類型。

(10)根據(3)至(9)中的任意一項的圖像處理裝置，其中，

所述捕獲環境信息包括由伴隨所述圖像的音頻指示的音頻特征。

(11)根據(10)的圖像處理裝置，其中，

所述音頻特征包括所述音頻的頻率分量、所述音頻的振幅或由所述音頻指示的音頻類型。

(12)根據(1)至(11)中的任意一項的圖像處理裝置，其中，

所述圖像反向穩定化處理單元根據關于所述圖像的觀眾環境的觀眾環境信息，決定所述效果的程度。

(13)根據(12)的圖像處理裝置，其中，

所述觀眾環境信息包括顯示所述圖像的畫面的尺寸。

(14)根據(12)或(13)的圖像處理裝置，其中，

所述觀眾環境信息包括從觀察者到顯示所述圖像的畫面的距離。

(15)根據(1)至(14)中的任意一項的圖像處理裝置，其中，

所述圖像是圖像拍攝裝置的抖動所造成的影響的至少一部分被去除的圖像，并且所述圖像反向穩定化處理單元對所述圖像添加所述效果以在所述圖像中再現所述圖像拍攝裝置的抖動。

(16)一種圖像處理裝置，包括：

圖像反向穩定化處理單元，被配置成根據觀察者針對圖像的沉浸感的期望值，決定要被添加到所述圖像的表現抖動的效果的程度。

(17)根據(16)的圖像處理裝置，其中，

根據指示所述圖像的捕獲環境的捕獲環境信息，決定所述沉浸感的期望值。

(18)根據(17)的圖像處理裝置，其中，

所述捕獲環境信息包括由所述圖像指示的圖像特征。

(19)根據(17)或(18)的圖像處理裝置，其中，

所述捕獲環境信息包括由伴隨所述圖像的音頻指示的音頻特征。

(20)根據(16)至(19)中的任意一項的圖像處理裝置，其中，

根據指示所述圖像的觀眾環境的觀眾環境信息，決定所述沉浸感的期望值。

(21)根據(20)的圖像處理裝置，其中，

所述觀眾環境信息包括顯示所述圖像的畫面的尺寸。

(22)根據(21)的圖像處理裝置，其中，

所述觀眾環境信息包括從觀察者到顯示所述圖像的畫面的距離。

(23)根據(16)至(22)中的任意一項的圖像處理裝置，其中，

所述圖像反向穩定化處理單元根據關于所述圖像的抖動的抖動信息，添加所述效果。

(24)一種圖像處理方法，包括：

由處理器根據關于圖像的抖動的抖動信息，對所述圖像添加表現抖動的效果。

(25)一種圖像處理方法，包括：

由處理器根據觀察者針對圖像的沉浸感的期望值，決定要被添加到所述圖像的表現抖動的效果的程度。

(26)一種程序：

用于使計算機執行根據關于圖像的抖動的抖動信息對所述圖像添加表現抖動的效果的功能。

(27)一種程序：

用于使計算機執行根據觀察者針對圖像的沉浸感的期望值決定要被添加到所述圖像的表現抖動的效果的程度的功能。

(28)一種圖像處理裝置，包括：

圖像反向穩定化處理單元，被配置成根據關于圖像的捕獲環境的捕獲環境信息，添加所述圖像的表現抖動的效果。

(29)一種圖像處理裝置，包括：

圖像反向穩定化處理單元，被配置成根據關于圖像的觀眾環境的觀眾環境信息，添加所述圖像的表現抖動的效果。

附圖標記說明

100、200、300：圖像處理系統

110：信號捕獲和處理模塊

120：編碼和復用器模塊

130：存儲器模塊

140：解復用器和解碼模塊

150：沉浸度計算模塊

160：圖像反向穩定化模塊

190：顯示模塊

310：第2存儲器模塊