復(fù)用圖像、聲音、數(shù)據(jù)等并將它們輸出到信號(hào)線(xiàn)119。
[0049]解碼器120解碼由信號(hào)線(xiàn)119輸入的圖像，并將其輸出到信號(hào)線(xiàn)129。解碼器120還解碼由信號(hào)線(xiàn)119輸入的數(shù)據(jù)并且將其輸出到信號(hào)線(xiàn)128。
[0050]圖像信息獲取部130從由信號(hào)線(xiàn)128輸入的數(shù)據(jù)中獲取圖像信息并將其輸出到信號(hào)線(xiàn)139。在這里，圖像信息假設(shè)為后面描述的與圖像的分辨率相關(guān)的信息。應(yīng)注意，圖像信息獲取部130是權(quán)利要求中描述的分辨率獲取部的實(shí)例。
[0051]縮放百分比生成部140基于由信號(hào)線(xiàn)139輸入的圖像信息和由信號(hào)線(xiàn)129輸入的圖像生成圖像縮放百分比并且將其輸出到信號(hào)線(xiàn)149。
[0052]圖像縮放部150根據(jù)由信號(hào)線(xiàn)149輸入的縮放百分比對(duì)由信號(hào)線(xiàn)129輸入的圖像實(shí)施圖像縮放處理，并且將其輸出到信號(hào)線(xiàn)159。當(dāng)由縮放百分比生成部140生成的縮放百分比大于“I”時(shí)，圖像縮放部150放大從信號(hào)線(xiàn)129輸出的圖像。另一方面，當(dāng)由縮放百分比生成部140生成的縮放百分比小于“I”時(shí)，圖像縮放部分150縮小從信號(hào)線(xiàn)129輸出的圖像。此外，由縮放百分比生成部140生成的縮放百分比等于“I”時(shí)，圖像縮放部分150不放大也不縮小圖像。
[0053]圖像轉(zhuǎn)換部160對(duì)由信號(hào)線(xiàn)159輸入的圖像實(shí)施圖像轉(zhuǎn)換處理且將其輸出到信號(hào)線(xiàn) 169。
[0054]圖3是示出根據(jù)本技術(shù)的第一實(shí)施例的縮放百分比生成部140的結(jié)構(gòu)實(shí)例的圖。第一實(shí)施例的縮放百分比生成部140包括縮放百分比運(yùn)算部141、參考分辨率存儲(chǔ)部142，和縮放百分比確定部145。應(yīng)注意，在第一實(shí)施例中，不使用由信號(hào)線(xiàn)139輸入的圖像信息。
[0055]參考分辨率存儲(chǔ)部142存儲(chǔ)用于縮放的參考分辨率。例如，當(dāng)所謂的全清晰度(Full H1-Vis1n)用作參考時(shí)，“ 1920”作為橫向方向的像素?cái)?shù)被存儲(chǔ)，且“ 1080”作為縱向方向的像素?cái)?shù)被存儲(chǔ)。可替代地，縱向或橫向方向上的像素?cái)?shù)和縱橫比可被存儲(chǔ)。
[0056]縮放百分比運(yùn)算部141基于由圖像信息獲取部130所獲取的圖像信息和存儲(chǔ)在參考分辨率存儲(chǔ)部142中的分辨率計(jì)算縮放百分比。具體而言，縮放百分比運(yùn)算部141根據(jù)縱向和橫向方向上的像素?cái)?shù)的比例計(jì)算縮放百分比。例如，當(dāng)存儲(chǔ)在參考分辨率存儲(chǔ)部142中的參考分辨率在橫向方向上是“ 1920”個(gè)像素且在縱向方向上時(shí)“ 1080”個(gè)像素時(shí)，如果所獲取的圖像信息在橫向方向是“1280”個(gè)像素且在縱向方向上是“720”個(gè)像素，則縮放百分比在縱向和橫向方向上是“1.5”倍。另一方面，當(dāng)縱橫比不匹配時(shí)，縮放百分比在每個(gè)方向上不同。例如，當(dāng)相對(duì)于上述參考分辨率，所獲取的圖像信息在橫向方向上是“720”個(gè)像素且在縱向方向上是“480”個(gè)像素時(shí)，則待獲取的縮放百分比在橫向方向上是“2.66”倍且在縱向方向上是“2.25”倍。此時(shí)，如果不保持縱橫比，則可使用不同的縮放百分比。當(dāng)保持縱橫比時(shí)，縱向和橫向方向基于縱向方向或橫向方向上的縮放百分比而放大/縮小。
[0057]縮放百分比確定部145基于由縮放百分比運(yùn)算部141計(jì)算的縮放百分比，確定被指示給圖像縮放部150的縮放百分比。在根據(jù)第一實(shí)施例的縮放百分比生成部140中，縮放百分比確定部145將由縮放百分比運(yùn)算部141計(jì)算的實(shí)際的縮放百分比確定為指示給圖像縮放部150的縮放百分比。
[0058][圖像信息的數(shù)據(jù)結(jié)構(gòu)]
[0059]圖4是示出根據(jù)本技術(shù)的實(shí)施例，由圖像信息獲取部130獲取的圖像信息的實(shí)例的圖。在本實(shí)施例中，多個(gè)時(shí)間上連續(xù)的圖像作為比特流被發(fā)送。在這里，以H.264/AVC作為實(shí)例，示出存取單元的數(shù)據(jù)結(jié)構(gòu)。在H.264/AVC中，為了存取圖片單元中的比特流信息，存取單元被定義為多個(gè)NAL單元的編譯部分。
[0060]存取單元包括(從指示存取單元的標(biāo)頭的AUD (存取單元定界符)開(kāi)始)SPS,PPS和SEI的標(biāo)頭之后的作為數(shù)據(jù)本體的圖片。SPS (序列參數(shù)集)是包括整個(gè)移動(dòng)圖像序列的編碼信息的標(biāo)頭。PPS (圖片參數(shù)集)是包括整個(gè)圖片的編碼模式的標(biāo)頭。SEI (補(bǔ)充增強(qiáng)信息)是包括補(bǔ)充信息(諸如圖片的時(shí)序信息)的標(biāo)頭。
[0061]SPS發(fā)送作為參數(shù)之一的VUI (視頻可用性信息)參數(shù)。VUI參數(shù)是可用于顯示移動(dòng)圖像的信息的參數(shù)。在本實(shí)施例中，在VUI參數(shù)中，可特別參考aspect_rat1_idc、sar_width 和 sar_height。
[0062]aspect_rat1_idc通過(guò)編碼像素縱橫比而獲得。當(dāng)aspect_rat1_idc指示“255”時(shí)，根據(jù)sar_width和sar_height計(jì)算像素縱橫比(SAR:樣品縱橫比)。sar_width是橫向方向(水平方向)上的像素縱橫比的大小，且sar_height是縱向方向(垂直方向)上的像素縱橫比的大小。因此，圖像信息獲取部130可通過(guò)參考存取單元的SPS中的VUI參數(shù)獲得必要的圖像信息。
[0063][縮放百分比生成處理的處理過(guò)程]
[0064]圖5是示出根據(jù)本技術(shù)的第一實(shí)施例的縮放百分比生成處理的處理過(guò)程的實(shí)例的流程圖。
[0065]對(duì)于包括在比特流中的多個(gè)圖像中的一個(gè)，由圖像信息獲取部130獲得分辨率(步驟S913)。然后，通過(guò)將存儲(chǔ)在參考分辨率存儲(chǔ)部142中的參考分辨率除以縮放百分比運(yùn)算部141中所獲取的分辨率，計(jì)算縮放百分比(步驟S914)。
[0066]縮放百分比確定部145將由縮放百分比運(yùn)算部141計(jì)算的實(shí)際的縮放百分比確定為被指示到圖像縮放部分150的縮放百分比(步驟S917)。
[0067]針對(duì)包括在比特流中的多個(gè)圖像而在時(shí)間序列上順序地重復(fù)那些處理。
[0068][圖像轉(zhuǎn)換處理的處理過(guò)程]
[0069]圖6是示出根據(jù)本技術(shù)的實(shí)施例的圖像轉(zhuǎn)換處理的處理過(guò)程的實(shí)例的流程圖。在這里，假設(shè)使用時(shí)間上連續(xù)的多個(gè)隔行圖像中的每個(gè)作為目標(biāo)圖像，在時(shí)間序列上順序地實(shí)施圖像轉(zhuǎn)換處理。
[0070]首先，為了實(shí)施降噪處理，判斷目標(biāo)圖像和目標(biāo)圖像的2個(gè)視場(chǎng)之前的隔行圖像之間的相關(guān)性(步驟S931)。當(dāng)判斷出具有相關(guān)性時(shí)(步驟S931:是)，則通過(guò)參考2個(gè)視場(chǎng)之前的隔行圖像和目標(biāo)圖像來(lái)實(shí)施降噪處理(步驟S932)。另一方面，當(dāng)判斷不存在相關(guān)性時(shí)(步驟S931:否)，則通過(guò)在目標(biāo)圖像中實(shí)施內(nèi)插來(lái)實(shí)施降噪處理(步驟S933)。在這種情況下，與通過(guò)參考2個(gè)視場(chǎng)之前的隔行圖像實(shí)施的處理相比，存在圖像質(zhì)量劣化的擔(dān)心。
[0071]接下來(lái)，為了實(shí)施從隔行圖像到逐行圖像的轉(zhuǎn)換處理，判斷目標(biāo)圖像和目標(biāo)圖像的I個(gè)視場(chǎng)之前的隔行圖像之間的相關(guān)性(步驟S934)。當(dāng)判斷存在相關(guān)性時(shí)(步驟S934:是)，通過(guò)參考I個(gè)視場(chǎng)之前的隔行圖像和目標(biāo)圖像來(lái)實(shí)施轉(zhuǎn)換至逐行圖像的轉(zhuǎn)換處理(步驟S935)。另一方面，當(dāng)判斷出不存在相關(guān)性時(shí)(步驟S934:否)，通過(guò)在目標(biāo)圖像中的內(nèi)插實(shí)施轉(zhuǎn)換至逐行圖像的轉(zhuǎn)換處理(步驟S936)。在這種情況下，與通過(guò)參考I個(gè)視場(chǎng)之前的隔行圖像實(shí)施的處理相比，存在圖像質(zhì)量劣化的擔(dān)心。
[0072][圖像轉(zhuǎn)換處理的時(shí)序]
[0073]圖7是示出根據(jù)本技術(shù)的實(shí)施例的圖像轉(zhuǎn)換處理的時(shí)序?qū)嵗氖緢D。在該圖中，橫向方向指示時(shí)間推移。圖上部示出視場(chǎng)圖像作為目標(biāo)圖像而被輸入的狀態(tài)。輸入的視場(chǎng)圖像經(jīng)受降噪處理(NR處理)，且圖像中的至少2個(gè)視場(chǎng)被存儲(chǔ)在存儲(chǔ)器30中，如中間部所示。應(yīng)注意，附接到每個(gè)圖像編號(hào)的標(biāo)號(hào)后的符號(hào)“T”指示圖像是上部(頂部)視場(chǎng)的隔行圖像，而符號(hào)“B”指示圖像是下部(底部)視場(chǎng)的隔行圖像。
[0074]圖像轉(zhuǎn)換部160如上所述通過(guò)盡可能多地參考存儲(chǔ)在存儲(chǔ)器30中的隔行圖像來(lái)實(shí)施降噪處理和IP轉(zhuǎn)換處理。在結(jié)束IP轉(zhuǎn)換處理后，為如下部中所示的每一幀輸出逐行圖像。
[0075]在這里，例如將描述分辨率隨可變幀速率控制從在時(shí)間T6輸入的隔行圖像7B降低的情況。在這種情況下，假設(shè)不會(huì)如在相關(guān)技術(shù)中那樣實(shí)施由圖像縮放部150進(jìn)行的縮放處理，判斷與2個(gè)視場(chǎng)之前的隔行圖像5B不存在相關(guān)性。因此，降噪處理通過(guò)隔行圖像7B內(nèi)的內(nèi)插來(lái)實(shí)施。同樣，由于判斷出與I個(gè)視場(chǎng)之前的隔行圖像6T不存在的相關(guān)性，所以通過(guò)隔行圖像7B內(nèi)的內(nèi)插來(lái)實(shí)施IP轉(zhuǎn)換處理。
[0076]與此相反，在本技術(shù)的實(shí)施例中，隔行圖像7B的縮放處理由圖像縮放部150隨分辨率的降低來(lái)實(shí)施。因此，由于保持與2個(gè)視場(chǎng)之前的隔行圖像5B的相關(guān)性，所以通過(guò)參考隔行圖像5B和7B來(lái)實(shí)施降噪處理。此外，由于也保持與來(lái)自I個(gè)視場(chǎng)之前的隔行圖像6T的相關(guān)性，所以通過(guò)參考隔行圖像5B和6T來(lái)實(shí)施IP轉(zhuǎn)換處理。
[0077]如上所述，根據(jù)本技術(shù)的第一實(shí)施例，即使當(dāng)輸入圖像的分辨率隨可變幀速率控制而降低時(shí)，與前面圖像的相關(guān)性也可通過(guò)由圖像縮放部150進(jìn)行的縮放處理來(lái)保持，且因此可避免由于圖像處理引起的劣化。
[0078]<2.第二實(shí)施例>
[0079]在上述第一實(shí)施例中，即使當(dāng)輸入圖像的分辨率降低，也可通過(guò)實(shí)施縮放處理來(lái)保持與前面圖像的相關(guān)性。相反，當(dāng)圖像的內(nèi)容由于場(chǎng)景變化而在很大程度上改變時(shí)，