用于處理攝影機(jī)中的視頻流的方法和裝置的制造方法
【專(zhuān)利摘要】一種用于處理視頻裝置中的圖像的方法，包括：讀取圖像；并且通過(guò)將與所述圖像相關(guān)的元數(shù)據(jù)嵌入所述圖像中或嵌有所述圖像，將所述圖像與所述元數(shù)據(jù)組合。所述方法進(jìn)一步包括：在編碼器中對(duì)所述圖像編碼且利用所述元數(shù)據(jù)作為進(jìn)一步處理中的輸入之前，將變換所述圖像和從所述圖像提取所述元數(shù)據(jù)組合。
【專(zhuān)利說(shuō)明】
用于處理攝影機(jī)中的視頻流的方法和裝置
技術(shù)領(lǐng)域
[0001]本申請(qǐng)涉及用于處理視頻流的方法，具體涉及用于處理攝影機(jī)內(nèi)的視頻流的方法。
【背景技術(shù)】
[0002]在攝影機(jī)中，圖像傳感器用于獲取經(jīng)由攝影機(jī)的成像光學(xué)器件所獲取的圖像。圖像傳感器典型地是對(duì)輻射(典型地采用光的形式)敏感的像素矩陣。
[0003]從圖像傳感器讀取的原始圖像通常不適合直接顯示，并且針對(duì)這種情況存在若干原因，因此圖像在被轉(zhuǎn)發(fā)用于顯示之前經(jīng)受實(shí)質(zhì)處理。攝影機(jī)的一般目的在于獲取圖像并且制備圖像用于觀察。在如本文所使用的攝影機(jī)中，該攝影機(jī)大多數(shù)用于監(jiān)控操作，例如監(jiān)視。在這種攝影機(jī)中，圖像作為視頻流中的一幀離開(kāi)攝影機(jī)，并且像這樣的攝影機(jī)將包括制備和轉(zhuǎn)發(fā)視頻流的編碼器。
[0004]處理步驟可以包括對(duì)像這樣的圖像執(zhí)行的操作，例如去馬賽克、平衡強(qiáng)度、平衡顏色、校正圖像失真，并且此外該圖像可被調(diào)整尺寸、旋轉(zhuǎn)以及最終在編碼器中被處理。所述步驟僅僅是示例，并且不以任何特定順序給出。
[0005]當(dāng)處理圖像時(shí)，可以使用元數(shù)據(jù)，例如從原始圖像推導(dǎo)出的數(shù)據(jù)。僅僅給出幾個(gè)相關(guān)的示例，元數(shù)據(jù)可以涉及:
[0006]圖像各個(gè)部分的信噪比(SNR)ANR數(shù)據(jù)可以用于配置或改變攝影機(jī)內(nèi)部的濾波器，例如噪音過(guò)濾，并且SNR也可以用于觸發(fā)外部光以改進(jìn)光狀況。
[0007]如果攝影機(jī)用于監(jiān)控或監(jiān)視目的，對(duì)已經(jīng)檢測(cè)到移動(dòng)的區(qū)域的識(shí)別被典型地識(shí)另IJ，其中圖像中的變化典型地識(shí)別感興趣的事件。
[0008]對(duì)關(guān)于圖像處理特別感興趣(或者通過(guò)用戶(hù)被識(shí)別為特別令人感興趣)的預(yù)設(shè)的感興趣區(qū)域(ROI)的識(shí)別，例如面部、特定的形狀等。
[0009]這種類(lèi)型的元數(shù)據(jù)的最終示例涉及用于圖像的壓縮圖譜(map)。壓縮圖譜可以是提供給編碼器以在空間上改變其壓縮參數(shù)的表格，并且壓縮圖譜可能與壓縮水平有關(guān)、與具有常數(shù)和閾值的表格有關(guān)、或者與用于塊類(lèi)型決策的常數(shù)有關(guān)。通過(guò)將該圖像與之前的圖像進(jìn)行比較，可以生成指示可以如何根據(jù)特定協(xié)議對(duì)圖像編碼的圖譜。
[0010]當(dāng)原始圖像已經(jīng)從圖像傳感器被讀取時(shí)，元數(shù)據(jù)的上述示例可以從原始圖像提取，并且可用于下游過(guò)程。
[0011]元數(shù)據(jù)不必包括從圖像提取的在本公開(kāi)上下文中被認(rèn)為是元數(shù)據(jù)的信息。這種類(lèi)型的元數(shù)據(jù)的示例可以與各種掩模(mask)有關(guān)，各種掩模在圖像處理的后期階段用于校正或調(diào)節(jié)圖像。另一個(gè)示例可以與用戶(hù)預(yù)設(shè)的感興趣區(qū)域相關(guān)。元數(shù)據(jù)也可以與用戶(hù)定義的感興趣區(qū)域、隱私掩模、優(yōu)先區(qū)域(根據(jù)需要圖像質(zhì)量應(yīng)當(dāng)被優(yōu)先化的圖譜)、以及涉及攝影機(jī)設(shè)置的信息或者來(lái)自傳感器的輸入、縮放水平、快門(mén)速度、傾斜傳感器相關(guān)。
[0012]攝影機(jī)的成像光學(xué)器件常常會(huì)將一定程度的失真引入到圖像。一些常見(jiàn)的示例是桶形失真和枕形失真。其它類(lèi)型的失真可以包括色差、單色像差以及相關(guān)的子組。
[0013]失真將意味著從圖像傳感器讀取的圖像不適合以其目前的形式顯示;在顯示該圖像之前可能存在對(duì)變換的需求。
[0014]所描述的圖像處理可以在編碼器、代碼轉(zhuǎn)換器或者視頻管理系統(tǒng)(只提及攝影機(jī)的一些可替代方案)中執(zhí)行，即處理可以相同或類(lèi)似，而不管圖像是從圖像傳感器讀取的還是由文件提供的。

【發(fā)明內(nèi)容】

[0015]為了努力簡(jiǎn)化圖像的處理，尤其是當(dāng)處理包括圖像變換時(shí)，本申請(qǐng)公開(kāi)了一種用于處理視頻裝置中的圖像的方法。該方法包括一系列的步驟，該一系列的步驟可以按照或可以不按照列出的順序執(zhí)行，并且包括:讀取圖像;通過(guò)將與圖像相關(guān)的元數(shù)據(jù)嵌入圖像中或者通過(guò)將該元數(shù)據(jù)嵌有圖像，來(lái)將圖像與元數(shù)據(jù)組合;變換圖像;從圖像提取元數(shù)據(jù);在編碼器中對(duì)圖像編碼；以及在進(jìn)一步處理中利用元數(shù)據(jù)作為輸入。
[0016]當(dāng)元數(shù)據(jù)在變換之前被嵌有圖像或嵌入圖像中時(shí)，該方法尤其是有利的，因?yàn)榕c圖像的特定區(qū)域(像素、像素塊等)相關(guān)的元數(shù)據(jù)在變換期間將跟隨該區(qū)域。進(jìn)一步的效果是針對(duì)每組原數(shù)據(jù)和圖像僅必須執(zhí)行一次變換，而不是一個(gè)接一個(gè)的變換它們。
[0017]在一個(gè)或多個(gè)實(shí)施例中，進(jìn)一步的處理包括對(duì)該圖像的處理或?qū)罄m(xù)圖像的處理，即例如在對(duì)特定圖像編碼期間，從一個(gè)圖像提取的元數(shù)據(jù)可以用于處理該特定圖像，但是元數(shù)據(jù)也可以例如通過(guò)改變?cè)O(shè)置用于處理后續(xù)圖像，以作為在特定圖像區(qū)域中特定信噪比的結(jié)果。
[0018]在其它或相關(guān)實(shí)施例中，處理可以包括像這樣的以與圖像隔離的方式處理元數(shù)據(jù)。處理可以包括對(duì)SNR元數(shù)據(jù)、移動(dòng)元數(shù)據(jù)、對(duì)象識(shí)別元數(shù)據(jù)的估算等。SNR元數(shù)據(jù)可以用于避免在邊緣檢測(cè)中的錯(cuò)誤，并且移動(dòng)元數(shù)據(jù)可以用于在執(zhí)行移動(dòng)檢測(cè)時(shí)支持分析部分，上述僅僅是提及一些不同的使用情況。
[0019]在相關(guān)的或分離的實(shí)施例中，進(jìn)一步的處理可以包括諸如圖像分析、視覺(jué)應(yīng)用、碼率控制或者幀拼接之類(lèi)的過(guò)程。這些過(guò)程顯然地可以隔離地執(zhí)行或組合地執(zhí)行。圖像分析意味著包括用于分析物體圖像、移動(dòng)或者其它基本信息的過(guò)程，其它基本信息例如移動(dòng)檢測(cè)、對(duì)象檢測(cè)、面部檢測(cè)等。視覺(jué)應(yīng)用設(shè)想處理圖像從而理解該圖像、模仿人類(lèi)視覺(jué)和認(rèn)知方法;并且示例包括對(duì)象識(shí)別、面部識(shí)別和人數(shù)統(tǒng)計(jì)等。
[0020]這種處理的結(jié)果或基礎(chǔ)可以從元數(shù)據(jù)形式的圖像或圖像序列得到，并且元數(shù)據(jù)可以隔離使用和/或用于支持其它過(guò)程。
[0021]在一個(gè)或幾個(gè)實(shí)施例中，嵌入圖像中的元數(shù)據(jù)或嵌有圖像的元數(shù)據(jù)已經(jīng)從圖像得至IJ，即圖像已經(jīng)使用各種算法被分析來(lái)獲得各種類(lèi)型的元數(shù)據(jù)。這將在【具體實(shí)施方式】中進(jìn)一步圖示出。在該方法用于攝影機(jī)中的情況中，該實(shí)施例多半會(huì)是可應(yīng)用的。原始圖像使用不同的算法來(lái)估算，并且結(jié)果可以采用元數(shù)據(jù)的形式。這種元數(shù)據(jù)然后為了方便可以嵌有圖像或嵌入圖像中。
[0022]在一個(gè)或多個(gè)實(shí)施例中，在變換圖像之前執(zhí)行將圖像從光柵格式轉(zhuǎn)換到塊格式，并且其中在使用元數(shù)據(jù)作為輸入來(lái)處理圖像之前執(zhí)行將圖像從塊格式轉(zhuǎn)換回光柵格式。
[0023]在一個(gè)或幾個(gè)實(shí)施例中，該方法包括在變換圖像之前和/或在變換圖像之后將圖像與元數(shù)據(jù)組合，其中元數(shù)據(jù)采用疊層的形式。關(guān)于本發(fā)明描述的幾個(gè)優(yōu)點(diǎn)被結(jié)合到在執(zhí)行變換之前元數(shù)據(jù)的嵌入，然而也存在僅在變換之后增加元數(shù)據(jù)的情況。
[0024]在一個(gè)或其它實(shí)施例中，通過(guò)將元數(shù)據(jù)作為附加顏色空間分量嵌入對(duì)應(yīng)的像素塊，來(lái)將元數(shù)據(jù)嵌有圖像。
[0025]在一個(gè)或多個(gè)其它實(shí)施例中，通過(guò)利用對(duì)應(yīng)于特定像素塊的元數(shù)據(jù)填補(bǔ)特定像素塊的顏色空間分量，來(lái)將元數(shù)據(jù)嵌有圖像。
[0026]在更多其它實(shí)施例中，通過(guò)替代圖像中的顏色或亮度信息的一部分，來(lái)將元數(shù)據(jù)嵌入圖像中。
[0027]在圖像是塊格式化圖像的實(shí)施例中，元數(shù)據(jù)可以被附加到在塊格式化圖像中的每個(gè)宏塊。
[0028]在一個(gè)或幾個(gè)實(shí)施例中，在將圖像轉(zhuǎn)發(fā)到編碼器之前，使元數(shù)據(jù)與圖像分離，而不是僅僅被提取。如果使用標(biāo)準(zhǔn)編碼器，那么在將元數(shù)據(jù)發(fā)送到編碼器之前移除元數(shù)據(jù)是有利的，因?yàn)榇嬖谇度雸D像中的元數(shù)據(jù)可能引起編碼器中的故障或沖突。
[0029]在一個(gè)或多個(gè)實(shí)施例中，元數(shù)據(jù)可以從包括下列的組中選擇:信噪元數(shù)據(jù)、壓縮元數(shù)據(jù)、移動(dòng)元數(shù)據(jù)、隱私掩模元數(shù)據(jù)和感興趣區(qū)域元數(shù)據(jù)、以及其組合。
[0030]在任何實(shí)施例中或者附加實(shí)施例中，視頻裝置可以是攝影機(jī)、編碼器、代碼轉(zhuǎn)換器、或者視頻管理系統(tǒng)(VMS)中的組件。
[0031]根據(jù)另一個(gè)方面，本發(fā)明涉及一種被配置成執(zhí)行前述或下述實(shí)施例中的一個(gè)或多個(gè)實(shí)施例的方法的視頻裝置。該視頻裝置可以包括:圖像處理管線，被配置成從圖像提取元數(shù)據(jù)，并且進(jìn)一步被配置成將所述元數(shù)據(jù)或其它元數(shù)據(jù)嵌入到圖像中；變換器，被配置成接收具有被嵌入的元數(shù)據(jù)的圖像，并且根據(jù)已定義的設(shè)置來(lái)變換具有被嵌入的元數(shù)據(jù)的圖像;提取器，被配置成從具有元數(shù)據(jù)的變換后圖像提取元數(shù)據(jù)，并且轉(zhuǎn)發(fā)該圖像，例如到圖像編碼器，圖像編碼器被配置成根據(jù)特定協(xié)議來(lái)壓縮該圖像。
[0032]在一個(gè)或多個(gè)實(shí)施例中，元數(shù)據(jù)的至少所選擇的部分也被轉(zhuǎn)發(fā)以便進(jìn)一步處理，并且所選擇的部分在壓縮圖像時(shí)被用作輸入。
[0033]本發(fā)明各種實(shí)施例的視頻裝置的更多特征不將被隔離地討論。相反地，視頻裝置的更多實(shí)施例可以從該方法的對(duì)應(yīng)實(shí)施例獲得，并且這些特征的效果也可以從對(duì)應(yīng)方法的效果推斷出。作為示例，視頻裝置可以是攝影機(jī)、視頻編碼器、視頻代碼轉(zhuǎn)換器或者VMS中的組件。
【附圖說(shuō)明】
[0034]圖1是圖不本發(fā)明第一實(shí)施例的框圖。
[0035]圖2是圖示本發(fā)明第二實(shí)施例的框圖。
[0036]圖3是圖示本發(fā)明第三實(shí)施例的框圖。
[0037]圖4是圖示本發(fā)明第四實(shí)施例的功能圖。
【具體實(shí)施方式】
[0038]圖1圖不根據(jù)本發(fā)明第一實(shí)施例100的方法。
[0039]在描述圖1的細(xì)節(jié)之前，值得提及一些示例，這些示例中的對(duì)象在本說(shuō)明書(shū)上下文中可包括在元數(shù)據(jù)的定義中。首先，感興趣的元數(shù)據(jù)是與圖像的不同區(qū)域具有一些關(guān)聯(lián)性的元數(shù)據(jù)。它可以是單個(gè)像素水平直到像素的不同尺寸塊。在上述之內(nèi)，廣義定義的較窄示例包括描述圖像屬性的統(tǒng)計(jì)或其它數(shù)據(jù)(例如顏色、感興趣區(qū)域、移動(dòng)等)，其增加到或包括在背景部分給出的示例中。并入攝影機(jī)中的圖像處理器的分析單元可以檢測(cè)圖像的特定部分中的運(yùn)動(dòng)，或者存儲(chǔ)部分可以結(jié)合掩模，該掩模涉及圖像的各個(gè)部分的強(qiáng)度應(yīng)當(dāng)如何被平衡，以便考慮圖像傳感器的無(wú)規(guī)律性。此外，元數(shù)據(jù)可以關(guān)于之前的圖像來(lái)跟蹤強(qiáng)度在該圖像中如何變化，以及圖像的各個(gè)部分如何移動(dòng)，并且通過(guò)上述內(nèi)容，元數(shù)據(jù)將定義圖像的各個(gè)部分如何表現(xiàn)以及圖像在圖像流中應(yīng)當(dāng)如何被編碼。元數(shù)據(jù)也涉及圖像的各個(gè)部分的信噪比、圖像各個(gè)部分的對(duì)比度、圖像各個(gè)部分的灰度直方圖等。除了上述之外，元數(shù)據(jù)應(yīng)當(dāng)對(duì)單個(gè)像素水平或者像素組有影響，元數(shù)據(jù)優(yōu)選應(yīng)當(dāng)旨在由下游過(guò)程使用，例如由編碼器使用，這是現(xiàn)如今的情況。
[0040]返回到圖1的框圖，元數(shù)據(jù)102與原始圖像104組合，因?yàn)樵獢?shù)據(jù)被嵌入106圖像中。
[0041]實(shí)際實(shí)施例可以以多種方式中的一種方式來(lái)執(zhí)行。第一示例能夠包括將元數(shù)據(jù)填補(bǔ)到現(xiàn)有顏色空間。典型地，U/V分量可以是一個(gè)字節(jié)，并且如果不會(huì)在較高程度上劣化圖像質(zhì)量，降低到6或7位是可接受的。然后，元數(shù)據(jù)能夠隨后被增加到現(xiàn)在可用的2或I位。由于該方案純粹是位于攝影機(jī)內(nèi)部，因此針對(duì)特定應(yīng)用能夠選擇最佳方式。第二個(gè)示例能夠是通過(guò)增加元數(shù)據(jù)的字節(jié)來(lái)擴(kuò)大顏色空間分量。作為示例，U/C分量可以是I字節(jié)長(zhǎng)，但是用于元數(shù)據(jù)的額外字節(jié)被增加到每個(gè)U/V分量，反而使其成為2字節(jié)長(zhǎng)。
[0042]如何執(zhí)行圖像和元數(shù)據(jù)的組合的一些更具體的示例可以包括:
[0043]對(duì)于YUV422，針對(duì)U和V = UYVY,每個(gè)像素具有IxY字節(jié)并且每個(gè)2x1像素塊具有Ix字節(jié)，元數(shù)據(jù)的一個(gè)以上字節(jié)可以被增加到UYVY格式，使其成為UYVYM，其中M表示所增加的元數(shù)據(jù)；
[0044]對(duì)于YUV420，針對(duì)U和V = YYYYUV,每個(gè)像素具有IxY字節(jié)并且每個(gè)2x2像素塊具有Ix字節(jié)，對(duì)于每個(gè)2x2塊，可以增加元數(shù)據(jù)的一個(gè)以上字節(jié)，使其成為YYYYUVM，再次M表示所增加的元數(shù)據(jù);或者
[0045]對(duì)于NV12，元數(shù)據(jù)可以保存在分離的平面內(nèi)。除了對(duì)于NV12已經(jīng)存在的兩個(gè)Y和UV平面之外，可以增加用于元數(shù)據(jù)的第三平面。
[0046]元數(shù)據(jù)也可以作為一個(gè)或多個(gè)位被填補(bǔ)到Y(jié)、U或者V顏色空間分量中。
[0047]存在將元數(shù)據(jù)嵌入到圖像中的若干更多方式，并且上述的非常具體的示例因此不應(yīng)當(dāng)被解釋為限制由權(quán)利要求限定的本發(fā)明。上述示例主要涉及其中元數(shù)據(jù)嵌有圖像的情況。另一種類(lèi)別將是元數(shù)據(jù)嵌入圖像中，即例如顏色信息或亮度信息的部分被去除并且由元數(shù)據(jù)替代。一些圖像信息可以丟失，然而在將圖像發(fā)送到標(biāo)準(zhǔn)編碼器之前元數(shù)據(jù)不必被去除，并且這將參考編碼器來(lái)討論。
[0048]因此，元數(shù)據(jù)可以如例示的那樣嵌有圖像或嵌入圖像中。如果元數(shù)據(jù)太大，或者如果其適合于其它理由，則元數(shù)據(jù)可以由指針替代。將指針嵌入到元數(shù)據(jù)的實(shí)現(xiàn)方式和方法完全類(lèi)似于嵌入像這樣的元數(shù)據(jù)，并且指針將以與元數(shù)據(jù)相同的方式，與像素、像素塊或者區(qū)域相關(guān)聯(lián)。為此，為了本說(shuō)明書(shū)的目的，指向元數(shù)據(jù)的指針將包含在更寬定義的“元數(shù)據(jù)”內(nèi)。每個(gè)指針指向存儲(chǔ)器空間中實(shí)際元數(shù)據(jù)所位于的位置。
[0049]示例的列表不意味著是窮盡性的，而是意味著圖示存在用于實(shí)現(xiàn)圖像和元數(shù)據(jù)的組合的幾個(gè)選項(xiàng)，并且方法的選擇可以取決于上下文。
[0050]在數(shù)據(jù)的組合之后，圖像從也被稱(chēng)為光柵格式的線格式轉(zhuǎn)換成塊格式108。該轉(zhuǎn)換并不需要用于所有實(shí)施例，因?yàn)橐恍┳儞Q(例如反扭曲)可能需要塊數(shù)據(jù)，而若干其它情況可以直接對(duì)光柵圖像操作。在本發(fā)明實(shí)施例中，每個(gè)塊被增加元數(shù)據(jù)，并且因此轉(zhuǎn)變是有意義的。事實(shí)上，能夠?qū)⒚繅K元數(shù)據(jù)用到光柵圖像，但是這種過(guò)程是不必要地難處理的。
[0051]現(xiàn)在包括嵌入的元數(shù)據(jù)的圖像可以在組合之后以各種方式被變換110。典型的變換包括:反扭曲；包括針對(duì)諸如桶形失真之類(lèi)的光學(xué)失真以及其它圖像失真校正圖像；以及旋轉(zhuǎn)，其中圖像相對(duì)于特定參考系統(tǒng)被正確地設(shè)置。另一個(gè)示例是圖像穩(wěn)定化，其中像素信息可以左右移位以考慮在圖像采集期間不可控的移動(dòng)。任意變換的結(jié)果可以是單個(gè)像素或像素塊在圖像中左右移位。
[0052]在變換110之后，盡管不必立即在其后，但是圖像被轉(zhuǎn)發(fā)到編碼器114，并且在到編碼器之前，因?yàn)榇唤忉尩脑颍梢詢(xún)?yōu)選地從圖像提取(和移除)元數(shù)據(jù)。在編碼器114中，圖像被編碼并且作為視頻流中的幀被轉(zhuǎn)發(fā)，或者作為分離的壓縮圖像被轉(zhuǎn)發(fā)。在提取元數(shù)據(jù)和對(duì)圖像數(shù)據(jù)編碼之前，組合后的圖像從塊格式翻譯回線格式112。因此，根據(jù)多個(gè)現(xiàn)有編碼技術(shù)中的一個(gè)可以執(zhí)行這樣的編碼，并且因?yàn)榫幋a不是本發(fā)明的核心，因此也可以包括未來(lái)的編碼技術(shù)。在編碼中，使用元數(shù)據(jù)或元數(shù)據(jù)的至少一部分。由于元數(shù)據(jù)被嵌入圖像中或嵌有圖像的事實(shí)，元數(shù)據(jù)將隨著像素或像素塊在變換步驟中移動(dòng)而移動(dòng)。因?yàn)樵谡麄€(gè)過(guò)程中保持到圖像的正確部分的結(jié)合，因此這意味著元數(shù)據(jù)可以容易地被提取并結(jié)合到圖像的正確部分。在進(jìn)入實(shí)際編碼器之前可以?xún)?yōu)選地實(shí)現(xiàn)元數(shù)據(jù)的提取，并且就允許使用任何標(biāo)準(zhǔn)的編碼器的意義來(lái)說(shuō)，該理由是實(shí)用的。除了其可以是在進(jìn)入編碼器之前提取元數(shù)據(jù)的理由的該方面，在編碼器內(nèi)提取元數(shù)據(jù)絕非是不可能的或者甚至是困難的，因此不應(yīng)當(dāng)從由隨附權(quán)利要求限定的本發(fā)明的范圍排除。
[0053]當(dāng)元數(shù)據(jù)被嵌入圖像中時(shí)，即當(dāng)元數(shù)據(jù)替代例如顏色信息的部分時(shí)，這樣的信息仍然可以從圖像提取，但是在將該圖像發(fā)送到編碼器之前可能沒(méi)有必要從圖像移除元數(shù)據(jù)。編碼器不會(huì)認(rèn)識(shí)到其就在那里，并且盡管其可能影響圖像的外觀，但是該效果是可忽略的。效果可能是元數(shù)據(jù)貫穿整個(gè)過(guò)程以及在過(guò)程之外被包含在圖像中。
[0054]對(duì)編碼器主要感興趣的元數(shù)據(jù)可以是壓縮元數(shù)據(jù)或者壓縮圖譜，然而本公開(kāi)的進(jìn)一步效果是會(huì)存在元數(shù)據(jù)的集合，該元數(shù)據(jù)與從編碼器發(fā)送出的圖像完美匹配，該圖像即是將被顯示給用戶(hù)的圖像或者在客戶(hù)端處進(jìn)一步處理的圖像。這意味著元數(shù)據(jù)或者所選擇的元數(shù)據(jù)部分可以被轉(zhuǎn)發(fā)到下游過(guò)程。下游過(guò)程可以是攝影機(jī)約束條件內(nèi)的過(guò)程，然而也可以位于其外部。這在圖2中進(jìn)一步被圖示并且涉及第二實(shí)施例。圖2實(shí)際上可以包括一系列實(shí)施例，該一系列實(shí)施例的共同之處在于，所提取的元數(shù)據(jù)在除了編碼之外的過(guò)程中使用，如在圖2中的116處指示的。在一個(gè)實(shí)施例中，元數(shù)據(jù)被轉(zhuǎn)發(fā)到碼率控制118。在另一個(gè)實(shí)施例中，元數(shù)據(jù)可以被轉(zhuǎn)發(fā)到外部應(yīng)用120和VMS(視頻管理系統(tǒng))和/或被轉(zhuǎn)發(fā)到內(nèi)部應(yīng)用。在又一個(gè)實(shí)施例中，元數(shù)據(jù)被轉(zhuǎn)發(fā)到幀拼接過(guò)程122，例如四個(gè)不同的視圖(每個(gè)視圖來(lái)自四個(gè)攝影機(jī)中的每個(gè)攝影機(jī))被組合成顯示給操作者的單個(gè)視圖。這些實(shí)施例中的任何實(shí)施例可以自由組合。其它示例能夠包括邊緣檢測(cè)算法，該邊緣檢測(cè)算法在每個(gè)區(qū)域使用SNR以避免假陽(yáng)性，即降低實(shí)際上不是邊緣的邊緣檢測(cè)風(fēng)險(xiǎn)。在另一個(gè)示例中，移動(dòng)檢測(cè)算法的結(jié)果是作為元數(shù)據(jù)被嵌入圖像中或嵌有圖像，其中該結(jié)果可以被發(fā)送到邊界檢測(cè)算法以預(yù)期交叉的保護(hù)區(qū)域。
[0055]在如圖3所圖示的第三實(shí)施例中，在變換圖像的步驟之前或之后存在增加疊層(OVerlay)124的附加步驟，并且該疊層可以被認(rèn)為是與圖像組合的另外元數(shù)據(jù)。疊層可以是隱私掩模或者是將文本信息增加到圖像以有益于用戶(hù)的文本層，并且取決于類(lèi)型，其可以在圖像變換之前或之后被嵌入該圖像中，一般在變換之后才會(huì)增加文本層，因?yàn)樵撐谋緦涌赡懿贿B接到特定的像素或區(qū)域，同時(shí)取決于掩模類(lèi)型，可以在變換之前或之后增加隱私掩模。如果隱私掩模被動(dòng)態(tài)地應(yīng)用，則識(shí)別待被遮蔽的區(qū)域的算法可以利用非變換圖像。
[0056]應(yīng)當(dāng)指出，到目前為止公開(kāi)的實(shí)施例可以自由組合以產(chǎn)生更多的實(shí)施例，例如，如在圖3圖示的第三實(shí)施例中使用的疊層源的增加可以被增加到圖2圖示的第二實(shí)施例中，這將產(chǎn)生第四實(shí)施例。
[0057]在圖1至圖3的示意性介紹之后，圖4圖示出本發(fā)明的一些更加詳細(xì)的應(yīng)用。圖4是根據(jù)本發(fā)明第四實(shí)施例的圖像處理的功能圖。因此，實(shí)施例包括已經(jīng)公開(kāi)的若干特征，并且其也可以相應(yīng)地被分割成多個(gè)實(shí)施例。圖4的目的在于描述稍微不同于圖1至圖3的本發(fā)明的方面，并且由此增加對(duì)本發(fā)明的理解。
[0058]在第一步驟中獲取圖像。像這樣的圖像可以從圖像傳感器獲取，然而其也可以從文件讀取或者從另一個(gè)圖像源獲取。在本實(shí)施例中，樹(shù)被成像。該圖像以此簡(jiǎn)化布局被分割成四個(gè)部分:左上(UL)、右上(UR)、左下(LL)和右下(LR)。
[0059]圖像然后進(jìn)入圖像處理管線406，并且在第一步驟408中，可以檢測(cè)在每個(gè)部分中的移動(dòng)，在本示例中，在左上部分檢測(cè)到移動(dòng)ml并且在左下部分檢測(cè)到移動(dòng)m2，如在輸出圖像410處所示。在本示例中在其它部分沒(méi)有檢測(cè)到移動(dòng)。
[0060]在第二步驟412中，針對(duì)每個(gè)部分可計(jì)算信噪比，這導(dǎo)致從圖像的左上部分到右下部分計(jì)數(shù)的數(shù)值snr I至snr4，每個(gè)數(shù)值指示用于特定部分的SNR水平。
[0061]在信噪比的推導(dǎo)之后，識(shí)別感興趣區(qū)域414和壓縮圖譜416的步驟可以被執(zhí)行，并且相應(yīng)的元數(shù)據(jù)被嵌入圖像418中。
[0062]在圖像處理管線之后，結(jié)果是原始圖像具有所嵌入的元數(shù)據(jù)，并且對(duì)于圖像418的每個(gè)部分，結(jié)果是下述:
[0063]UL:ml,snrl,compl,
[0064]UR:snrl,roil,compl
[0065]LL:m2,snr3,compl
[0066]LR:snr4,roilcomp3
[0067]隨著組合后的圖像現(xiàn)在進(jìn)入變換步驟420，本發(fā)明的優(yōu)點(diǎn)變得顯而易見(jiàn)。在本實(shí)施例中，變換對(duì)應(yīng)于圖像的180度旋轉(zhuǎn)，并且當(dāng)圖像旋轉(zhuǎn)時(shí)，被嵌入的元數(shù)據(jù)也將被旋轉(zhuǎn)。對(duì)于元數(shù)據(jù)，這對(duì)應(yīng)于以順時(shí)針(或者就此事而論，是逆時(shí)針)移動(dòng)兩個(gè)部分，但是顯而易見(jiàn)的是，不論變換，被嵌入的元數(shù)據(jù)將跟隨對(duì)應(yīng)的圖像數(shù)據(jù)，如在輸出圖像422中指示的。
[0068]在變換之后，元數(shù)據(jù)可以與圖像分離并且從圖像被分派424;并且與壓縮圖譜有關(guān)的元數(shù)據(jù)426可以與變換后的圖像428—起被轉(zhuǎn)發(fā)到編碼器430，來(lái)自編碼器430的結(jié)果是壓縮后的圖像432。其它類(lèi)型的元數(shù)據(jù)，例如與信噪比有關(guān)的元數(shù)據(jù)434，可能與感興趣區(qū)域有關(guān)的元數(shù)據(jù)436組合，可以被轉(zhuǎn)發(fā)到其它應(yīng)用，例如在應(yīng)用平臺(tái)438處可用的應(yīng)用。
[0069]在本示例中，圖像被分割成四個(gè)部分，這應(yīng)當(dāng)被認(rèn)為是僅僅具有解釋性目的的非限制性示例。在其它實(shí)施例中，分割可以更接近像素尺寸，例如16x16像素至32x32像素，其能夠被分割成圖像塊，使得每個(gè)圖像將包含32x32部分或64x64部分，僅僅是給出一些進(jìn)一步的示例。部分將不必在寬度和高度上是對(duì)稱(chēng)的，它們也能夠?qū)D像分割成片段等。
[0070]圖4的實(shí)施例包括多個(gè)實(shí)施例和可替代方案。通過(guò)例如從圖4的流程選擇單個(gè)圖像處理步驟(例如步驟408或412或416等)以及省略其它步驟中的一個(gè)或多個(gè)步驟，圖4的實(shí)施例可以被分割成更多的實(shí)施例。
[0071]進(jìn)一步對(duì)于關(guān)于元數(shù)據(jù)定義已經(jīng)公開(kāi)的內(nèi)容，需要強(qiáng)調(diào)的是，元數(shù)據(jù)能夠與實(shí)際數(shù)據(jù)相關(guān)(對(duì)于本文中示例的大部分)，但是在不偏離由隨附權(quán)利要求限定的本發(fā)明范圍的情況下，元數(shù)據(jù)也包括到元數(shù)據(jù)表格的ID或者指針。此外，在圖像處理期間的任何階段可以使用元數(shù)據(jù)。說(shuō)明書(shū)中已經(jīng)給出多個(gè)元數(shù)據(jù)示例，并且應(yīng)當(dāng)強(qiáng)調(diào)的是，元數(shù)據(jù)的列表不是窮盡性的。本發(fā)明不涉及新類(lèi)型的元數(shù)據(jù)，而是涉及在圖像處理管線中處理與圖像結(jié)合的元數(shù)據(jù)的新方式，如通過(guò)權(quán)利要求限定的。進(jìn)一步關(guān)于這方面。在說(shuō)明書(shū)的示例中，圖像至今為止從傳感器獲取，然而如果圖像從文件讀取或來(lái)自另一個(gè)輸入源，則本發(fā)明方法可能同樣是有利的。當(dāng)然，這種圖像在某點(diǎn)可以從傳感器獲取，然而本發(fā)明不應(yīng)當(dāng)被限制在該方面。
[0072]像這樣的方法及其實(shí)施例能夠孤立地使用以作為編碼序列或代碼轉(zhuǎn)換序列中的部分，并且術(shù)語(yǔ)“視頻裝置”用作通用術(shù)語(yǔ)，該通用術(shù)語(yǔ)包括但不限于示例化的裝置，即攝影機(jī)、視頻編碼裝置、視頻代碼轉(zhuǎn)換裝置以及視頻管理系統(tǒng)。
【主權(quán)項(xiàng)】
1.一種用于處理視頻裝置中的圖像的方法，包括: 讀取圖像； 通過(guò)將與所述圖像相關(guān)的元數(shù)據(jù)嵌入所述圖像中，來(lái)將所述圖像與所述元數(shù)據(jù)組合； 變換具有被嵌入的元數(shù)據(jù)的所述圖像，其中與像素或像素塊相關(guān)聯(lián)的元數(shù)據(jù)跟隨這種像素或像素塊的移動(dòng)； 從所述圖像提取所述元數(shù)據(jù)，并且將所述該圖像轉(zhuǎn)發(fā)到編碼器； 在所述編碼器中對(duì)所述圖像編碼； 在進(jìn)一步處理中利用所述元數(shù)據(jù)作為輸入。2.根據(jù)權(quán)利要求1所述的方法，其中所述進(jìn)一步處理包括對(duì)所述圖像的處理或?qū)罄m(xù)圖像的處理。3.根據(jù)權(quán)利要求1所述的方法，其中所述進(jìn)一步處理包括處理所述元數(shù)據(jù)。4.根據(jù)權(quán)利要求1所述的方法，其中所述進(jìn)一步處理包括圖像分析、視覺(jué)應(yīng)用、碼率控制或幀拼接、及其組合;執(zhí)行碼率控制、幀拼接、動(dòng)作觸發(fā);支持圖像分析工具及其組合。5.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括在將所述元數(shù)據(jù)嵌入所述圖像之前從所述圖像獲取所述元數(shù)據(jù)。6.根據(jù)權(quán)利要求1所述的方法，其中在變換所述圖像之前執(zhí)行將所述圖像從光柵格式轉(zhuǎn)換成塊格式，并且其中在使用所述元數(shù)據(jù)作為輸入來(lái)處理所述圖像之前將所述圖像從塊格式轉(zhuǎn)換回光柵格式。7.根據(jù)權(quán)利要求1所述的方法，包括在變換所述圖像之前和/或在變換所述圖像之后將所述圖像與元數(shù)據(jù)組合，其中所述元數(shù)據(jù)采用疊層的形式。8.根據(jù)權(quán)利要求1所述的方法，其中通過(guò)將所述元數(shù)據(jù)作為附加顏色空間分量嵌入對(duì)應(yīng)的像素塊，來(lái)將所述元數(shù)據(jù)與所述圖像組合。9.根據(jù)權(quán)利要求1所述的方法，其中通過(guò)利用對(duì)應(yīng)于特定像素塊的所述元數(shù)據(jù)填補(bǔ)所述特定像素塊的顏色空間分量，來(lái)將所述元數(shù)據(jù)與所述圖像組合。10.根據(jù)權(quán)利要求1所述的方法，其中所述元數(shù)據(jù)替代所述圖像中的顏色或亮度信息的一部分。11.根據(jù)權(quán)利要求1所述的方法，其中所述元數(shù)據(jù)被附加到塊格式化圖像中的每個(gè)宏塊。12.根據(jù)權(quán)利要求1所述的方法，其中在將所述圖像轉(zhuǎn)發(fā)到所述編碼器之前使所述元數(shù)據(jù)與所述圖像分離。13.根據(jù)權(quán)利要求1所述的方法，其中所述元數(shù)據(jù)從包括下列的組中選擇:信噪比元數(shù)據(jù)、壓縮元數(shù)據(jù)、移動(dòng)元數(shù)據(jù)、隱私掩模元數(shù)據(jù)和感興趣區(qū)域元數(shù)據(jù)、以及其組合。14.根據(jù)權(quán)利要求1所述的方法，其中所述視頻裝置是攝影機(jī)、視頻編碼器、視頻代碼轉(zhuǎn)換器或者視頻管理系統(tǒng)。15.—種被布置成執(zhí)行權(quán)利要求1所述的方法的視頻裝置，所述視頻裝置包括: 圖像處理管線，被配置成從圖像提取元數(shù)據(jù)，并且進(jìn)一步被配置成將所述元數(shù)據(jù)或其它元數(shù)據(jù)嵌入所述圖像中； 變換器，被配置成接收具有被嵌入的元數(shù)據(jù)的所述圖像，并且根據(jù)已定義的設(shè)置來(lái)變換具有所述被嵌入的元數(shù)據(jù)的所述圖像； 提取器，被配置成從具有所述元數(shù)據(jù)的變換后圖像提取所述元數(shù)據(jù)，并且轉(zhuǎn)發(fā)所述圖像到進(jìn)一步處理，例如將所述圖像轉(zhuǎn)發(fā)到圖像編碼器，所述圖像編碼器被配置成根據(jù)特定協(xié)議來(lái)壓縮所述圖像。16.根據(jù)權(quán)利要求15所述的視頻裝置，其中所述視頻裝置是攝影機(jī)、視頻編碼器、視頻代碼轉(zhuǎn)換器或者視頻管理系統(tǒng)。
【文檔編號(hào)】H04N5/213GK106067974SQ201610230633
【公開(kāi)日】2016年11月2日
【申請(qǐng)日】2016年4月14日 公開(kāi)號(hào)201610230633.0, CN 106067974 A, CN 106067974A, CN 201610230633, CN-A-106067974, CN106067974 A, CN106067974A, CN201610230633, CN201610230633.0
【發(fā)明人】袁嵩, 亞歷山大·馬丁斯
【申請(qǐng)人】安訊士有限公司