一種圖像處理方法及設(shè)備的制作方法
【專利摘要】本發(fā)明實(shí)施例公開了一種圖像處理方法和設(shè)備。其中，所述方法包括：采集物體的視頻圖像和深度圖像；利用所述深度圖像對(duì)同一時(shí)刻的所述視頻圖像對(duì)應(yīng)的視頻圖像幀進(jìn)行分割，得到所述視頻圖像幀中前景圖像的輪廓；根據(jù)所述前景圖像的輪廓，對(duì)所述視頻圖像幀中所述前景圖像的輪廓以內(nèi)的視頻圖像像素點(diǎn)進(jìn)行第一編碼，對(duì)所述視頻圖像幀中所述輪廓以外的視頻圖像像素點(diǎn)進(jìn)行第二編碼，獲得所述視頻圖像幀對(duì)應(yīng)的編碼數(shù)據(jù)，其中，所述第一編碼的編碼速率高于所述第二編碼的編碼速率；輸出所述視頻圖像幀對(duì)應(yīng)的編碼數(shù)據(jù)以及所述前景圖像的輪廓對(duì)應(yīng)的深度數(shù)據(jù)。通過本發(fā)明實(shí)施例，使得可以降低視頻圖像傳輸過程中的網(wǎng)絡(luò)帶寬占用率。
【專利說(shuō)明】一種圖像處理方法及設(shè)備

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像數(shù)據(jù)處理【技術(shù)領(lǐng)域】，特別是涉及一種圖像處理方法及設(shè)備。

【背景技術(shù)】
[0002]浸入式會(huì)議系統(tǒng)是下一代多媒體會(huì)議系統(tǒng)的典型，它能夠提供更加逼真，身臨其境的用戶體驗(yàn)。其通常會(huì)應(yīng)用諸如:高清音/視頻、立體聲、30視頻、增強(qiáng)現(xiàn)實(shí)等新技術(shù)來(lái)讓用戶在參加會(huì)議時(shí)能夠有一種浸入式的體驗(yàn)。
[0003]通常，浸入式會(huì)議系統(tǒng)中包含兩種攝像頭，一種是傳統(tǒng)的彩色攝像頭，可以捕獲用戶的彩色圖像；還有一種是深度攝像頭，可以捕獲用戶與攝像頭的距離的深度圖像。深度信息攝像頭捕獲的深度信息為后續(xù)30圖像的合成、骨骼識(shí)別和追蹤等技術(shù)都有很大的幫助。
[0004]現(xiàn)有的浸入式會(huì)議系統(tǒng)中，進(jìn)行會(huì)議系統(tǒng)的視頻圖像合成時(shí)，網(wǎng)絡(luò)帶寬的占用率較聞。


【發(fā)明內(nèi)容】

[0005]本發(fā)明實(shí)施例中提供了一種圖像處理方法及設(shè)備，實(shí)現(xiàn)視頻圖像中不同用戶關(guān)注度的圖像的分割，并對(duì)分割圖像采用不同的編碼方式，使得可以降低視頻圖像傳輸過程中的網(wǎng)絡(luò)帶寬占用率。
[0006]為了解決上述技術(shù)問題，本發(fā)明實(shí)施例公開了如下技術(shù)方案:
[0007]第一方面，提供一種圖像處理方法，包括:
[0008]采集物體的視頻圖像和深度圖像；
[0009]利用所述深度圖像對(duì)同一時(shí)刻的所述視頻圖像對(duì)應(yīng)的視頻圖像幀進(jìn)行分割，得到所述視頻圖像幀中前景圖像的輪廓；
[0010]根據(jù)所述前景圖像的輪廓，對(duì)所述視頻圖像幀中所述前景圖像的輪廓以內(nèi)的視頻圖像像素點(diǎn)進(jìn)行第一編碼，對(duì)所述視頻圖像幀中所述輪廓以外的視頻圖像像素點(diǎn)進(jìn)行第二編碼，獲得所述視頻圖像幀對(duì)應(yīng)的編碼數(shù)據(jù)，其中，所述第一編碼的編碼速率高于所述第二編碼的編碼速率；
[0011]輸出所述視頻圖像幀對(duì)應(yīng)的編碼數(shù)據(jù)以及所述前景圖像的輪廓對(duì)應(yīng)的深度數(shù)據(jù)。
[0012]結(jié)合上述第一方面，在第一種可能的實(shí)現(xiàn)方式中，所述利用所述深度圖像對(duì)同一時(shí)刻的所述視頻圖像對(duì)應(yīng)的視頻圖像幀進(jìn)行分割，得到所述視頻圖像幀中前景圖像的輪廓，包括:
[0013]將所述視頻圖像幀的深度圖像與視頻圖像進(jìn)行像素對(duì)齊；
[0014]計(jì)算所述深度圖像上每個(gè)像素點(diǎn)與各個(gè)相鄰像素點(diǎn)的深度差值，確定像素點(diǎn)中與所有所述相鄰像素點(diǎn)的深度差值的方差大于預(yù)設(shè)閾值的像素點(diǎn)為分割點(diǎn)；
[0015]遍歷所述深度圖像上全部像素點(diǎn)，確定出所有分割點(diǎn)；
[0016]根據(jù)所述所有分割點(diǎn)，得出所述視頻圖像中前景圖像的輪廓。
[0017]結(jié)合上述第一方面，在第二種可能的實(shí)現(xiàn)方式中，所述輸出所述輪廓對(duì)應(yīng)的深度數(shù)據(jù)，包括:
[0018]根據(jù)所述輪廓，將所述深度圖像簡(jiǎn)化為二值圖像；
[0019]將所述二值圖像進(jìn)行編碼處理，輸出所述二值圖像對(duì)應(yīng)的編碼數(shù)據(jù)。
[0020]結(jié)合上述第一方面，和第一種可能的實(shí)現(xiàn)方式，在第三種可能的實(shí)現(xiàn)方式中，所述輸出所述前景圖像的輪廓對(duì)應(yīng)的深度數(shù)據(jù)，包括:
[0021]獲取所述所有分割點(diǎn)中每一個(gè)分割點(diǎn)的坐標(biāo)信息；
[0022]將全部所述坐標(biāo)信息進(jìn)行壓縮處理，輸出所述壓縮處理得到的全部所述坐標(biāo)信息對(duì)應(yīng)的壓縮數(shù)據(jù)。
[0023]第二方面，提供一種圖像處理方法，包括:
[0024]接收視頻圖像幀的編碼數(shù)據(jù)以及所述視頻圖像幀中前景圖像的輪廓對(duì)應(yīng)的深度數(shù)據(jù)，所述視頻圖像幀中，根據(jù)所述前景圖像的輪廓，對(duì)所述前景圖像的輪廓以內(nèi)的視頻圖像像素點(diǎn)進(jìn)行第一編碼，對(duì)所述輪廓以外的視頻圖像像素點(diǎn)進(jìn)行第二編碼，獲得所述視頻圖像幀對(duì)應(yīng)的編碼數(shù)據(jù)，其中，所述第一編碼的編碼速率高于所述第二編碼的編碼速率；
[0025]根據(jù)所述深度數(shù)據(jù)，對(duì)所述視頻圖像幀進(jìn)行分割，得到所述視頻圖像幀中的前景圖像；
[0026]播放所述前景圖像。
[0027]結(jié)合上述第二方面，在第一種可能的實(shí)現(xiàn)方式中，還包括:
[0028]在播放所述前景圖像的同時(shí)，播放預(yù)置的背景圖像或圖片，將所述背景圖像或圖片作為作數(shù)前景圖像的背景。
[0029]第三方面，提供一種圖像處理設(shè)備，包括:
[0030]采集模塊，用于采集物體的視頻圖像和深度圖像；
[0031]輪廓分割模塊，用于利用所述深度圖像對(duì)同一時(shí)刻的所述視頻圖像對(duì)應(yīng)的視頻圖像幀進(jìn)行分割，得到所述視頻圖像幀中前景圖像的輪廓；
[0032]視頻編碼模塊，用于根據(jù)所述前景圖像的輪廓，對(duì)所述視頻圖像幀中所述前景圖像的輪廓以內(nèi)的視頻圖像像素點(diǎn)進(jìn)行第一編碼，對(duì)所述視頻圖像幀中所述輪廓以外的視頻圖像像素點(diǎn)進(jìn)行第二編碼，獲得所述視頻圖像幀對(duì)應(yīng)的編碼數(shù)據(jù)，其中，所述第一編碼的編碼速率高于所述第二編碼的編碼速率；
[0033]第一輸出模塊，用于輸出所述視頻圖像幀對(duì)應(yīng)的編碼數(shù)據(jù)；
[0034]第二輸出模塊，用于所述前景圖像的輪廓對(duì)應(yīng)的深度數(shù)據(jù)。
[0035]結(jié)合上述第三方面，在第一種可能的實(shí)現(xiàn)方式中，所述輪廓分割模塊，包括:
[0036]像素對(duì)齊單元，用于將所述視頻圖像幀的深度圖像與視頻圖像進(jìn)行像素對(duì)齊；
[0037]深度差值計(jì)算單元，用于計(jì)算所述深度圖像上每個(gè)像素點(diǎn)與各個(gè)相鄰像素點(diǎn)的深度差值，確定像素點(diǎn)中與所有所述相鄰像素點(diǎn)的深度差值的方差大于預(yù)設(shè)閾值的像素點(diǎn)為分割點(diǎn)；
[0038]分割點(diǎn)確定單元，用于遍歷所述深度圖像上全部像素點(diǎn)，確定出所有分割點(diǎn)；
[0039]輪廓獲取單元，用于根據(jù)所述所有分割點(diǎn)，得出所述視頻圖像中前景圖像的輪廓。
[0040]結(jié)合上述第三方面，在第二種可能的實(shí)現(xiàn)方式中，所述第二輸出模塊，包括:
[0041]二值圖像簡(jiǎn)化單元，用于根據(jù)所述輪廓，將所述深度圖像簡(jiǎn)化為二值圖像；
[0042]二值圖像編碼單元，用于將所述二值圖像進(jìn)行編碼處理；
[0043]二值圖像輸出單元，用于輸出所述二值圖像對(duì)應(yīng)的編碼數(shù)據(jù)。
[0044]結(jié)合上述第三方面，和第一種可能的實(shí)現(xiàn)方式，在第三種可能的實(shí)現(xiàn)方式中，所述第二輸出模塊，包括:
[0045]坐標(biāo)獲取單元，用于獲取所述所有分割點(diǎn)中每一個(gè)分割點(diǎn)的坐標(biāo)信息；
[0046]壓縮單元，用于將全部所述坐標(biāo)信息進(jìn)行壓縮處理；
[0047]坐標(biāo)輸出單元，用于輸出所述壓縮處理得到的全部所述坐標(biāo)信息對(duì)應(yīng)的壓縮數(shù)據(jù)。
[0048]第四方面，提供一種圖像處理設(shè)備，包括:
[0049]接收模塊，用于接收視頻圖像幀的編碼數(shù)據(jù)以及所述視頻圖像幀中前景圖像的輪廓對(duì)應(yīng)的深度數(shù)據(jù)，所述視頻圖像幀中，根據(jù)所述前景圖像的輪廓，對(duì)所述前景圖像的輪廓以內(nèi)的視頻圖像像素點(diǎn)進(jìn)行第一編碼，對(duì)所述輪廓以外的視頻圖像像素點(diǎn)進(jìn)行第二編碼，獲得所述視頻圖像幀對(duì)應(yīng)的編碼數(shù)據(jù)，其中，所述第一編碼的編碼速率高于所述第二編碼的編碼速率；
[0050]前景圖像分割模塊，用于根據(jù)所述深度數(shù)據(jù)，對(duì)所述視頻圖像幀進(jìn)行分割，得到所述視頻圖像幀中的前景圖像；
[0051〕 前景播放模塊，用于播放所述前景圖像。
[0052]結(jié)合上述第四方面，在第一種可能的實(shí)現(xiàn)方式中，還包括:
[0053]背景播放模塊，用于在播放所述前景圖像的同時(shí)，播放預(yù)置的背景圖像或圖片，將所述背景圖像或圖片作為作數(shù)前景圖像的背景。
[0054]第五方面，提供一種圖像處理系統(tǒng)，包括上述任一項(xiàng)兩種所述的圖像處理設(shè)備。
[0055]本發(fā)明實(shí)施例中，通過分割視頻圖像幀得到所述視頻圖像幀中前景圖像的輪廓，根據(jù)所述前景圖像的輪廓，可以區(qū)分出所述視頻圖像幀中的“前景”圖像和“背景”圖像，進(jìn)而，對(duì)“前景”圖像和“背景”圖像分別包括的視頻圖像像素點(diǎn)進(jìn)行不同方式的編碼處理，即:對(duì)所述輪廓以內(nèi)的“前景”圖像采用較高編碼速率的編碼方式，對(duì)所述輪廓以外的“背景”圖像采用較低編碼速率的編碼方式。通過該編碼方式，能夠減少編碼過程中比特?cái)?shù)的利用率，降低視頻圖像幀傳輸過程中對(duì)網(wǎng)絡(luò)帶寬的占用率，并增強(qiáng)“前景”圖像的圖像質(zhì)量。此外，由于只傳輸所述輪廓對(duì)應(yīng)的像素點(diǎn)的深度數(shù)據(jù)，并非傳輸深度圖像中所有像素點(diǎn)對(duì)應(yīng)的深度數(shù)據(jù)，可以進(jìn)一步降低視頻圖像傳輸過程中對(duì)網(wǎng)絡(luò)帶寬的占用率。

【專利附圖】

【附圖說(shuō)明】
[0056]為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，對(duì)于本領(lǐng)域普通技術(shù)人員而言，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0057]圖1為本發(fā)明提供的一個(gè)圖像處理方法實(shí)施例的流程圖；
[0058]圖2為圖1中步驟101的實(shí)現(xiàn)流程圖；
[0059]圖3為本發(fā)明提供的又一個(gè)圖像處理方法實(shí)施例的流程圖；
[0060]圖4為本發(fā)明提供的一種圖像處理設(shè)備實(shí)施例的結(jié)構(gòu)框圖；
[0061]圖5為圖4中輪廓分割模塊的結(jié)構(gòu)框圖；
[0062]圖6為圖4中第二輸出模塊405的一種結(jié)構(gòu)框圖；
[0063]圖7為圖4中第二輸出模塊405的另一種結(jié)構(gòu)框圖；
[0064]圖8為本發(fā)明提供的又一個(gè)圖像處理設(shè)備實(shí)施例的結(jié)構(gòu)框圖；
[0065]圖9為本發(fā)明提供的再一個(gè)圖像處理設(shè)備實(shí)施例的結(jié)構(gòu)框圖；
[0066]圖10為本發(fā)明提供的一個(gè)具體應(yīng)用場(chǎng)景。

【具體實(shí)施方式】
[0067]為了使本【技術(shù)領(lǐng)域】的人員更好地理解本發(fā)明實(shí)施例中的技術(shù)方案，并使本發(fā)明實(shí)施例的上述目的、特征和優(yōu)點(diǎn)能夠更加明顯易懂，下面結(jié)合附圖對(duì)本發(fā)明實(shí)施例中技術(shù)方案作進(jìn)一步詳細(xì)的說(shuō)明。
[0068]首先，介紹本發(fā)明提供的一種圖像處理方法。本發(fā)明提供的圖像處理方法、設(shè)備及系統(tǒng)可以應(yīng)用于應(yīng)浸入式會(huì)議系統(tǒng)。
[0069]參見圖1，為本發(fā)明提供的一個(gè)圖像處理方法實(shí)施例的流程，具體可以包括:
[0070]步驟101、采集物體的視頻圖像和深度圖像；
[0071]該實(shí)施例描述的是視頻圖像發(fā)送側(cè)的圖像處理方法。該步驟中，通過彩色攝像頭，可以捕獲用戶的彩色視頻圖像，同時(shí)，通過深度攝像頭，可以捕獲用戶與攝像頭的距離的深度圖像。
[0072]步驟102、利用所述深度圖像對(duì)同一時(shí)刻的所述視頻圖像對(duì)應(yīng)的視頻圖像幀進(jìn)行分割，得到所述視頻圖像幀中前景圖像的輪廓。
[0073]本發(fā)明提供的圖像處理方法、設(shè)備及系統(tǒng)可以應(yīng)用于應(yīng)浸入式會(huì)議系統(tǒng)。對(duì)于浸入式會(huì)議系統(tǒng)，實(shí)際上用戶關(guān)注度較高的視頻圖像只是實(shí)際接收到的視頻圖像中的一部分，這部分用戶關(guān)注這部分的視頻圖像被稱之為“前景”，而視頻圖像中其他用戶較為不關(guān)注的視頻圖像部分被稱之為“背景”。例如:一般視頻會(huì)議中，與當(dāng)前系統(tǒng)用戶一起交談的其他人都是該用戶所關(guān)心的，因此，這些人的圖像即為“前景”；除去這些人之外的該用戶并不關(guān)注的圖像即為“背景”。
[0074]上述步驟中，利用深度圖像對(duì)同一時(shí)刻的視頻圖像對(duì)應(yīng)的視頻圖像幀進(jìn)行分割，通過圖像分割，得到該視頻圖像幀中前景圖像的輪廓。通過該分割方式，可以得到每個(gè)視頻圖像幀中前景圖像的輪廓。
[0075]通過前景圖像的該輪廓，即可分離出視頻圖像幀中的“前景”和“背景”，在視頻圖像幀的像素點(diǎn)范圍之內(nèi)，所述輪廓以內(nèi)的所有像素點(diǎn)構(gòu)成“前景”圖像，而所述輪廓以外的所有像素點(diǎn)構(gòu)成“背景”圖像。
[0076]步驟103、根據(jù)所述前景圖像的輪廓，對(duì)所述視頻圖像幀中所述前景圖像的輪廓以內(nèi)的視頻圖像像素點(diǎn)進(jìn)行第一編碼，對(duì)所述視頻圖像幀中所述輪廓以外的視頻圖像像素點(diǎn)進(jìn)行第二編碼，獲得所述視頻圖像幀對(duì)應(yīng)的編碼數(shù)據(jù)，其中，所述第一編碼的編碼速率高于所述第二編碼的編碼速率。
[0077]該步驟中，利用所述前景圖像的輪廓對(duì)所述視頻圖像巾貞進(jìn)行001 (^6^1011 0？1社61~60，感興趣區(qū))編碼，對(duì)所述視頻圖像幀中前景圖像的輪廓以內(nèi)以及輪廓以外的視頻圖像像素點(diǎn)采用不同的編碼方式進(jìn)行編碼，包括:對(duì)所述視頻圖像中前景圖像的輪廓以內(nèi)的“前景”圖像采用較高編碼速率的編碼方式，對(duì)所述視頻圖像中前景圖像的輪廓以外的“背景”圖像采用較低編碼速率的編碼方式。通過該編碼方式，能夠減少編碼過程中比特?cái)?shù)的利用率，降低視頻圖像傳輸過程中對(duì)網(wǎng)絡(luò)帶寬的占用率，并增強(qiáng)“前景”圖像的圖像質(zhì)量。
[0078]步驟104、輸出所述視頻圖像幀對(duì)應(yīng)的編碼數(shù)據(jù)以及所述前景圖像的輪廓對(duì)應(yīng)的深度數(shù)據(jù)。
[0079]該步驟中，將所述視頻圖像幀對(duì)應(yīng)的編碼數(shù)據(jù)以及所述輪廓對(duì)應(yīng)的深度數(shù)據(jù)一并輸出，從而，接收端可以根據(jù)所述前景圖像的輪廓對(duì)應(yīng)的深度數(shù)據(jù)，獲得分割所述視頻圖像幀中“前景”圖像和“背景”圖像的輪廓，進(jìn)而根據(jù)該前景圖像的輪廓，從解碼之后的視頻圖像幀中獲得該視頻圖像幀中的“前景”圖像。
[0080]由于只傳輸所述前景圖像的輪廓對(duì)應(yīng)的像素點(diǎn)的深度數(shù)據(jù)，并非傳輸深度圖像中所有像素點(diǎn)對(duì)應(yīng)的深度數(shù)據(jù)，可以進(jìn)一步降低視頻圖像傳輸過程中對(duì)網(wǎng)絡(luò)帶寬的占用率。
[0081]本發(fā)明實(shí)施例中，通過分割視頻圖像幀得到所述視頻圖像幀中前景圖像的輪廓，根據(jù)所述前景圖像的輪廓，可以區(qū)分出所述視頻圖像幀中的“前景”圖像和“背景”圖像，進(jìn)而，對(duì)“前景”圖像和“背景”圖像分別包括的視頻圖像像素點(diǎn)進(jìn)行不同方式的編碼處理，即:對(duì)所述輪廓以內(nèi)的“前景”圖像采用較高編碼速率的編碼方式，對(duì)所述輪廓以外的“背景”圖像采用較低編碼速率的編碼方式。通過該編碼方式，能夠減少編碼過程中比特?cái)?shù)的利用率，降低視頻圖像幀傳輸過程中對(duì)網(wǎng)絡(luò)帶寬的占用率，并增強(qiáng)“前景”圖像的圖像質(zhì)量。此外，由于只傳輸所述輪廓對(duì)應(yīng)的像素點(diǎn)的深度數(shù)據(jù)，并非傳輸深度圖像中所有像素點(diǎn)對(duì)應(yīng)的深度數(shù)據(jù)，可以進(jìn)一步降低視頻圖像傳輸過程中對(duì)網(wǎng)絡(luò)帶寬的占用率。
[0082]為了便于對(duì)本發(fā)明技術(shù)方案的理解，下面通過【具體實(shí)施方式】，對(duì)本發(fā)明技術(shù)方案進(jìn)行詳細(xì)說(shuō)明。
[0083]具體實(shí)施時(shí)，上述步驟101中利用所述深度圖像對(duì)同一時(shí)刻的所述視頻圖像對(duì)應(yīng)的視頻圖像幀進(jìn)行分割，得到所述視頻圖像幀中前景圖像的輪廓，該步驟的具體實(shí)現(xiàn)方式如圖2所示，具體可以包括以下執(zhí)行步驟:
[0084]步驟201、將所述視頻圖像幀的深度圖像與視頻圖像進(jìn)行像素對(duì)齊；
[0085]該步驟中，將同一時(shí)刻深度攝像頭采集到的深度圖像和彩色攝像頭采集到的彩色圖像進(jìn)行像素對(duì)齊。
[0086]具體地，當(dāng)彩色圖像的分辨率高于深度信息圖像的分辨率時(shí)，則將彩色圖像的分辨率下采樣到深度信息圖像的分辨率；當(dāng)彩色圖像的分辨率低于深度信息圖像的分辨率時(shí)，則將彩色圖像的分辨率上采樣到深度信息圖像的分辨率；當(dāng)彩色圖像的分辨率等于深度信息圖像的分辨率時(shí)，則不用進(jìn)行處理。
[0087]步驟202、計(jì)算所述深度圖像上每個(gè)像素點(diǎn)與各個(gè)相鄰像素點(diǎn)的深度差值，確定像素點(diǎn)中與所有所述相鄰像素點(diǎn)的深度差值的方差大于預(yù)設(shè)閾值的像素點(diǎn)為分割點(diǎn)；
[0088]該步驟中，計(jì)算所述深度圖像上每個(gè)像素點(diǎn)與各個(gè)相鄰像素點(diǎn)的深度差值，通常為計(jì)算深度圖像上每個(gè)像素點(diǎn)與鄰近8個(gè)像素點(diǎn)深度值之差。深度圖像上的每一個(gè)像素的值實(shí)際上就是該空間點(diǎn)的投影坐標(biāo)，即表示該空間點(diǎn)到深度傳感器所在的平面的距離2，單位是皿。通過計(jì)算這種深度差值，可以提取出深度圖像上的不連續(xù)點(diǎn)，即分割點(diǎn)。
[0089]對(duì)應(yīng)某一個(gè)像素點(diǎn)，在計(jì)算出的八個(gè)深度差值中，當(dāng)其中的一個(gè)或多個(gè)深度差值與其它剩余的深度差值有明顯的差異時(shí)，即該八個(gè)深度差值的方差大于一定的預(yù)設(shè)閾值時(shí)，即可以確定該像素點(diǎn)為分割點(diǎn)。
[0090]步驟203、遍歷所述深度圖像上全部像素點(diǎn)，確定出所有分割點(diǎn)；
[0091]該步驟中，依次對(duì)所述深度圖像上的每個(gè)像素點(diǎn)進(jìn)行上述與相鄰像素點(diǎn)的深度差值計(jì)算，從而確定出所有的分割點(diǎn)。
[0092]步驟204、根據(jù)所述所有分割點(diǎn)，得出所述視頻圖像中前景圖像的輪廓。
[0093]該步驟中，當(dāng)確定出所有分割點(diǎn)，所有分割點(diǎn)連接起來(lái)之后，即可構(gòu)成區(qū)分所述視頻圖像中“前景”圖像和“背景”圖像的輪廓。
[0094]本發(fā)明實(shí)施例中，在向接收端傳輸視頻圖像幀的過程中，還需要傳輸所述輪廓對(duì)應(yīng)的深度數(shù)據(jù)。對(duì)于輸出所述輪廓對(duì)應(yīng)的深度數(shù)據(jù)，本發(fā)明實(shí)施例提供了如下兩種處理方法:
[0095](1)根據(jù)所述輪廓，將所述深度圖像簡(jiǎn)化為二值圖像；將所述二值圖像進(jìn)行編碼處理，輸出所述二值圖像對(duì)應(yīng)的編碼數(shù)據(jù)。
[0096]該方式下，將所述輪廓以內(nèi)的所有像素點(diǎn)的值設(shè)置為0，將所述輪廓以外的所有像素點(diǎn)的值都設(shè)置為1。
[0097]輸出時(shí)，對(duì)簡(jiǎn)化為二值圖像的深度圖像進(jìn)行編碼處理，進(jìn)而，將該二值圖像和彩色圖像分別經(jīng)編碼處理后的碼流輸出，通過傳輸網(wǎng)絡(luò)傳輸至觀看該視頻圖像的接收端。
[0098]此外，對(duì)二值圖像進(jìn)行編碼時(shí)可以應(yīng)用181(?編碼器。
[0099](2)獲取所述所有分割點(diǎn)中每一個(gè)分割點(diǎn)的坐標(biāo)信息；將全部所述坐標(biāo)信息進(jìn)行壓縮處理，輸出所述壓縮處理得到的全部所述坐標(biāo)信息對(duì)應(yīng)的壓縮數(shù)據(jù)。
[0100]該方式下，獲取所有分割點(diǎn)的坐標(biāo)信息，包括分割點(diǎn)對(duì)應(yīng)像素點(diǎn)的空間坐標(biāo)或者矢量坐標(biāo)，空間坐標(biāo)例如“X，7)坐標(biāo)。然后，將所有分割點(diǎn)的坐標(biāo)信息集中在一起，例如:表示為一個(gè)數(shù)據(jù)集。將該包含所有分割點(diǎn)坐標(biāo)信息的數(shù)據(jù)集進(jìn)行壓縮，通過傳輸網(wǎng)絡(luò)傳輸至觀看該視頻圖像的接收端。
[0101]上述實(shí)施例主要描述了圖像處理過程中圖像發(fā)送側(cè)的圖像處理方法。相應(yīng)地，本發(fā)明還提供了一種圖像處理方法，主要針對(duì)圖像處理過程中圖像接收側(cè)的圖像處理方法。
[0102]參見圖3，為本發(fā)明提供的一個(gè)圖像處理方法實(shí)施例的流程，具體可以包括:
[0103]步驟301、接收視頻圖像幀的編碼數(shù)據(jù)以及所述視頻圖像幀中前景圖像的輪廓對(duì)應(yīng)的深度數(shù)據(jù)，所述視頻圖像幀中，根據(jù)所述前景圖像的輪廓，對(duì)所述前景圖像的輪廓以內(nèi)的視頻圖像像素點(diǎn)進(jìn)行第一編碼，對(duì)所述輪廓以外的視頻圖像像素點(diǎn)進(jìn)行第二編碼，獲得所述視頻圖像幀對(duì)應(yīng)的編碼數(shù)據(jù)，其中，所述第一編碼的編碼速率高于所述第二編碼的編碼速率。
[0104]該步驟中，接收側(cè)接收到圖像發(fā)送側(cè)發(fā)送的視頻圖像幀對(duì)應(yīng)的編碼數(shù)據(jù)以及所述視頻圖像幀中前景圖像的輪廓對(duì)應(yīng)的深度數(shù)據(jù)。視頻圖像發(fā)送側(cè)已經(jīng)通過圖像分割，得到所述視頻圖像幀中前景圖像的輪廓，并通過該輪廓，分離出視頻圖像幀中的“前景”和“背景”，所述視頻圖像幀中，所述輪廓以內(nèi)的所有像素點(diǎn)構(gòu)成“前景”圖像，而所述輪廓以外的所有像素點(diǎn)構(gòu)成“背景”圖像。
[0105]此外，接收側(cè)接收到視頻圖像幀對(duì)應(yīng)的編碼數(shù)據(jù)中，已由視頻圖像發(fā)送側(cè)對(duì)所述視頻圖像幀中前景圖像的輪廓以內(nèi)的“前景”圖像采用較高編碼速率的編碼方式，對(duì)所述視頻圖像幀中前景圖像的輪廓以外的“背景”圖像采用較低編碼速率的編碼方式。通過該編碼方式，能夠減少編碼過程中比特?cái)?shù)的利用率，降低視頻圖像傳輸過程中對(duì)網(wǎng)絡(luò)帶寬的占用率，并增強(qiáng)“前景”圖像的圖像質(zhì)量。
[0106]步驟302、根據(jù)所述深度數(shù)據(jù)，對(duì)所述視頻圖像幀進(jìn)行分割，得到所述視頻圖像幀中的前景圖像。
[0107]該步驟中，接收側(cè)可以對(duì)接收到的編碼數(shù)據(jù)進(jìn)行解碼，獲得發(fā)送側(cè)采集到的視頻圖像，根據(jù)接收到的深度數(shù)據(jù)，可以對(duì)接收到的視頻圖像進(jìn)行分割，進(jìn)而獲得接收到的視頻圖像中的前景圖像。這部分前景圖像通常是視頻用戶較為關(guān)注的圖像部分。
[0108]步驟303、播放所述前景圖像。
[0109]該步驟中，當(dāng)分割出視頻圖像中的前景圖像之后，即可以進(jìn)行所述前景圖像的播放。由于接收到的視頻圖像中除所述前景圖像之外的背景圖像往往不被用戶關(guān)注，可以不進(jìn)行這部分背景圖像的播放。
[0110]例如:一般視頻會(huì)議中，與當(dāng)前系統(tǒng)用戶一起交談的其他人都是該用戶所關(guān)心的，因此，這些人的圖像即為“前景”;除去這些人之外的該用戶并不關(guān)注的圖像即為“背景”。通過本發(fā)明實(shí)施例，在視頻接收側(cè)，可以只播放用戶較為關(guān)注的與當(dāng)前系統(tǒng)用戶一起交談的人的圖像，而不播放除去這些人之外的該用戶并不關(guān)注的“背景”圖像。
[0111]對(duì)于浸入式會(huì)議系統(tǒng)，在進(jìn)行所述前景圖像播放時(shí)，可以將所述前景圖像設(shè)置于視頻會(huì)議系統(tǒng)中會(huì)議界面的回放窗口上進(jìn)行播放。
[0112]本發(fā)明實(shí)施例中，由于視頻圖像發(fā)送側(cè)通過分割視頻圖像幀得到所述視頻圖像幀中前景圖像的輪廓，根據(jù)所述前景圖像的輪廓，可以區(qū)分出所述視頻圖像幀中的“前景”圖像和“背景”圖像，進(jìn)而，對(duì)“前景”圖像和“背景”圖像分別包括的視頻圖像像素點(diǎn)進(jìn)行不同方式的編碼處理，即:對(duì)所述輪廓以內(nèi)的“前景”圖像采用較高編碼速率的編碼方式，對(duì)所述輪廓以外的“背景”圖像采用較低編碼速率的編碼方式。通過該編碼方式，能夠減少編碼過程中比特?cái)?shù)的利用率，降低視頻圖像幀傳輸過程中對(duì)網(wǎng)絡(luò)帶寬的占用率，并增強(qiáng)“前景”圖像的圖像質(zhì)量。此外，由于只傳輸所述輪廓對(duì)應(yīng)的像素點(diǎn)的深度數(shù)據(jù)，并非傳輸深度圖像中所有像素點(diǎn)對(duì)應(yīng)的深度數(shù)據(jù)，可以進(jìn)一步降低視頻圖像傳輸過程中對(duì)網(wǎng)絡(luò)帶寬的占用率。
[0113]由于接收到的視頻圖像中除所述前景圖像之外的背景圖像往往不被用戶關(guān)注，為了提升用戶參加視頻會(huì)議時(shí)浸入式的體驗(yàn)，可以不進(jìn)行這部分背景圖像的播放，而是在播放所述前景圖像的同時(shí)，播放預(yù)置的背景圖像或圖片，將所述背景圖像或圖片作為作數(shù)前景圖像的背景。例如:在浸入式會(huì)議系統(tǒng)的會(huì)議界面上，與當(dāng)前系統(tǒng)用戶一起交談的對(duì)方用戶的人像通常為“前景”圖像，在播放這部分“前景”圖像時(shí)，可以播放預(yù)置的背景圖像或圖片，將該預(yù)置的背景圖像或圖片作為會(huì)議界面的“背景”圖像，與會(huì)議界面上顯示的對(duì)方用戶的人像共同進(jìn)行播放。
[0114]與本發(fā)明提供的圖像處理方法實(shí)施例相對(duì)應(yīng)，本發(fā)明還提供了一種圖像處理設(shè)備。
[0115]如圖4所示，為本發(fā)明提供的一種圖像處理設(shè)備的實(shí)施例，該設(shè)備具體可以包括:
[0116]采集模塊401，用于采集物體的視頻圖像和深度圖像；
[0117]輪廓分割模塊402，用于利用所述深度圖像對(duì)同一時(shí)刻的所述視頻圖像對(duì)應(yīng)的視頻圖像幀進(jìn)行分割，得到所述視頻圖像幀中前景圖像的輪廓；
[0118]視頻編碼模塊403，用于根據(jù)所述前景圖像的輪廓，對(duì)所述視頻圖像幀中所述前景圖像的輪廓以內(nèi)的視頻圖像像素點(diǎn)進(jìn)行第一編碼，對(duì)所述視頻圖像幀中所述輪廓以外的視頻圖像像素點(diǎn)進(jìn)行第二編碼，獲得所述視頻圖像幀對(duì)應(yīng)的編碼數(shù)據(jù)，其中，所述第一編碼的編碼速率高于所述第二編碼的編碼速率；
[0119]第一輸出模塊404，用于輸出所述視頻圖像幀對(duì)應(yīng)的編碼數(shù)據(jù)；
[0120]第二輸出模塊405，用于所述前景圖像的輪廓對(duì)應(yīng)的深度數(shù)據(jù)
[0121]本發(fā)明實(shí)施例中，通過采集模塊，采集物體的視頻圖像和深度圖像，通過圖像處理設(shè)備中的輪廓分割模塊，分割視頻圖像幀得到所述視頻圖像幀中前景圖像的輪廓，根據(jù)所述輪廓，可以區(qū)分出所述視頻圖像幀中的“前景”圖像和“背景”圖像，進(jìn)而，通過視頻編碼模塊，對(duì)“前景”圖像和“背景”圖像分別包括的視頻圖像像素點(diǎn)進(jìn)行不同方式的編碼處理，即:對(duì)所述輪廓以內(nèi)的“前景”圖像采用較高編碼速率的編碼方式，對(duì)所述輪廓以外的“背景”圖像采用較低編碼速率的編碼方式。通過該編碼方式，能夠減少編碼過程中比特?cái)?shù)的利用率，降低視頻圖像傳輸過程中對(duì)網(wǎng)絡(luò)帶寬的占用率，并增強(qiáng)“前景”圖像的圖像質(zhì)量。此外，由于只傳輸所述輪廓對(duì)應(yīng)的像素點(diǎn)的深度數(shù)據(jù)，并非傳輸深度圖像中所有像素點(diǎn)對(duì)應(yīng)的深度數(shù)據(jù)，可以進(jìn)一步降低視頻圖像傳輸過程中對(duì)網(wǎng)絡(luò)帶寬的占用率。
[0122]在本發(fā)明提供的一個(gè)可行的實(shí)施例中，如圖5所示，所述輪廓分割模塊402，具體可以包括:
[0123]像素對(duì)齊單元501，用于將所述視頻圖像幀的深度圖像與視頻圖像進(jìn)行像素對(duì)齊；
[0124]深度差值計(jì)算單元502，計(jì)算所述深度圖像上每個(gè)像素點(diǎn)與各個(gè)相鄰像素點(diǎn)的深度差值，確定像素點(diǎn)中與所有所述相鄰像素點(diǎn)的深度差值的方差大于預(yù)設(shè)閾值的像素點(diǎn)為分割點(diǎn)；
[0125]分割點(diǎn)確定單元503，用于遍歷所述深度圖像上全部像素點(diǎn)，確定出所有分割點(diǎn)；
[0126]輪廓獲取單元504，用于根據(jù)所述所有分割點(diǎn)，得出所述視頻圖像中前景圖像的輪廓。
[0127]在本發(fā)明提供的一個(gè)可行的實(shí)施例中，如圖6所示，所述第二輸出模塊405，具體可以包括:
[0128]二值圖像簡(jiǎn)化單元601，用于根據(jù)所述輪廓，將所述深度圖像簡(jiǎn)化為二值圖像；
[0129]二值圖像編碼單元602，用于將所述二值圖像進(jìn)行編碼處理；
[0130]二值圖像輸出單元603，用于輸出所述二值圖像對(duì)應(yīng)的編碼數(shù)據(jù)。
[0131〕 該實(shí)現(xiàn)方式下，將所述輪廓以內(nèi)的所有像素點(diǎn)的值設(shè)置為0，將所述輪廓以外的所有像素點(diǎn)的值都設(shè)置為1。輸出時(shí)，對(duì)簡(jiǎn)化為二值圖像的深度圖像進(jìn)行編碼處理，進(jìn)而，將該二值圖像和彩色圖像分別經(jīng)編碼處理后的碼流輸出，通過傳輸網(wǎng)絡(luò)傳輸至觀看該視頻圖像的接收端。
[0132]在本發(fā)明提供的另一個(gè)可行的實(shí)施例中，如圖7所示，所述第二輸出模塊405，具體可以包括:
[0133]坐標(biāo)獲取單元701，用于獲取所述所有分割點(diǎn)中每一個(gè)分割點(diǎn)的坐標(biāo)信息；
[0134]壓縮單元702，用于將全部所述坐標(biāo)信息進(jìn)行壓縮處理；
[0135]坐標(biāo)輸出單元703，用于輸出所述壓縮處理得到的全部所述坐標(biāo)信息對(duì)應(yīng)的壓縮數(shù)據(jù)。
[0136]該實(shí)現(xiàn)方式下，獲取所有分割點(diǎn)的坐標(biāo)信息，包括分割點(diǎn)對(duì)應(yīng)像素點(diǎn)的空間坐標(biāo)或者矢量坐標(biāo)，空間例如“X，7)坐標(biāo)。然后，將所有分割點(diǎn)的坐標(biāo)信息集中在一起，例如:表示為一個(gè)數(shù)據(jù)集。將該包含所有分割點(diǎn)坐標(biāo)信息的數(shù)據(jù)集進(jìn)行壓縮，通過傳輸網(wǎng)絡(luò)傳輸至觀看該視頻圖像的接收端。
[0137]上述圖像處理設(shè)備為圖像處理過程中圖像發(fā)送側(cè)的相應(yīng)設(shè)備，本發(fā)明實(shí)施例中，提供了一種圖像處理設(shè)備，為圖像處理過程中圖像接收側(cè)的相應(yīng)設(shè)備。
[0138]如圖8所示，為本發(fā)明提供的一種圖像處理設(shè)備的實(shí)施例，該設(shè)備具體可以包括:
[0139]接收模塊801，用于接收視頻圖像幀的編碼數(shù)據(jù)以及所述視頻圖像幀中前景圖像的輪廓對(duì)應(yīng)的深度數(shù)據(jù)，所述視頻圖像幀中，根據(jù)所述前景圖像的輪廓，對(duì)所述前景圖像的輪廓以內(nèi)的視頻圖像像素點(diǎn)進(jìn)行第一編碼，對(duì)所述輪廓以外的視頻圖像像素點(diǎn)進(jìn)行第二編碼，獲得所述視頻圖像幀對(duì)應(yīng)的編碼數(shù)據(jù)，其中，所述第一編碼的編碼速率高于所述第二編碼的編碼速率；
[0140]前景圖像分割模塊802，用于對(duì)所述視頻圖像幀進(jìn)行分割，得到所述視頻圖像幀中的前景圖像；
[0141]前景播放模塊803，用于播放所述前景圖像。
[0142]本發(fā)明實(shí)施例中，由于視頻圖像發(fā)送側(cè)通過分割視頻圖像幀得到所述視頻圖像幀中前景圖像的輪廓，根據(jù)所述前景圖像的輪廓，可以區(qū)分出所述視頻圖像幀中的“前景”圖像和“背景”圖像，進(jìn)而，對(duì)“前景”圖像和“背景”圖像分別包括的視頻圖像像素點(diǎn)進(jìn)行不同方式的編碼處理，即:對(duì)所述輪廓以內(nèi)的“前景”圖像采用較高編碼速率的編碼方式，對(duì)所述輪廓以外的“背景”圖像采用較低編碼速率的編碼方式。通過該編碼方式，能夠減少編碼過程中比特?cái)?shù)的利用率，降低視頻圖像幀傳輸過程中對(duì)網(wǎng)絡(luò)帶寬的占用率，并增強(qiáng)“前景”圖像的圖像質(zhì)量。此外，由于只傳輸所述輪廓對(duì)應(yīng)的像素點(diǎn)的深度數(shù)據(jù)，并非傳輸深度圖像中所有像素點(diǎn)對(duì)應(yīng)的深度數(shù)據(jù)，可以進(jìn)一步降低視頻圖像傳輸過程中對(duì)網(wǎng)絡(luò)帶寬的占用率。
[0143]在本發(fā)明提供的另一個(gè)實(shí)施例中，如圖9所示，所述圖像處理設(shè)備還可以包括:
[0144]背景播放模塊804，用于在播放所述前景圖像的同時(shí)，播放預(yù)置的背景圖像或圖片，將所述背景圖像或圖片作為作數(shù)前景圖像的背景。
[0145]由于接收到的視頻圖像中除所述前景圖像之外的背景圖像往往不被用戶關(guān)注，為了提升用戶參加視頻會(huì)議時(shí)浸入式的體驗(yàn)，本發(fā)明實(shí)施例中，可以不進(jìn)行這部分背景圖像的播放，而是在播放所述前景圖像的同時(shí)，播放預(yù)置的背景圖像或圖片，將所述背景圖像或圖片作為作數(shù)前景圖像的背景。
[0146]相應(yīng)地，本發(fā)明還提供了一種圖像處理系統(tǒng)。該系統(tǒng)具體可以包括:圖像發(fā)送設(shè)備和圖像接收設(shè)備，其中，
[0147]所述圖像發(fā)送設(shè)備，用于采集物體的視頻圖像和深度圖像；利用所述深度圖像對(duì)同一時(shí)刻的所述視頻圖像對(duì)應(yīng)的視頻圖像幀進(jìn)行分割，得到所述視頻圖像幀中前景圖像的輪廓；根據(jù)所述前景圖像的輪廓，對(duì)所述視頻圖像幀中所述前景圖像的輪廓以內(nèi)的視頻圖像像素點(diǎn)進(jìn)行第一編碼，對(duì)所述視頻圖像幀中所述輪廓以外的視頻圖像像素點(diǎn)進(jìn)行第二編碼，獲得所述視頻圖像幀對(duì)應(yīng)的編碼數(shù)據(jù)，其中，所述第一編碼的編碼速率高于所述第二編碼的編碼速率；輸出所述視頻圖像幀對(duì)應(yīng)的編碼數(shù)據(jù)以及所述前景圖像的輪廓對(duì)應(yīng)的深度數(shù)據(jù)；
[0148]所述圖像接收設(shè)備，用于接收視頻圖像幀的編碼數(shù)據(jù)以及所述視頻圖像幀中前景圖像的輪廓對(duì)應(yīng)的深度數(shù)據(jù)，根據(jù)所述深度數(shù)據(jù)，對(duì)所述視頻圖像幀進(jìn)行分割，得到所述視頻圖像幀中的前景圖像；播放所述前景圖像。
[0149]上述系統(tǒng)實(shí)施例中，在圖像發(fā)送設(shè)備一側(cè)，通過分割視頻圖像幀得到所述視頻圖像幀中前景圖像的輪廓，根據(jù)所述前景圖像的輪廓，可以區(qū)分出所述視頻圖像幀中的“前景”圖像和“背景”圖像，進(jìn)而，對(duì)“前景”圖像和“背景”圖像分別包括的視頻圖像像素點(diǎn)進(jìn)行不同方式的編碼處理，即:對(duì)所述輪廓以內(nèi)的“前景”圖像采用較高編碼速率的編碼方式，對(duì)所述輪廓以外的“背景”圖像采用較低編碼速率的編碼方式。通過該編碼方式，能夠減少編碼過程中比特?cái)?shù)的利用率，降低視頻圖像幀傳輸過程中對(duì)網(wǎng)絡(luò)帶寬的占用率，并增強(qiáng)“前景”圖像的圖像質(zhì)量。此外，由于只傳輸所述輪廓對(duì)應(yīng)的像素點(diǎn)的深度數(shù)據(jù)，并非傳輸深度圖像中所有像素點(diǎn)對(duì)應(yīng)的深度數(shù)據(jù)，可以進(jìn)一步降低視頻圖像傳輸過程中對(duì)網(wǎng)絡(luò)帶寬的占用率。
[0150]此外，上述系統(tǒng)中，圖像發(fā)送設(shè)備還可以執(zhí)行圖2所示的執(zhí)行流程以及前述兩種輸出所述輪廓對(duì)應(yīng)的深度數(shù)據(jù)的處理方法；圖像接收設(shè)備還可以執(zhí)行圖3所示的執(zhí)行流程，并能夠在播放所述前景圖像的同時(shí)，播放預(yù)置的背景圖像或圖片，將所述背景圖像或圖片作為作數(shù)前景圖像的背景。
[0151〕 下面通過一個(gè)具體應(yīng)用場(chǎng)景，對(duì)上述技術(shù)方案進(jìn)行解釋說(shuō)明。
[0152]如圖10所述的應(yīng)用場(chǎng)景中，圖像發(fā)送設(shè)備3側(cè)的深度攝像頭1001用于捕獲用戶與攝像頭的距離的深度圖像，彩色攝像頭1002用于捕獲用戶的彩色視頻圖像，獲得當(dāng)前視頻圖像的視頻圖像幀；通過輪廓分割模塊1003，利用所述深度圖像對(duì)該視頻圖像幀進(jìn)行分害11，得到所述視頻圖像幀中前景圖像的輪廓；根據(jù)所述輪廓，將所述深度圖像簡(jiǎn)化為二值圖像，將所述二值圖像利用181(?編碼器1004進(jìn)行編碼處理，同時(shí)，通過基于如1編碼的視頻編碼器1005實(shí)現(xiàn)利用所述前景圖像的輪廓對(duì)所述視頻圖像幀進(jìn)行如1編碼；兩種編碼數(shù)據(jù)通過網(wǎng)絡(luò)1006傳輸至圖像接收設(shè)備6側(cè)的181(?解碼器1007和如1解碼器1008 ；通過18162解碼器獲得所述視頻圖像幀中前景圖像的輪廓，進(jìn)而，通過前景圖像分割模塊1009，將視頻圖像幀中的前景圖像單獨(dú)分割出來(lái)；進(jìn)一步，可以通過背景播放模塊1010，實(shí)現(xiàn)在播放所述前景圖像的同時(shí)，播放預(yù)置的背景圖像或圖片，將預(yù)置的背景圖像或圖片作為作數(shù)前景圖像的背景。
[0153]本領(lǐng)域普通技術(shù)人員可以意識(shí)到，結(jié)合本文中所公開的實(shí)施例描述的各示例的單元及算法步驟，能夠以電子硬件、或者計(jì)算機(jī)軟件和電子硬件的結(jié)合來(lái)實(shí)現(xiàn)。這些功能究竟以硬件還是軟件方式來(lái)執(zhí)行，取決于技術(shù)方案的特定應(yīng)用和設(shè)計(jì)約束條件。專業(yè)技術(shù)人員可以對(duì)每個(gè)特定的應(yīng)用來(lái)使用不同方法來(lái)實(shí)現(xiàn)所描述的功能，但是這種實(shí)現(xiàn)不應(yīng)認(rèn)為超出本發(fā)明的范圍。
[0154]所屬領(lǐng)域的技術(shù)人員可以清楚地了解到，為描述的方便和簡(jiǎn)潔，上述描述的系統(tǒng)、設(shè)備和單元的具體工作過程，可以參考前述方法實(shí)施例中的對(duì)應(yīng)過程，在此不再贅述。
[0155]在本申請(qǐng)所提供的幾個(gè)實(shí)施例中，應(yīng)該理解到，所揭露的系統(tǒng)、設(shè)備和方法，可以通過其它的方式實(shí)現(xiàn)。例如，以上所描述的設(shè)備實(shí)施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實(shí)際實(shí)現(xiàn)時(shí)可以有另外的劃分方式，例如多個(gè)單元或組件可以結(jié)合或者可以集成到另一個(gè)系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另一點(diǎn)，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口，設(shè)備或單元的間接耦合或通信連接，可以是電性，機(jī)械或其它的形式。
[0156]所述作為分離部件說(shuō)明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個(gè)地方，或者也可以分布到多個(gè)網(wǎng)絡(luò)單元上。可以根據(jù)實(shí)際的需要選擇其中的部分或者全部單元來(lái)實(shí)現(xiàn)本實(shí)施例方案的目的。
[0157]另外，在本發(fā)明各個(gè)實(shí)施例中的各功能單元可以集成在一個(gè)處理單元中，也可以是各個(gè)單元單獨(dú)物理存在，也可以兩個(gè)或兩個(gè)以上單元集成在一個(gè)單元中。
[0158]所述功能如果以軟件功能單元的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷售或使用時(shí)，可以存儲(chǔ)在一個(gè)計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中。基于這樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說(shuō)對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分或者該技術(shù)方案的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來(lái)，該計(jì)算機(jī)軟件產(chǎn)品存儲(chǔ)在一個(gè)存儲(chǔ)介質(zhì)中，包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)或處理器㈧抓⑶88010執(zhí)行本發(fā)明各個(gè)實(shí)施例所述方法的全部或部分步驟。而前述的存儲(chǔ)介質(zhì)包括山盤、移動(dòng)硬盤、只讀存儲(chǔ)器1^68(1-01117此膨^^^隨機(jī)存取存儲(chǔ)器^狀^^尺冊(cè)己。!!！ ^00688 1611101*7)、磁碟或者光盤等各種可以存儲(chǔ)程序代碼的介質(zhì)。
[0159]以上所述，僅為本發(fā)明的【具體實(shí)施方式】，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本【技術(shù)領(lǐng)域】的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到變化或替換，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)所述以權(quán)利要求的保護(hù)范圍為準(zhǔn)。
【權(quán)利要求】
1.一種圖像處理方法，其特征在于，包括: 采集物體的視頻圖像和深度圖像； 利用所述深度圖像對(duì)同一時(shí)刻的所述視頻圖像對(duì)應(yīng)的視頻圖像幀進(jìn)行分割，得到所述視頻圖像幀中前景圖像的輪廓； 根據(jù)所述前景圖像的輪廓，對(duì)所述視頻圖像幀中所述前景圖像的輪廓以內(nèi)的視頻圖像像素點(diǎn)進(jìn)行第一編碼，對(duì)所述視頻圖像幀中所述輪廓以外的視頻圖像像素點(diǎn)進(jìn)行第二編碼，獲得所述視頻圖像幀對(duì)應(yīng)的編碼數(shù)據(jù)，其中，所述第一編碼的編碼速率高于所述第二編碼的編碼速率； 輸出所述視頻圖像幀對(duì)應(yīng)的編碼數(shù)據(jù)以及所述前景圖像的輪廓對(duì)應(yīng)的深度數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述利用所述深度圖像對(duì)同一時(shí)刻的所述視頻圖像對(duì)應(yīng)的視頻圖像幀進(jìn)行分割，得到所述視頻圖像幀中前景圖像的輪廓，包括: 將所述視頻圖像幀的深度圖像與視頻圖像進(jìn)行像素對(duì)齊； 計(jì)算所述深度圖像上每個(gè)像素點(diǎn)與各個(gè)相鄰像素點(diǎn)的深度差值，確定像素點(diǎn)中與所有所述相鄰像素點(diǎn)的深度差值的方差大于預(yù)設(shè)閾值的像素點(diǎn)為分割點(diǎn)； 遍歷所述深度圖像上全部像素點(diǎn)，確定出所有分割點(diǎn)； 根據(jù)所述所有分割點(diǎn)，得出所述視頻圖像中前景圖像的輪廓。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述輸出所述輪廓對(duì)應(yīng)的深度數(shù)據(jù)，包括: 根據(jù)所述輪廓，將所述深度圖像簡(jiǎn)化為二值圖像； 將所述二值圖像進(jìn)行編碼處理，輸出所述二值圖像對(duì)應(yīng)的編碼數(shù)據(jù)。
4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述輸出所述前景圖像的輪廓對(duì)應(yīng)的深度數(shù)據(jù)，包括: 獲取所述所有分割點(diǎn)中每一個(gè)分割點(diǎn)的坐標(biāo)信息； 將全部所述坐標(biāo)信息進(jìn)行壓縮處理，輸出所述壓縮處理得到的全部所述坐標(biāo)信息對(duì)應(yīng)的壓縮數(shù)據(jù)。
5.一種圖像處理方法，其特征在于，包括: 接收視頻圖像幀的編碼數(shù)據(jù)以及所述視頻圖像幀中前景圖像的輪廓對(duì)應(yīng)的深度數(shù)據(jù)，所述視頻圖像幀中，根據(jù)所述前景圖像的輪廓，對(duì)所述前景圖像的輪廓以內(nèi)的視頻圖像像素點(diǎn)進(jìn)行第一編碼，對(duì)所述輪廓以外的視頻圖像像素點(diǎn)進(jìn)行第二編碼，獲得所述視頻圖像幀對(duì)應(yīng)的編碼數(shù)據(jù)，其中，所述第一編碼的編碼速率高于所述第二編碼的編碼速率； 根據(jù)所述深度數(shù)據(jù)，對(duì)所述視頻圖像幀進(jìn)行分割，得到所述視頻圖像幀中的前景圖像； 播放所述前景圖像。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，還包括: 在播放所述前景圖像的同時(shí)，播放預(yù)置的背景圖像或圖片，將所述背景圖像或圖片作為作數(shù)前景圖像的背景。
7.一種圖像處理設(shè)備，其特征在于，包括: 采集模塊，用于采集物體的視頻圖像和深度圖像； 輪廓分割模塊，用于利用所述深度圖像對(duì)同一時(shí)刻的所述視頻圖像對(duì)應(yīng)的視頻圖像幀進(jìn)行分割，得到所述視頻圖像幀中前景圖像的輪廓； 視頻編碼模塊，用于根據(jù)所述前景圖像的輪廓，對(duì)所述視頻圖像幀中所述前景圖像的輪廓以內(nèi)的視頻圖像像素點(diǎn)進(jìn)行第一編碼，對(duì)所述視頻圖像幀中所述輪廓以外的視頻圖像像素點(diǎn)進(jìn)行第二編碼，獲得所述視頻圖像幀對(duì)應(yīng)的編碼數(shù)據(jù)，其中，所述第一編碼的編碼速率高于所述第二編碼的編碼速率； 第一輸出模塊，用于輸出所述視頻圖像幀對(duì)應(yīng)的編碼數(shù)據(jù)； 第二輸出模塊，用于所述前景圖像的輪廓對(duì)應(yīng)的深度數(shù)據(jù)。
8.根據(jù)權(quán)利要求7所述的設(shè)備，其特征在于，所述輪廓分割模塊，包括: 像素對(duì)齊單元，用于將所述視頻圖像幀的深度圖像與視頻圖像進(jìn)行像素對(duì)齊； 深度差值計(jì)算單元，用于計(jì)算所述深度圖像上每個(gè)像素點(diǎn)與各個(gè)相鄰像素點(diǎn)的深度差值，確定像素點(diǎn)中與所有所述相鄰像素點(diǎn)的深度差值的方差大于預(yù)設(shè)閾值的像素點(diǎn)為分割占.分割點(diǎn)確定單元，用于遍歷所述深度圖像上全部像素點(diǎn)，確定出所有分割點(diǎn)； 輪廓獲取單元，用于根據(jù)所述所有分割點(diǎn)，得出所述視頻圖像中前景圖像的輪廓。
9.根據(jù)權(quán)利要求7所述的設(shè)備，其特征在于，所述第二輸出模塊，包括: 二值圖像簡(jiǎn)化單元，用于根據(jù)所述輪廓，將所述深度圖像簡(jiǎn)化為二值圖像； 二值圖像編碼單元，用于將所述二值圖像進(jìn)行編碼處理； 二值圖像輸出單元，用于輸出所述二值圖像對(duì)應(yīng)的編碼數(shù)據(jù)。
10.根據(jù)權(quán)利要求8所述的設(shè)備，其特征在于，所述第二輸出模塊，包括: 坐標(biāo)獲取單元，用于獲取所述所有分割點(diǎn)中每一個(gè)分割點(diǎn)的坐標(biāo)信息； 壓縮單元，用于將全部所述坐標(biāo)信息進(jìn)行壓縮處理； 坐標(biāo)輸出單元，用于輸出所述壓縮處理得到的全部所述坐標(biāo)信息對(duì)應(yīng)的壓縮數(shù)據(jù)。
11.一種圖像處理設(shè)備，其特征在于，包括: 接收模塊，用于接收視頻圖像幀的編碼數(shù)據(jù)以及所述視頻圖像幀中前景圖像的輪廓對(duì)應(yīng)的深度數(shù)據(jù)，所述視頻圖像幀中，根據(jù)所述前景圖像的輪廓，對(duì)所述前景圖像的輪廓以內(nèi)的視頻圖像像素點(diǎn)進(jìn)行第一編碼，對(duì)所述輪廓以外的視頻圖像像素點(diǎn)進(jìn)行第二編碼，獲得所述視頻圖像幀對(duì)應(yīng)的編碼數(shù)據(jù)，其中，所述第一編碼的編碼速率高于所述第二編碼的編碼速率； 前景圖像分割模塊，用于根據(jù)所述深度數(shù)據(jù)，對(duì)所述視頻圖像幀進(jìn)行分割，得到所述視頻圖像幀中的前景圖像； 前景播放模塊，用于播放所述前景圖像。
12.根據(jù)權(quán)利要求11所述的設(shè)備，其特征在于，還包括: 背景播放模塊，用于在播放所述前景圖像的同時(shí)，播放預(yù)置的背景圖像或圖片，將所述背景圖像或圖片作為作數(shù)前景圖像的背景。
13.一種圖像處理系統(tǒng)，其特征在于，包括如權(quán)利要求7-10中任一項(xiàng)所述的圖像處理設(shè)備以及權(quán)利要求11-12中任一項(xiàng)所述的圖像處理設(shè)備。
【文檔編號(hào)】H04N7/15GK104427291SQ201310362321
【公開日】2015年3月18日 申請(qǐng)日期:2013年8月19日 優(yōu)先權(quán)日:2013年8月19日
【發(fā)明者】郭巖嶺, 王田, 張德軍 申請(qǐng)人:華為技術(shù)有限公司