本發(fā)明涉及多媒體互動(dòng)技術(shù)領(lǐng)域，特別是涉及一種易實(shí)現(xiàn)的體感互動(dòng)方法及系統(tǒng)。

背景技術(shù)：

體感游戲(英文：Motion Sensing Game)顧名思義：是用身體去感受的電子游戲。體感游戲突破了傳統(tǒng)游戲，單純以手柄按鍵輸入的操作方式，體感游戲是一種通過(guò)肢體動(dòng)作變化來(lái)進(jìn)行(或操作)的新型電子游戲。體感游戲流行于歐美國(guó)家，并傳入中國(guó)。2011年后的新式體感游戲能夠模擬出三維場(chǎng)景，玩家手握專用游戲手柄，通過(guò)自己身體的動(dòng)作來(lái)控制游戲中人物的動(dòng)作，能夠讓玩家“全身”投入到游戲當(dāng)中，享受到體感互動(dòng)的新體驗(yàn)。體感游戲讓用戶能在體驗(yàn)游戲刺激、快樂(lè)的同時(shí)，又能得到身體運(yùn)動(dòng)。

但目前技術(shù)中，為了實(shí)現(xiàn)體感互動(dòng)，需要配備專用的攝像頭，體感游戲所使用的攝像頭都是包含深度信息的特殊攝像頭，例如，景深攝像頭；其價(jià)格比較昂貴，購(gòu)買門(mén)檻較高，從而在一定程度上限制了體感游戲的推廣。同時(shí)，目前現(xiàn)有的特殊攝像頭(例如，景深攝像頭)均是與配套的主機(jī)綁定使用，例如，Kinect需要配合特定的平臺(tái)(Windows)和SDK才能使用；從一定程度是行限制了體感游戲的普及。

因此，有必要對(duì)現(xiàn)有的體感游戲的互動(dòng)實(shí)現(xiàn)方式進(jìn)行改進(jìn)。

技術(shù)實(shí)現(xiàn)要素：

為此，需要提供一種易實(shí)現(xiàn)的體感互動(dòng)方法及系統(tǒng)，用于降低現(xiàn)有體感互動(dòng)的實(shí)現(xiàn)成本。

為實(shí)現(xiàn)上述目的，發(fā)明人提供了一種易實(shí)現(xiàn)的體感互動(dòng)方法，包括以下 步驟：

通過(guò)攝像裝置實(shí)時(shí)獲取連續(xù)2D的第一圖像數(shù)據(jù)；

根據(jù)預(yù)設(shè)的條件，從所述第一圖像數(shù)據(jù)中提取出第一對(duì)象；

將第一對(duì)象更新至虛擬場(chǎng)景中，得到第二圖像數(shù)據(jù)，所述虛擬場(chǎng)景中包括至少一個(gè)第二對(duì)象；

判斷第一對(duì)象的輪廓與第二對(duì)象在虛擬場(chǎng)景中是否有重疊，若有，則觸發(fā)體感接觸響應(yīng)機(jī)制，并根據(jù)體感接觸響應(yīng)機(jī)制更新所述第二圖像數(shù)據(jù)。

進(jìn)一步的，所述判斷第一對(duì)象的輪廓與虛擬場(chǎng)景中的第二對(duì)象是否有重疊，包括以下步驟：

通過(guò)3D投影技術(shù)，將第一對(duì)象和第二對(duì)象投影至對(duì)應(yīng)的2D坐標(biāo)系中；

分別計(jì)算所述第一對(duì)象和第二對(duì)象在2D坐標(biāo)系中的輪廓；

判斷在2D坐標(biāo)系中，所述第一對(duì)象和第二對(duì)象是否有公共部分，若是，則第一對(duì)象和第二對(duì)象有重疊。

進(jìn)一步的，在判斷第一對(duì)象的輪廓與第二對(duì)象在虛擬場(chǎng)景中是否有重疊之前或之后，還包括步驟：

實(shí)時(shí)接收第一終端發(fā)送的互動(dòng)指令，以及根據(jù)所述互動(dòng)指令，實(shí)時(shí)更新第二對(duì)象的輪廓，和/或第二對(duì)象在虛擬場(chǎng)景中的位置。

進(jìn)一步的，判斷第一對(duì)象的輪廓與第二對(duì)象在虛擬場(chǎng)景中是否有重疊之后，還包括步驟：通過(guò)實(shí)時(shí)流傳輸協(xié)議，將所述第二圖像數(shù)據(jù)直播給局域網(wǎng)中的在線客戶端；或?qū)⑺龅诙D像數(shù)據(jù)發(fā)送給第三方網(wǎng)絡(luò)服務(wù)器；第三方網(wǎng)絡(luò)服務(wù)器生成所述第二圖像數(shù)據(jù)的互聯(lián)網(wǎng)直播鏈接。

進(jìn)一步的，在判斷第一對(duì)象的輪廓與虛擬場(chǎng)景中的第二對(duì)象是否有重疊之后，還包括步驟：

將所述第二圖像數(shù)據(jù)從虛擬場(chǎng)景的3D坐標(biāo)系投影至2D坐標(biāo)系中，并在顯示器上顯示。

進(jìn)一步的，所述第二對(duì)象為3D虛擬對(duì)象。

進(jìn)一步的，所述第一對(duì)象為人物對(duì)象，從所述第一圖像數(shù)據(jù)中提取出第一對(duì)象，包括步驟：根據(jù)人臉識(shí)別技術(shù)，識(shí)別出第一圖像數(shù)據(jù)中的人臉圖像，并提取所述人臉圖像；判斷人臉圖像與第二對(duì)象在虛擬場(chǎng)景中是否有重疊，若有，則觸發(fā)體感接觸響應(yīng)機(jī)制，并根據(jù)體感接觸響應(yīng)機(jī)制更新所述第二圖像數(shù)據(jù)。

為解決上述技術(shù)問(wèn)題，發(fā)明人提供了另一技術(shù)方案，

一種易實(shí)現(xiàn)的體感互動(dòng)系統(tǒng)，包括：

獲取模塊，用于通過(guò)攝像裝置實(shí)時(shí)獲取連續(xù)2D的第一圖像數(shù)據(jù)；

提取模塊，用于根據(jù)預(yù)設(shè)的條件，從所述第一圖像數(shù)據(jù)中提取出第一對(duì)象；

更新模塊，用于將第一對(duì)象更新至虛擬場(chǎng)景中，得到第二圖像數(shù)據(jù)，所述虛擬場(chǎng)景中包括至少一個(gè)第二對(duì)象；

判斷模塊，用于判斷第一對(duì)象的輪廓與第二對(duì)象在虛擬場(chǎng)景中是否有重疊，若有，則觸發(fā)體感接觸響應(yīng)機(jī)制，并根據(jù)體感接觸響應(yīng)機(jī)制更新所述第二圖像數(shù)據(jù)。

進(jìn)一步的，所述判斷模塊包括投影子模塊，用于通過(guò)3D投影技術(shù)，將第一對(duì)象和第二對(duì)象投影至對(duì)應(yīng)的2D坐標(biāo)系中；

分別計(jì)算所述第一對(duì)象和第二對(duì)象在2D坐標(biāo)系中的輪廓；以及

判斷在2D坐標(biāo)系中，所述第一對(duì)象和第二對(duì)象是否有公共部分，若是，則第一對(duì)象和第二對(duì)象有重疊。

進(jìn)一步的，還包括互動(dòng)模塊，用于實(shí)時(shí)接收第一終端發(fā)送的互動(dòng)指令，以及根據(jù)所述互動(dòng)指令，實(shí)時(shí)更新第二對(duì)象的輪廓，和/或第二對(duì)象在虛擬場(chǎng)景中的位置。

進(jìn)一步的，還包括直播模塊，用于通過(guò)實(shí)時(shí)流傳輸協(xié)議，將所述第二圖像數(shù)據(jù)直播給局域網(wǎng)中的在線客戶端；或?qū)⑺龅诙D像數(shù)據(jù)發(fā)送給第三方網(wǎng)絡(luò)服務(wù)器；第三方網(wǎng)絡(luò)服務(wù)器生成所述第二圖像數(shù)據(jù)的互聯(lián)網(wǎng)直播鏈接。

進(jìn)一步的，所述第一對(duì)象為人物對(duì)象，所述獲取模塊從所述第一圖像數(shù)據(jù)中提取出第一對(duì)象時(shí)，根據(jù)人臉識(shí)別技術(shù)，識(shí)別出第一圖像數(shù)據(jù)中的人臉圖像，并提取所述人臉圖像；判斷人臉圖像與第二對(duì)象在虛擬場(chǎng)景中是否有重疊，若有，則觸發(fā)體感接觸響應(yīng)機(jī)制，并根據(jù)體感接觸響應(yīng)機(jī)制更新所述第二圖像數(shù)據(jù)。。

區(qū)別于現(xiàn)有技術(shù)，上述技術(shù)方案通過(guò)從攝像裝置的第一圖像數(shù)據(jù)中提取第一對(duì)象，并將第一對(duì)象與第二對(duì)象放置于同一虛擬場(chǎng)景中進(jìn)行比較，判斷第一對(duì)象與第二對(duì)象是否有重疊，以判斷結(jié)果作為體感接觸的判斷依據(jù)，從而實(shí)現(xiàn)體感互動(dòng)響應(yīng)，本技術(shù)方案中體感互動(dòng)實(shí)現(xiàn)簡(jiǎn)單便捷，且使用普通的攝像裝置即可取代體感互動(dòng)的專用攝像頭，從而大大降低了體感互動(dòng)的實(shí)現(xiàn)成本。同時(shí)，本發(fā)明所使用的普通攝像裝置可在任何平臺(tái)上與任意主機(jī)配合實(shí)現(xiàn)體感互動(dòng)操作，實(shí)現(xiàn)容易。第一對(duì)象與第二對(duì)象是否重疊可在2D坐標(biāo)系中計(jì)算，計(jì)算量小，計(jì)算效率高，對(duì)硬件要求低。

附圖說(shuō)明

圖1為具體實(shí)施方式所述易實(shí)現(xiàn)的體感互動(dòng)方法的流程圖；

圖2a為具體實(shí)施方式中所述3D對(duì)象轉(zhuǎn)換成2D對(duì)象的示意圖；

圖2b為具體實(shí)施方式中所述3D對(duì)象轉(zhuǎn)換成2D對(duì)象的示意圖；

圖3為具體實(shí)施方式所述易實(shí)現(xiàn)的體感互動(dòng)實(shí)現(xiàn)的模塊框圖；

圖4為另一具體實(shí)施方式中所述易實(shí)現(xiàn)的體感互動(dòng)實(shí)現(xiàn)的模塊框圖。

附圖標(biāo)記說(shuō)明：

10、獲取模塊

20、提取模塊

30、更新模塊

40、判斷模塊

401、判斷子模塊

具體實(shí)施方式

為詳細(xì)說(shuō)明技術(shù)方案的技術(shù)內(nèi)容、構(gòu)造特征、所實(shí)現(xiàn)目的及效果，以下結(jié)合具體實(shí)施例并配合附圖詳予說(shuō)明。

請(qǐng)參閱圖1，本實(shí)施例提供了一種易實(shí)現(xiàn)的體感互動(dòng)方法，本實(shí)施例可以應(yīng)用于體感游戲或體感互動(dòng)直播等多種需求中。具體的，本實(shí)施例的方法包括以下步驟：

S101、通過(guò)攝像裝置實(shí)時(shí)獲取連續(xù)2D的第一圖像數(shù)據(jù)；其中，所述攝像裝置為網(wǎng)絡(luò)攝像頭、數(shù)碼攝像機(jī)等具有攝像功能的普通攝像裝置，并非體感游戲中專用的特殊攝像裝置。其中，所述第一圖像數(shù)據(jù)是指包括兩幀以上連續(xù)圖像的圖像數(shù)據(jù)(或稱為視頻數(shù)據(jù))，并非單幀靜態(tài)圖像，在提取第一對(duì)象時(shí)，可以從每幀的圖像中分別提取出第一對(duì)象，因此所得到的第一對(duì)象也是包括有兩幀以上連接對(duì)象。

S102、根據(jù)預(yù)設(shè)的條件，從所述第一圖像數(shù)據(jù)中提取出第一對(duì)象。在不同的實(shí)施例中根據(jù)需要，第一對(duì)象可以是不同的具體對(duì)象，例如在體感游戲中，第一對(duì)象可以是體感游戲中的玩家，該玩家在體感游戲中可以扮演不同的游戲角色；在體感互動(dòng)直播中，第一對(duì)象可以是真人主播，可以是寵物動(dòng)物等；第一對(duì)象的數(shù)量可以是單個(gè)，也可以是2個(gè)以上。根據(jù)這些實(shí)際需求的不同，可以使用不同的算法和設(shè)置，以有效地在第一數(shù)據(jù)圖像中提取第一對(duì)象。以下通過(guò)一具體提取第一對(duì)象的算法實(shí)施例進(jìn)行舉例說(shuō)明。

在某一實(shí)施例中，第一圖像數(shù)據(jù)中，第一對(duì)象為人物主播，主播所處的背景為純色背景。提取第一圖像數(shù)據(jù)中第一對(duì)象的具體步驟為：GPU將第一圖像數(shù)據(jù)中的每個(gè)像素的顏色值與預(yù)設(shè)的閾值做比較；若像素的顏色值在預(yù)設(shè)的閾值內(nèi)，則將該像素點(diǎn)的Alpha通道設(shè)為零，即將背景顯示為透明色，提取出對(duì)象。

由于背景為純色，所以本實(shí)施例采用色度鍵法進(jìn)行摳圖。其中預(yù)設(shè)的閾值為背景顏色的顏色值，例如，背景顏色為綠色，則預(yù)設(shè)的像素點(diǎn)RGB顏色值的閾值為(0±10、255-10、0±10)。背景色可以選擇綠色或藍(lán)色，在拍攝的場(chǎng)所可同時(shí)設(shè)置兩種顏色的背景，供主播選擇。當(dāng)主播穿與綠色反差較大的衣服唱歌時(shí)，可選用綠色的背景。在對(duì)象(人像)提取過(guò)程中，由于主播穿的衣服與背景色相差較大，所以圖像中的每個(gè)像素的顏色值與預(yù)設(shè)的閾值進(jìn)行比較后，背景部分像素點(diǎn)的顏色值在預(yù)設(shè)的閾值內(nèi)，將背景部分像素點(diǎn)的Alpha通道設(shè)為零，即將背景顯示為透明色；而人像部分的像素點(diǎn)不在預(yù)設(shè)的閾值內(nèi)，保留人像部分，從而實(shí)現(xiàn)將人像從圖像中提取出來(lái)。

在另一實(shí)施例中，還可以先拍攝不包含第一對(duì)象，只有背景的背景圖像，再通過(guò)攝像裝置拍攝同時(shí)包含有第一對(duì)象和背景的第一圖像數(shù)據(jù)，將攝像裝置所拍攝的實(shí)時(shí)第一圖像數(shù)據(jù)與預(yù)先拍攝的背景圖像相減，所得到的即為只有第一對(duì)象的圖像數(shù)據(jù)，從而實(shí)現(xiàn)第一對(duì)象的摳像。

在具體的實(shí)施例中，還可以利用設(shè)備上的GPU進(jìn)行摳圖處理操作，不占用CPU時(shí)間，提高系統(tǒng)速度；并且由于GPU是專門(mén)對(duì)圖像進(jìn)行處理的硬件，對(duì)不同大小的像素運(yùn)算時(shí)間一樣，例如，8位、16位、32位的像素運(yùn)算時(shí)間均一樣，可大大節(jié)省了對(duì)像素的運(yùn)算時(shí)間；而普通的CPU會(huì)隨像素大小的增大延長(zhǎng)處理時(shí)間，所以本實(shí)施例的人像提取速度大大提高。

在實(shí)施例中，所提取的第一對(duì)象的輪廓與位置，是隨著攝像裝置前真實(shí)第一對(duì)象的運(yùn)動(dòng)而實(shí)時(shí)變化的。

S103、將第一對(duì)象更新至虛擬場(chǎng)景中，得到第二圖像數(shù)據(jù)，所述虛擬場(chǎng)景中包括至少一個(gè)第二對(duì)象。在實(shí)施例中，所述虛擬場(chǎng)景包括計(jì)算機(jī)模擬的虛擬現(xiàn)實(shí)場(chǎng)景或真實(shí)拍攝的視頻場(chǎng)景等。例如，在體感游戲中，所述虛擬場(chǎng)景即為通過(guò)計(jì)算機(jī)軟件制作得到的游戲畫(huà)面，游戲畫(huà)面隨著游戲的進(jìn)展而不斷更新，而所提取出的第一對(duì)象即游戲玩家在游戲中的角色，也實(shí)時(shí)更新至游戲畫(huà)面中，而其中的第二對(duì)象則可以為游戲中的其他角色。游戲玩家可以 通過(guò)晃動(dòng)身體、舉手等各種動(dòng)作，來(lái)控制游戲畫(huà)面中游戲玩家對(duì)應(yīng)角色完成對(duì)應(yīng)的各種動(dòng)作，例如，游戲中第二對(duì)象為從遠(yuǎn)處迎面飛來(lái)的石子、子彈等物體，游戲玩家通過(guò)晃動(dòng)身體來(lái)控制對(duì)應(yīng)游戲角色進(jìn)行躲避，從而不受傷害。

在體感互動(dòng)直播中，所述虛擬場(chǎng)景可以為真實(shí)拍攝的視頻場(chǎng)景等。更進(jìn)一步的，實(shí)施例還可以結(jié)合新近發(fā)展的3D圖像技術(shù)來(lái)提供虛擬場(chǎng)景，例如3D虛擬現(xiàn)實(shí)場(chǎng)景或3D視頻場(chǎng)景。在3D虛擬現(xiàn)實(shí)場(chǎng)景或3D視頻場(chǎng)景中，所述第二對(duì)象則可以是虛擬禮物等。

3D虛擬現(xiàn)實(shí)場(chǎng)景技術(shù)是一種可以創(chuàng)建和體驗(yàn)虛擬世界的計(jì)算機(jī)仿真系統(tǒng)，它利用計(jì)算機(jī)生成一種現(xiàn)實(shí)場(chǎng)景的3D模擬場(chǎng)景，是一種多源信息融合的交互式的三維動(dòng)態(tài)視景和實(shí)體行為的系統(tǒng)仿真。虛擬場(chǎng)景包括任何現(xiàn)實(shí)生活中存在的實(shí)際場(chǎng)景，包含視覺(jué)、聽(tīng)覺(jué)等任何能通過(guò)體感感受到的場(chǎng)景，通過(guò)計(jì)算機(jī)技術(shù)來(lái)模擬實(shí)現(xiàn)。3D虛擬現(xiàn)實(shí)場(chǎng)景的一種應(yīng)用是3D虛擬舞臺(tái)，3D虛擬舞臺(tái)是通過(guò)計(jì)算機(jī)技術(shù)模擬現(xiàn)實(shí)舞臺(tái)，實(shí)現(xiàn)一種立體感、真實(shí)感強(qiáng)的舞臺(tái)效果。可以通過(guò)3D虛擬舞臺(tái)實(shí)現(xiàn)，在現(xiàn)實(shí)中不在舞臺(tái)上的主播對(duì)象在各種舞臺(tái)上進(jìn)行表演的場(chǎng)景效果。

3D視頻是拍攝影像時(shí)，用兩臺(tái)攝影機(jī)模擬左右兩眼視差，分別拍攝兩條影片，然后將這兩條影片同時(shí)放映到銀幕上，放映時(shí)讓觀眾左眼只能看到左眼圖像，右眼只能看到右眼圖像。最后兩幅圖像經(jīng)過(guò)大腦疊合后，就能看到具有立體縱深感的畫(huà)面，即為3D視頻。

在體感游戲、體感互動(dòng)直播中，將所述第一對(duì)象更新至虛擬場(chǎng)景時(shí)，除了要將第一對(duì)象顯示于虛擬場(chǎng)景中，還要考慮第一對(duì)象在虛擬場(chǎng)景中的位置，因此，在制作虛擬場(chǎng)景時(shí)，需要以3D坐標(biāo)系為基礎(chǔ)，為虛擬場(chǎng)景中的畫(huà)面以及一些對(duì)象(即需要參與體感互動(dòng)的對(duì)象，如所述第二對(duì)象)配置坐標(biāo)參數(shù)。因此可根據(jù)第一對(duì)象的坐標(biāo)參數(shù)，將其顯示于虛擬場(chǎng)景中的對(duì)應(yīng)位置上。虛擬場(chǎng)景中的對(duì)象的坐標(biāo)參數(shù)，也是根據(jù)對(duì)象在動(dòng)作或形狀，以及其在虛擬場(chǎng)景中的位置，而實(shí)時(shí)變化更新的。由于第一對(duì)象以及第二對(duì)象可以是具有一 定輪廓的對(duì)象，而不僅是一個(gè)單點(diǎn)，因此在3D坐標(biāo)系中，為了能夠清楚的標(biāo)記出對(duì)象的輪廓，需要多個(gè)坐標(biāo)點(diǎn)的組合來(lái)標(biāo)記一個(gè)對(duì)象，即一個(gè)對(duì)象同時(shí)具有多個(gè)坐標(biāo)點(diǎn)。在不同的實(shí)施例中，可以用對(duì)象的輪廓點(diǎn)的坐標(biāo)的集合來(lái)表示一個(gè)對(duì)象的坐標(biāo)，還可以用對(duì)象輪廓點(diǎn)所圍成的面積的坐標(biāo)來(lái)表示一個(gè)對(duì)象的坐標(biāo)。

S104、判斷第一對(duì)象的輪廓與第二對(duì)象在虛擬場(chǎng)景的3D坐標(biāo)系中是否有重疊，若有，則觸發(fā)體感接觸響應(yīng)機(jī)制，并根據(jù)體感接觸響應(yīng)機(jī)制更新所述第二圖像數(shù)據(jù)。與第一圖像數(shù)據(jù)相似，所得到的第二圖像數(shù)據(jù)也是包括兩幀以上連續(xù)圖像的圖像數(shù)據(jù)。由于所述第一對(duì)象以及虛擬場(chǎng)景中參與互動(dòng)對(duì)象(包括第二對(duì)象)，都具有同一3D坐標(biāo)系中的坐標(biāo)參數(shù)，通過(guò)對(duì)比不同對(duì)象的坐標(biāo)參數(shù)，即可判斷不同對(duì)象在虛擬場(chǎng)景中是否發(fā)生了體感接觸，當(dāng)?shù)谝粚?duì)象的輪廓與第二對(duì)象在3D坐標(biāo)系中具有公共的坐標(biāo)點(diǎn)，即第一對(duì)象與第二對(duì)象重疊或部分重疊，則說(shuō)明第一對(duì)象與第二對(duì)象發(fā)生了體感接觸，進(jìn)而觸發(fā)體感接觸響應(yīng)機(jī)制。

在一實(shí)施例中，所述第一對(duì)象為人物對(duì)象，在提取第一對(duì)象時(shí)，通過(guò)人臉識(shí)別技術(shù)識(shí)別出第一圖像數(shù)據(jù)中的人臉圖像，并提取出所述人臉圖像，將第一對(duì)象更新到虛擬場(chǎng)景中后，判斷人臉圖像與第二對(duì)象在虛擬場(chǎng)景中是否有重疊，若有，則觸發(fā)體感接觸響應(yīng)機(jī)制，并根據(jù)體感接觸響應(yīng)機(jī)制更新所述第二圖像數(shù)據(jù)。

所述人臉圖像提取的具體步驟包括：

1、接收第一圖像數(shù)據(jù)，并進(jìn)行解碼，獲取YCrCb格式的圖像數(shù)據(jù)，放到緩沖區(qū)中。

2、創(chuàng)建位圖，將緩沖區(qū)中YCrCb格式的圖像數(shù)據(jù)的Y分量數(shù)據(jù)傳遞給該位圖；其中，所述Y分量數(shù)據(jù)保存了圖像的灰度信息，無(wú)色彩。Android的人臉識(shí)別引擎并非基于顏色匹配，灰度圖和彩色圖像識(shí)別效果無(wú)差別。

3、將位圖按比例縮小；由于原始圖像數(shù)據(jù)量比較大，為減小計(jì)算量，將 位圖按比例縮小。經(jīng)過(guò)縮小處理，能將識(shí)別速度從幾百毫秒提高到五十毫秒以內(nèi)，幾乎無(wú)延遲。

4、將縮小后的位圖傳遞給android系統(tǒng)原生的人臉識(shí)別類FaceDetector，進(jìn)行人臉識(shí)別。

5、獲取位圖中人臉個(gè)數(shù)以及位置信息。

在獲取到圖中人臉個(gè)數(shù)以及位置信息后，將其傳遞給unity端；Unity根據(jù)實(shí)時(shí)的人臉位置信息，判斷人臉圖像與第二對(duì)象在虛擬場(chǎng)景中是否有重疊，若有，則觸發(fā)體感接觸響應(yīng)機(jī)制，進(jìn)行體感互動(dòng)游戲。

在不同實(shí)施例中，所述體感接觸響應(yīng)機(jī)制可以根據(jù)需要進(jìn)行設(shè)置。例如，在體感游戲中，游戲玩家通過(guò)晃動(dòng)身體，來(lái)控制游戲中的對(duì)應(yīng)角色進(jìn)行躲避石頭或子彈，游戲主機(jī)通過(guò)判斷游戲玩家與石頭或子彈，是否有公共坐標(biāo)，若有，則說(shuō)明游戲玩家在游戲中被擊中(發(fā)生體感接觸)，所對(duì)應(yīng)的體感接觸響應(yīng)機(jī)制可以為在游戲畫(huà)面中模擬，游戲玩家被擊傷的畫(huà)面效果。同樣的，在不同的游戲中，所述石頭、子彈等對(duì)象也可以用小鳥(niǎo)等圖像來(lái)替代，當(dāng)小鳥(niǎo)撞向了虛擬場(chǎng)景中的人像時(shí)，游戲主機(jī)也會(huì)判定小鳥(niǎo)與人像有體感接觸，提示被小鳥(niǎo)撞上了；如果游戲玩家移動(dòng)身體則可以躲避小鳥(niǎo)，成功躲避小鳥(niǎo)可以通過(guò)計(jì)分系統(tǒng)給游戲玩家加分。通過(guò)計(jì)分系統(tǒng)實(shí)現(xiàn)單人計(jì)分累計(jì)排名或者多個(gè)PK。

又例如，在一具體的實(shí)施例中，先從第一圖像數(shù)據(jù)中提取主播的人像，然后將主播的人像更新到虛擬場(chǎng)景中，再識(shí)別出主播的人臉并計(jì)算主播人臉的位置信息；此時(shí)，若虛擬場(chǎng)景中的第二對(duì)象為一朵花，判斷虛擬場(chǎng)景中的花與主播的人臉是否有體感接觸，若有，則對(duì)應(yīng)的體感接觸響應(yīng)機(jī)制為花戴到主播頭上的虛擬畫(huà)面效果。通過(guò)人臉識(shí)別技術(shù)，可以實(shí)現(xiàn)虛擬場(chǎng)景中的第二對(duì)象與主播人臉的各種體感互動(dòng)。

又如在體感互動(dòng)直播中，主播對(duì)象可以通過(guò)伸手等動(dòng)作，改變第一對(duì)象的輪廓和位置，主動(dòng)觸摸虛擬場(chǎng)景中的飛機(jī)(即第二對(duì)象)，在確定主播對(duì)象 與飛機(jī)發(fā)生體感接觸后，所述對(duì)應(yīng)的體感接觸響應(yīng)機(jī)制為飛機(jī)起飛等虛擬畫(huà)面效果。

上述體感互動(dòng)方法可以應(yīng)用于演唱互動(dòng)、直播互動(dòng)等場(chǎng)景中。如在演唱互動(dòng)中，演唱者的圖像被實(shí)時(shí)更新至虛擬舞臺(tái)(如《我是歌手》、《中國(guó)新歌聲》等)，在進(jìn)行互動(dòng)時(shí)，網(wǎng)絡(luò)在線觀眾的圖像也實(shí)時(shí)被更新至虛擬舞臺(tái)中，當(dāng)檢測(cè)到在虛擬舞臺(tái)中所述觀眾的圖像與演唱者的圖像，靠近并發(fā)生如牽手、擁抱、獻(xiàn)花等體感接觸時(shí)，就開(kāi)始演唱。

除了通過(guò)3D坐標(biāo)系中是否有公共坐標(biāo)點(diǎn)，來(lái)判斷不同對(duì)象是否發(fā)生體感接觸，在一些實(shí)施例中，還通過(guò)投影技術(shù)將虛擬場(chǎng)景的3D對(duì)象轉(zhuǎn)換成2D對(duì)象進(jìn)行判斷，具體為：

通過(guò)3D投影技術(shù)，將第一對(duì)象和第二對(duì)象投影至對(duì)應(yīng)的2D坐標(biāo)系中；

分別計(jì)算所述第一對(duì)象和第二對(duì)象在2D坐標(biāo)系中的輪廓；

判斷在2D坐標(biāo)系中，所述第一對(duì)象和第二對(duì)象是否有公共部分，若是，則第一對(duì)象和第二對(duì)象有重疊。

在一實(shí)施例中，所述第一對(duì)象的輪廓可在步驟S102中所提取的第一對(duì)象摳像得到，所述第一對(duì)象在3D坐標(biāo)中的位置，可根據(jù)第一對(duì)象在第一圖像數(shù)據(jù)中所處的位置計(jì)算出來(lái)。在計(jì)算第一對(duì)象在3D坐標(biāo)中的位置之前，需要先建立3D坐標(biāo)系。在一實(shí)施例中，所述3D坐標(biāo)系是以攝像裝置鏡頭前某一預(yù)設(shè)的參照點(diǎn)(如攝像裝置圖像數(shù)據(jù)的中心點(diǎn))，作為3D坐標(biāo)系的原點(diǎn)，并以該原點(diǎn)建立包括X軸、Y軸和Z軸的3D坐標(biāo)系。并預(yù)先根據(jù)攝像裝置的成像參數(shù)(包括鏡頭焦距、鏡頭直徑等)，建立攝像裝置輸出的圖像數(shù)據(jù)(即所述第一圖像數(shù)據(jù))中的物體位置、尺寸，與物體在所述3D坐標(biāo)系中的坐標(biāo)的對(duì)應(yīng)關(guān)系。因此將攝像裝置所輸出的圖像數(shù)據(jù)中第一對(duì)象的位置與大小，導(dǎo)入至所述對(duì)應(yīng)關(guān)系中，即可獲得第一對(duì)象在3D坐標(biāo)系中的位置與坐標(biāo)。

實(shí)施例中，所述第一對(duì)象的輪廓還可以采用圖像局部特性的不連續(xù)性計(jì)算，圖像不同區(qū)域之間的邊緣像素值有較大差異。常見(jiàn)的Sobel等邊緣檢測(cè)算 子，通過(guò)遍歷像素能很方便檢查出輪廓。

請(qǐng)參閱圖2a和圖2b，其中，2a和圖2b左邊部分為立體對(duì)象在3D空間中的示意圖，右邊部分為通過(guò)投影技術(shù)轉(zhuǎn)換得到的2D效果示意圖。所述3D投影技術(shù)包括透視投影和正交投影，3D投影是指通過(guò)投影原理將3D坐標(biāo)系中的立體的對(duì)象，投影至3D坐標(biāo)系所對(duì)應(yīng)的2D坐標(biāo)系中，從而將立體對(duì)象轉(zhuǎn)換成平面對(duì)象。所述3D投影包括有X軸投影，Y軸投影和Z軸投影，同一個(gè)3D立體對(duì)象按不同的軸向投影，可以得到不同的平面對(duì)象。在圖2a中，所示人物對(duì)象與方形對(duì)象是發(fā)生體感接觸的；而在圖2b中，所示人物對(duì)象與方形對(duì)象是沒(méi)有發(fā)生體感接觸的。由圖2a和圖2b所示效果可得，通過(guò)3D投影技術(shù)，將3D坐標(biāo)系中的立體的對(duì)象轉(zhuǎn)換成2D平面對(duì)象，使得對(duì)象的體感接觸判斷更加簡(jiǎn)便、直觀。在3D投影技術(shù)中，可通過(guò)選擇虛擬攝像機(jī)的位置來(lái)得到對(duì)應(yīng)的投影，虛擬攝像機(jī)對(duì)應(yīng)的是3D坐標(biāo)系中人眼觀察位置，不同虛擬攝像機(jī)所看到的2D投影是不同的。投影技術(shù)中虛擬攝像機(jī)的位置的選擇很關(guān)鍵，虛擬攝像機(jī)位置不同，投影出來(lái)的接觸狀態(tài)也不同，所以在使用系統(tǒng)判定接觸狀態(tài)時(shí)，需要先確定虛擬攝像機(jī)的位置。

上述技術(shù)方案中，體感互動(dòng)方法簡(jiǎn)單便捷，且使用普通的攝像裝置即可取代體感互動(dòng)的專用攝像頭，從而大大降低了體感互動(dòng)的實(shí)現(xiàn)成本。同時(shí)，本發(fā)明所使用的普通攝像裝置可在任何平臺(tái)上與任意主機(jī)配合實(shí)現(xiàn)體感互動(dòng)操作，實(shí)現(xiàn)容易。第一對(duì)象與第二對(duì)象是否重疊可在2D坐標(biāo)系中計(jì)算，計(jì)算量小，計(jì)算效率高，對(duì)硬件要求低。

在一實(shí)施例中，在實(shí)時(shí)獲取第一圖像數(shù)據(jù)的同時(shí)，實(shí)時(shí)獲取傳聲器的信號(hào)，采集得到第一聲音數(shù)據(jù)；

將第一對(duì)象更新至虛擬場(chǎng)景中的同時(shí)，也將第一聲音實(shí)時(shí)更新到虛擬場(chǎng)景中。以網(wǎng)絡(luò)直播為例，所述第一聲音數(shù)據(jù)為網(wǎng)絡(luò)主播的說(shuō)明或演唱的聲音，或主播演唱的聲音及歌曲伴奏的混合聲音。通過(guò)實(shí)時(shí)將第一聲音實(shí)時(shí)更新到虛擬場(chǎng)景中，同時(shí)，在顯示終端實(shí)時(shí)顯示更新后的第二圖像數(shù)據(jù)。這樣，不 僅可聽(tīng)到網(wǎng)絡(luò)主播的聲音，還可以在顯示終端看到與聲音同步的畫(huà)面(人像與虛擬場(chǎng)景的結(jié)合)，實(shí)現(xiàn)了虛擬舞臺(tái)的效果。

在上述實(shí)施例中，得到第二圖像數(shù)據(jù)之后，將第二圖像數(shù)據(jù)通過(guò)顯示裝置顯示，通過(guò)在顯示裝置上顯示所述第二圖像數(shù)據(jù)，用戶可看到第一對(duì)象與虛擬場(chǎng)景合成后的視頻。在一實(shí)施例中，將3D坐標(biāo)系在顯示器上顯示時(shí)，需要做3D向2D投影轉(zhuǎn)換，即用戶在顯示器上看到的畫(huà)面也能確定3D對(duì)象與自己是否有接觸。

在一實(shí)施例中，在步驟S104之后，還包括有步驟：通過(guò)實(shí)時(shí)流傳輸協(xié)議，將所述第二圖像數(shù)據(jù)直播給局域網(wǎng)中的在線客戶端；或?qū)⑺龅诙D像數(shù)據(jù)發(fā)送給第三方網(wǎng)絡(luò)服務(wù)器；第三方網(wǎng)絡(luò)服務(wù)器生成所述第二圖像數(shù)據(jù)的互聯(lián)網(wǎng)直播鏈接。

在局域網(wǎng)內(nèi)直播時(shí)，實(shí)時(shí)數(shù)據(jù)流服務(wù)器檢測(cè)是否有客戶端連接于該服務(wù)器，以及是否有播放請(qǐng)求，在檢測(cè)到有客戶端連接，并接收到播放請(qǐng)求時(shí)，通過(guò)實(shí)時(shí)流傳輸協(xié)議，將所述第二圖像數(shù)據(jù)發(fā)送給局域網(wǎng)在線客戶端。所述客戶端可以是各種支持RTSP的播放器，如PC機(jī)、平板電腦、智能手機(jī)等。客戶端在接收到實(shí)時(shí)流服務(wù)器傳來(lái)的第二圖像數(shù)據(jù)后，進(jìn)行解碼即可進(jìn)行播放，其中的音頻數(shù)據(jù)解碼后，通過(guò)揚(yáng)聲器播放演唱者演唱的聲音及伴奏。

在互聯(lián)網(wǎng)直播時(shí)，實(shí)時(shí)數(shù)據(jù)流服務(wù)器通過(guò)實(shí)時(shí)流傳輸協(xié)議，將所述第二圖像數(shù)據(jù)發(fā)送給第三方網(wǎng)絡(luò)服務(wù)器，由第三方網(wǎng)絡(luò)服務(wù)器生成所述第二圖像數(shù)據(jù)的直播鏈接。客戶端通過(guò)點(diǎn)擊所述直播鏈接，即可獲取所述第二圖像數(shù)據(jù)的實(shí)時(shí)數(shù)據(jù)流，并通過(guò)解碼播放。

在實(shí)施例中，所述易實(shí)現(xiàn)的體感互動(dòng)方法還可實(shí)時(shí)接收第一終端發(fā)送的互動(dòng)指令，以及根據(jù)所述互動(dòng)指令，實(shí)時(shí)更新第二對(duì)象的輪廓，和/或第二對(duì)象在虛擬場(chǎng)景中的位置。所述互動(dòng)指令的接收時(shí)間可以是在判斷第一對(duì)象的輪廓與第二對(duì)象在虛擬場(chǎng)景中是否有重疊之前，還可以是在判斷第一對(duì)象的輪廓與第二對(duì)象在虛擬場(chǎng)景中是否有重疊之后。

在不同的實(shí)施例中，所述第一終端通過(guò)計(jì)算機(jī)網(wǎng)絡(luò)發(fā)送互動(dòng)指令，計(jì)算機(jī)網(wǎng)絡(luò)可以是Internet網(wǎng)絡(luò)也可以是局域網(wǎng)，可以是由有線網(wǎng)絡(luò)、WiFi網(wǎng)絡(luò)、3G/4G移動(dòng)通訊網(wǎng)絡(luò)、藍(lán)牙網(wǎng)絡(luò)或ZigBee網(wǎng)絡(luò)等進(jìn)行連接。第一終端可以是PC，也可以是手機(jī)、平板電腦等移動(dòng)通訊設(shè)備，還可以是智能手表、智能手環(huán)、智能眼鏡等穿戴式設(shè)備，因此，用戶可以通過(guò)觸發(fā)互動(dòng)指令與玩游戲主播一起參與游戲互動(dòng)。例如，在以上所述的躲避小鳥(niǎo)的體感游戲中，游戲中的小鳥(niǎo)可以由互聯(lián)網(wǎng)在線用戶觸發(fā)起飛，或小鳥(niǎo)的飛行軌跡由互動(dòng)指令進(jìn)行控制，體感游戲中，由直播在線用戶和游戲玩家共同參與進(jìn)行游戲。

請(qǐng)參閱圖3，實(shí)施例還提供了一種易實(shí)現(xiàn)的體感互動(dòng)系統(tǒng)，該體感互動(dòng)系統(tǒng)可以應(yīng)用于體感游戲或體感互動(dòng)直播等多種需求中，具體包括：

獲取模塊10，用于通過(guò)攝像裝置實(shí)時(shí)獲取第一圖像數(shù)據(jù)，其中，所述攝像裝置為網(wǎng)絡(luò)攝像頭、數(shù)碼攝像機(jī)等具有攝像功能的普通攝像裝置，并非體感游戲中專用的特殊攝像裝置。其中，所述第一圖像數(shù)據(jù)是指包括兩幀以上連續(xù)圖像的圖像數(shù)據(jù)(或稱為視頻數(shù)據(jù))，并非單幀靜態(tài)圖像，在提取第一對(duì)象時(shí)，可以從每幀的圖像中分別提取出第一對(duì)象，因此所得到的第一對(duì)象也是包括有兩幀以上連接對(duì)象。

提取模塊20，用于根據(jù)預(yù)設(shè)的條件，從所述第一圖像數(shù)據(jù)中提取出第一對(duì)象；在不同的實(shí)施例中根據(jù)需要，第一對(duì)象可以是不同的具體對(duì)象，例如在體感游戲中，第一對(duì)象可以是體感游戲中的玩家，該玩家在體感游戲中可以扮演不同的游戲角色；在體感互動(dòng)直播中，第一對(duì)象可以是真人主播，可以是寵物動(dòng)物等；第一對(duì)象的數(shù)量可以是單個(gè)，也可以是2個(gè)以上。其中第一對(duì)象可以通過(guò)上述實(shí)施例中所使用的算法和設(shè)置，從第一圖像數(shù)據(jù)中提取得到。

更新模塊30，用于將第一對(duì)象更新至虛擬場(chǎng)景中，得到第二圖像數(shù)據(jù)，所述虛擬場(chǎng)景中包括至少一個(gè)第二對(duì)象；在實(shí)施例中，所述虛擬場(chǎng)景包括計(jì) 算機(jī)模擬的虛擬現(xiàn)實(shí)場(chǎng)景或真實(shí)拍攝的視頻場(chǎng)景等。在體感互動(dòng)直播中，所述虛擬場(chǎng)景可以為真實(shí)拍攝的視頻場(chǎng)景等。更進(jìn)一步的，實(shí)施例還可以結(jié)合新近發(fā)展的3D圖像技術(shù)來(lái)提供虛擬場(chǎng)景，例如3D虛擬現(xiàn)實(shí)場(chǎng)景或3D視頻場(chǎng)景。

判斷模塊40，用于判斷第一對(duì)象的輪廓與第二對(duì)象在3D坐標(biāo)系中是否有重疊，若有，則觸發(fā)體感接觸響應(yīng)機(jī)制，并根據(jù)體感接觸響應(yīng)機(jī)制更新所述第二圖像數(shù)據(jù)。與第一圖像數(shù)據(jù)相似，所得到的第二圖像數(shù)據(jù)也是包括兩幀以上連續(xù)圖像的圖像數(shù)據(jù)。由于所述第一對(duì)象以及虛擬場(chǎng)景中參與互動(dòng)對(duì)象(包括第二對(duì)象)，都具有同一3D坐標(biāo)系中的坐標(biāo)參數(shù)，通過(guò)對(duì)比不同對(duì)象的坐標(biāo)參數(shù)，即可判斷不同對(duì)象在虛擬場(chǎng)景中是否發(fā)生了體感接觸，當(dāng)?shù)谝粚?duì)象的輪廓與第二對(duì)象在3D坐標(biāo)系中具有公共的坐標(biāo)點(diǎn)，即第一對(duì)象與第二對(duì)象重疊或部分重疊，則說(shuō)明第一對(duì)象與第二對(duì)象發(fā)生了體感接觸，進(jìn)而觸發(fā)體感接觸響應(yīng)機(jī)制。在不同實(shí)施例中，所述體感接觸響應(yīng)機(jī)制可以根據(jù)需要進(jìn)行設(shè)置。

在一實(shí)施例中，所述第一對(duì)象為人物對(duì)象，在提取第一對(duì)象時(shí)，通過(guò)人臉識(shí)別技術(shù)識(shí)別出第一圖像數(shù)據(jù)中的人臉圖像，并提取出所述人臉圖像，將第一對(duì)象更新到虛擬場(chǎng)景中后，判斷人臉圖像與第二對(duì)象在虛擬場(chǎng)景中是否有重疊，若有，則觸發(fā)體感接觸響應(yīng)機(jī)制，并根據(jù)體感接觸響應(yīng)機(jī)制更新所述第二圖像數(shù)據(jù)。所述人臉圖像提取的具體步驟及人臉圖像與虛擬場(chǎng)景中第二對(duì)象的體感互動(dòng)在以上實(shí)施例中已進(jìn)行詳細(xì)說(shuō)明，這里就不再贅述。

除了通過(guò)3D坐標(biāo)系中是否有公共坐標(biāo)點(diǎn)，來(lái)判斷不同對(duì)象是否發(fā)生體感接觸，如圖4所示，在一實(shí)施例中，所述判斷模塊40還包括投影子模塊401，通過(guò)投影技術(shù)將3D對(duì)象轉(zhuǎn)換成2D對(duì)象進(jìn)行判斷。所述投影子模塊，投影子模塊401用于通過(guò)3D投影技術(shù)，將第一對(duì)象和第二對(duì)象投影至對(duì)應(yīng)的2D坐標(biāo)系中；分別計(jì)算所述第一對(duì)象和第二對(duì)象在2D坐標(biāo)系中的輪廓；以及判斷在2D坐標(biāo)系中，所述第一對(duì)象和第二對(duì)象是否有公共部分，若是，則第一對(duì) 象和第二對(duì)象有重疊。

第一對(duì)象的輪廓可從所提取的第一對(duì)象摳像得到，所述第一對(duì)象在3D坐標(biāo)中的位置，可根據(jù)第一對(duì)象在第一圖像數(shù)據(jù)中所處的位置計(jì)算出來(lái)。在計(jì)算第一對(duì)象在3D坐標(biāo)中的位置之前，需要先建立3D坐標(biāo)系。以一參照點(diǎn)為原點(diǎn)，建立包括X軸、Y軸和Z軸的3D坐標(biāo)系，建立攝像裝置輸出的圖像數(shù)據(jù)(即所述第一圖像數(shù)據(jù))中的物體位置、尺寸，與物體在所述3D坐標(biāo)系中的坐標(biāo)的對(duì)應(yīng)關(guān)系。因此將攝像裝置所輸出的圖像數(shù)據(jù)中第一對(duì)象的位置與大小，導(dǎo)入至所述對(duì)應(yīng)關(guān)系中，即可獲得第一對(duì)象在3D坐標(biāo)系中的位置與坐標(biāo)。

請(qǐng)參閱以上實(shí)施例中圖2a和圖2b的3D投影演示，在圖2a中，所示人物對(duì)象與方形對(duì)象是發(fā)生體感接觸的；而在圖2b中，所示人物對(duì)象與方形對(duì)象是沒(méi)有發(fā)生體感接觸的。由圖2a和圖2b所示效果可得，通過(guò)3D投影技術(shù)，將3D坐標(biāo)系中的立體的對(duì)象轉(zhuǎn)換成2D平面對(duì)象，使得對(duì)象的體感接觸判斷更加簡(jiǎn)便、直觀。

在上述易實(shí)現(xiàn)的體感互動(dòng)系統(tǒng)的實(shí)施例中，體感互動(dòng)方法簡(jiǎn)單便捷，且使用普通的攝像裝置即可取代體感互動(dòng)的專用攝像頭，從而大大降低了體感互動(dòng)的實(shí)現(xiàn)成本。同時(shí)，本發(fā)明所使用的普通攝像裝置可在任何平臺(tái)上與任意主機(jī)配合實(shí)現(xiàn)體感互動(dòng)操作，實(shí)現(xiàn)容易。第一對(duì)象與第二對(duì)象是否重疊可在2D坐標(biāo)系中計(jì)算，計(jì)算量小，計(jì)算效率高，對(duì)硬件要求低。

在一實(shí)施例中，所述獲取模塊10在實(shí)時(shí)獲取第一圖像數(shù)據(jù)的同時(shí)，還用于實(shí)時(shí)獲取傳聲器的信號(hào)，采集得到第一聲音數(shù)據(jù)；

所述更新模塊將第一對(duì)象更新至虛擬場(chǎng)景中的同時(shí)，還用于將第一聲音實(shí)時(shí)更新到虛擬場(chǎng)景中。以網(wǎng)絡(luò)直播為例，所述第一聲音數(shù)據(jù)為網(wǎng)絡(luò)主播的說(shuō)明或演唱的聲音，或主播演唱的聲音及歌曲伴奏的混合聲音。通過(guò)實(shí)時(shí)將第一聲音實(shí)時(shí)更新到虛擬場(chǎng)景中，同時(shí)，在顯示終端實(shí)時(shí)顯示更新后的第二圖像數(shù)據(jù)。這樣，不僅可聽(tīng)到網(wǎng)絡(luò)主播的聲音，還可以在顯示終端看到與聲 音同步的畫(huà)面(人像與虛擬場(chǎng)景的結(jié)合)，實(shí)現(xiàn)了虛擬舞臺(tái)的效果。

在上述實(shí)施例中，得到第二圖像數(shù)據(jù)之后，將第二圖像數(shù)據(jù)通過(guò)顯示裝置顯示，通過(guò)在顯示裝置上顯示所述第二圖像數(shù)據(jù)，用戶可看到第一對(duì)象與虛擬場(chǎng)景合成后的視頻。在一實(shí)施例中，將3D坐標(biāo)系在顯示器上顯示時(shí)，需要做3D向2D投影轉(zhuǎn)換，即用戶在顯示器上看到的畫(huà)面也能確定3D對(duì)象與自己是否有接觸。

在一實(shí)施例中，所述體感互動(dòng)系統(tǒng)還包括直播模塊，用于通過(guò)實(shí)時(shí)流傳輸協(xié)議，將所述第二圖像數(shù)據(jù)直播給局域網(wǎng)中的在線客戶端；或?qū)⑺龅诙D像數(shù)據(jù)發(fā)送給第三方網(wǎng)絡(luò)服務(wù)器；第三方網(wǎng)絡(luò)服務(wù)器生成所述第二圖像數(shù)據(jù)的互聯(lián)網(wǎng)直播鏈接。

在局域網(wǎng)內(nèi)直播時(shí)，實(shí)時(shí)數(shù)據(jù)流服務(wù)器檢測(cè)是否有客戶端連接于該服務(wù)器，以及是否有播放請(qǐng)求，在檢測(cè)到有客戶端連接，并接收到播放請(qǐng)求時(shí)，通過(guò)實(shí)時(shí)流傳輸協(xié)議，將所述第二圖像數(shù)據(jù)發(fā)送給局域網(wǎng)在線客戶端。所述客戶端可以是各種支持RTSP的播放器，如PC機(jī)、平板電腦、智能手機(jī)等。客戶端在接收到實(shí)時(shí)流服務(wù)器傳來(lái)的第二圖像數(shù)據(jù)后，進(jìn)行解碼即可進(jìn)行播放，其中的音頻數(shù)據(jù)解碼后，通過(guò)揚(yáng)聲器播放演唱者演唱的聲音及伴奏。

在互聯(lián)網(wǎng)直播時(shí)，實(shí)時(shí)數(shù)據(jù)流服務(wù)器通過(guò)實(shí)時(shí)流傳輸協(xié)議，將所述第二圖像數(shù)據(jù)發(fā)送給第三方網(wǎng)絡(luò)服務(wù)器，由第三方網(wǎng)絡(luò)服務(wù)器生成所述第二圖像數(shù)據(jù)的直播鏈接。客戶端通過(guò)點(diǎn)擊所述直播鏈接，即可獲取所述第二圖像數(shù)據(jù)的實(shí)時(shí)數(shù)據(jù)流，并通過(guò)解碼播放。

在一些實(shí)施例中，所述體感互動(dòng)系統(tǒng)還包括互動(dòng)模塊，用于實(shí)時(shí)接收第一終端發(fā)送的互動(dòng)指令，以及根據(jù)所述互動(dòng)指令，實(shí)時(shí)更新第二對(duì)象的輪廓，和/或第二對(duì)象在虛擬場(chǎng)景中的位置。在不同的實(shí)施例中，所述第一終端通過(guò)計(jì)算機(jī)網(wǎng)絡(luò)發(fā)送互動(dòng)指令，用戶可以通過(guò)觸發(fā)互動(dòng)指令與玩游戲主播一起參與游戲互動(dòng)。例如，在以上所述的躲避小鳥(niǎo)的體感游戲中，游戲中的小鳥(niǎo)可以由互聯(lián)網(wǎng)在線用戶觸發(fā)起飛，或小鳥(niǎo)的飛行軌跡由互動(dòng)指令進(jìn)行控制，體 感游戲中，由直播在線用戶和游戲玩家共同參與進(jìn)行游戲。

需要說(shuō)明的是，在本文中，諸如第一和第二等之類的關(guān)系術(shù)語(yǔ)僅僅用來(lái)將一個(gè)實(shí)體或者操作與另一個(gè)實(shí)體或操作區(qū)分開(kāi)來(lái)，而不一定要求或者暗示這些實(shí)體或操作之間存在任何這種實(shí)際的關(guān)系或者順序。而且，術(shù)語(yǔ)“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過(guò)程、方法、物品或者終端設(shè)備不僅包括那些要素，而且還包括沒(méi)有明確列出的其他要素，或者是還包括為這種過(guò)程、方法、物品或者終端設(shè)備所固有的要素。在沒(méi)有更多限制的情況下，由語(yǔ)句“包括……”或“包含……”限定的要素，并不排除在包括所述要素的過(guò)程、方法、物品或者終端設(shè)備中還存在另外的要素。此外，在本文中，“大于”、“小于”、“超過(guò)”等理解為不包括本數(shù)；“以上”、“以下”、“以內(nèi)”等理解為包括本數(shù)。

本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白，上述各實(shí)施例可提供為方法、裝置、或計(jì)算機(jī)程序產(chǎn)品。這些實(shí)施例可采用完全硬件實(shí)施例、完全軟件實(shí)施例、或結(jié)合軟件和硬件方面的實(shí)施例的形式。上述各實(shí)施例涉及的方法中的全部或部分步驟可以通過(guò)程序來(lái)指令相關(guān)的硬件來(lái)完成，所述的程序可以存儲(chǔ)于計(jì)算機(jī)設(shè)備可讀取的存儲(chǔ)介質(zhì)中，用于執(zhí)行上述各實(shí)施例方法所述的全部或部分步驟。所述計(jì)算機(jī)設(shè)備，包括但不限于：個(gè)人計(jì)算機(jī)、服務(wù)器、通用計(jì)算機(jī)、專用計(jì)算機(jī)、網(wǎng)絡(luò)設(shè)備、嵌入式設(shè)備、可編程設(shè)備、智能移動(dòng)終端、智能家居設(shè)備、穿戴式智能設(shè)備、車載智能設(shè)備等；所述的存儲(chǔ)介質(zhì)，包括但不限于：RAM、ROM、磁碟、磁帶、光盤(pán)、閃存、U盤(pán)、移動(dòng)硬盤(pán)、存儲(chǔ)卡、記憶棒、網(wǎng)絡(luò)服務(wù)器存儲(chǔ)、網(wǎng)絡(luò)云存儲(chǔ)等。

上述各實(shí)施例是參照根據(jù)實(shí)施例所述的方法、設(shè)備(系統(tǒng))、和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或方框圖來(lái)描述的。應(yīng)理解可由計(jì)算機(jī)程序指令實(shí)現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合。可提供這些計(jì)算機(jī)程序指令到計(jì)算機(jī)設(shè)備的處理器以 產(chǎn)生一個(gè)機(jī)器，使得通過(guò)計(jì)算機(jī)設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的裝置。

這些計(jì)算機(jī)程序指令也可存儲(chǔ)在能引導(dǎo)計(jì)算機(jī)設(shè)備以特定方式工作的計(jì)算機(jī)設(shè)備可讀存儲(chǔ)器中，使得存儲(chǔ)在該計(jì)算機(jī)設(shè)備可讀存儲(chǔ)器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能。

這些計(jì)算機(jī)程序指令也可裝載到計(jì)算機(jī)設(shè)備上，使得在計(jì)算機(jī)設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理，從而在計(jì)算機(jī)設(shè)備上執(zhí)行的指令提供用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的步驟。

盡管已經(jīng)對(duì)上述各實(shí)施例進(jìn)行了描述，但本領(lǐng)域內(nèi)的技術(shù)人員一旦得知了基本創(chuàng)造性概念，則可對(duì)這些實(shí)施例做出另外的變更和修改，所以以上所述僅為本發(fā)明的實(shí)施例，并非因此限制本發(fā)明的專利保護(hù)范圍，凡是利用本發(fā)明說(shuō)明書(shū)及附圖內(nèi)容所作的等效結(jié)構(gòu)或等效流程變換，或直接或間接運(yùn)用在其他相關(guān)的技術(shù)領(lǐng)域，均同理包括在本發(fā)明的專利保護(hù)范圍之內(nèi)。