本發明涉及一種基于多通道交互的實時渲染互動影院系統及方法。

背景技術：

隨著國內主題公園如雨后春筍般興起，互動影院也隨著不斷發展，它將當今國際流行的3D影視技術與多人互動交互式技術相結合，使觀影者能夠成為電影中的角色，通過相應的交互設備介入到影片的環境與劇情，讓觀影者身臨其境般感受到自己就是電影里的一份子，觀影者就是影片里的主角或是其中一員，并持續與影片內容產生交互作用。互動影院滿足觀眾在觀看影片的同時，主動參與到影片的劇情中，成為劇情的參與者，而不是單純的被動接受劇情，增加了觀眾的參與感和存在感，這是普通的4D影院所不能達到的效果。

目前互動影院仍然以虛擬射擊影院為主，其存在缺陷如下：

1)觀眾通過特制的互動槍進行交互，交互方式單一；

2)互動槍的代入感不強；

3大部分采用平面投影，畫面分辨率低，沉浸感不足；

4)雖然觀眾能夠共同合作完成影片任務，但各個觀眾參與影片互動的方式千篇一律，并且沒有分工協作，觀眾與觀眾之間缺少互動，交互體驗一般。

技術實現要素：

本發明為了解決上述問題，提出了一種基于多通道交互的實時渲染互動影院系統及方法，本發明采用了基于大型弧幕3D立體投影的展示技術，能夠實時渲染高分辨率立體圖像，集成了包括三自由度座椅、六自由度平臺(配有方向盤、油門以及剎車等交互方式)、具有后坐力的互動仿真槍、手機以及Kinect姿態識別在內的多種交互方式，允許觀眾體驗不同的交互方式，分工協作共同完成任務，集沉浸感、互動性、趣味性、挑戰性于一身的優點。

為了實現上述目的，本發明采用如下技術方案：

一種基于多通道交互的實時渲染互動影院系統，包括提供通信和數據傳輸途徑的網絡模塊，實時獲取用以驅動三自由度座椅以及六自由度平臺姿態數據的動感平臺模塊，獲取用戶肢體動作、并進行數據編碼的Kinect動作識別模塊，獲取用戶輸入并將其封裝的手機交互模塊，依據用戶輸入信息和肢體動作在弧幕上進行反饋的反饋模塊，以及利用立體相機并行渲染出角色視點對應的左右眼幀畫面，對左右眼幀畫面進行拼接融合后交替順序輸出，投影至弧幕上以得到立體畫面的弧幕立體渲染模塊。

所述網絡模塊，包括服務器子模塊和客戶端子模塊，進行網絡通信和數據傳遞，所述服務器子模塊，構建場景并維持其正常執行、連接客戶端并根據客戶端類型選擇向對應客戶端發送或者接收數據，最后根據接收的數據做出正確反饋；

所述客戶端子模塊，與服務器子模塊進行連接，依據自身所連接的交互設備的類型從服務器子模塊接收或發送交互數據，若接收數據，則根據接收的數據更新當前連接的交互設備的狀態。

所述手機交互模塊，利用手機內置傳感器以及手機觸摸屏獲取用戶輸入，封裝輸入數據，將數據通過網絡發送至服務器端，在場景中利用數據做出相應反饋。

所述弧幕立體渲染模塊，利用系統場景中的立體相機并行渲染出角色視點對應的左右眼幀畫面，對左右眼幀畫面進行拼接融合處理后交替順序輸出，投影至弧形金屬幕布上，從而得到立體畫面；

所述六自由度平臺由主機控制，用戶對應的虛擬角色的姿態通過平臺的六根電動缸協同工作支持平臺完成垂直向、橫向、縱向、俯仰、滾轉和搖擺六個自由度的模擬動作，通過平臺上的方向盤，油門以及剎車獲取用戶輸入以進行交互。

所述手機交互模塊通過手機內置傳感器獲取手機偏轉信息并利用偏轉信息控制手機中準星移動；通過觸摸屏獲取滑屏信息，將該信息轉化為射擊信號并與之前獲取的準星移動信息一起通過網絡傳輸的方式發送到服務器端。

所述服務器端接收數據并將其映射到場景當中，控制場景中準星的移動以及射擊。

基于上述系統的工作方法，包括以下步驟：

(1)服務器端運行系統主程序，程序自動運行系統場景并構建與用戶對應的虛擬角色；

(2)進行網絡通信，確定服務器端與客戶端的連接，確認數據交互是否正常；

(3)通過手機交互模塊、動感平臺模塊或/和Kinect動作識別模塊與場景互動交互，渲染立體相機通過用戶視點觀察場景所得的左眼幀和右眼幀，通過弧幕立體渲染模塊對左眼幀和右眼幀畫面進行處理，最后通過3臺立體投影儀將處理后的圖像交替顯示在弧形屏幕上。

所述步驟(1)中，檢查是否有三自由度座椅、六自由度平臺或仿真槍接收器接入，如果沒有系統不提供用戶與場景之間的交互，等待所有設備正常接入。

所述步驟(1)中，對系統進行預處理，使用3D投影儀將系統投射到弧幕上，在投影場景畫面之前先對弧幕進行校正并獲取弧幕拼接參數。

所述步驟(1)中，將三自由度座椅客戶端與服務器連接后，隨即等待服務器發送座椅姿態數據，當客戶端接收到姿態數據后，立即向服務器端發送一個確認信息表明服務器端發送的數據已經被客戶端成功接收，服務器接收到確認信息后才會發送下一個姿態數據，如此循環。

所述步驟(1)中，手機通過加速度傳感器計算準星移動，偏轉手機完成對手機屏幕上準星的控制，用戶點擊屏幕時客戶端獲得射擊信號，客戶端獲得準星控制數據和射擊數據后封裝數據，檢查是否接收到服務器端確認信息，若接收到信息，則將封裝好的數據發送給服務器，等待下一條確認數據，如此循環。

所述步驟(2)中，Kinect獲取用戶骨骼數據，客戶端分析骨骼數據，識別用戶動作，判斷動作是否為系統預置動作，若確認為預置動作，則將相應的動作標識發送到服務器端，服務器接收到標識，返回確認信息，客戶端接收到確認信息后則發送下一條動作標識，如此循環。

本發明的工作原理為：在系統中接入多種交互設備，通過網絡連接的方式將多個交互設備連接到一個服務器主機中，使多名用戶在觀看系統主場景時可以通過不同的交互手段進行互動，并且利用系統所包含的弧形屏幕拼接校正子系統對要投影的圖像進行拼接融合，在大型弧形屏幕上投放高分辨率圖像。該系統在目前流行的交互手段的基礎上進行了擴展，結合了多種交互設備，實現在同一互動影院場景中使用不同的交互設備進行互動體驗。首先，通過六自由度平臺所配置的方向盤、油門以及剎車等設備獲取用戶輸入，控制場景中主視角姿態，服務器端獲得姿態數據后實時同步到動感平臺客戶端，驅動平臺模擬出相應動作；用戶利用多種交互設備生成交互數據，通過客戶端將數據發送給服務器端，服務器端更新場景，實現多種輸入設備與場景的交互。

本發明的有益效果為：

(1)本發明實現了三自由度座椅、六自由度平臺(配有方向盤、油門以及剎車等交互方式)等動感平臺以及具有后坐力的仿真槍、手機和Kinect等多種交互設備的集成，交互方式豐富，用戶可以自由選擇喜歡的交互方式，交互設備代入感強，帶給用戶更加真實的體驗，解決了互動影院交互方式單一的問題；

(2)本發明采用了于大型弧幕3D立體投影的展示技術，渲染的立體畫面分辨率更高，畫面更清晰逼真，覆蓋視野面積更大，沉浸感更強，基本解決了互動影院沉浸感不足的問題；

(3)本發明由于集成了多種交互方式，玩家在交互過程中，根據所選交互方式的不同，負責不同的任務，從而實現了玩家與玩家的協同合作，更加刺激有趣；

(4)本發明實現了不同自由度動感平臺的聯動，動感平臺的模擬動作數據可以根據玩家用戶的輸入實時生成，系統模擬的動作更加逼真，帶給用戶更加真實刺激的體驗；

(5)本發明使用的互動仿真槍是專門研發的能夠模擬真實后坐力的互動槍，射擊體驗更加真實有趣，解決了一般影院互動槍代入感不足的問題；

(6)本發明除了應用在娛樂文化生活方面以外，也可以應用在虛擬軍事協同訓練、消防演練、駕駛訓練等其他領域。

附圖說明

圖1為交互及顯示設備示意圖；

圖2為動感平臺模塊結構圖；

圖3為手機交互模塊結構圖；

圖4為Kinect動作識別模塊結構圖；

圖5為仿真槍交互模塊結構圖；

圖6為渲染流程圖；

圖7為系統總架構圖。

具體實施方式：

下面結合附圖與實施例對本發明作進一步說明。

如圖1所示是系統所涉及的交互設備及顯示設備示意圖。圖中展示了系統中所涉及到的硬件類型和設備組織方式。用戶在體驗系統場景時都需要佩戴快門式立體眼鏡，用戶群中首先選擇一名用戶操作六自由度平臺，通過平臺上的方向盤、油門和剎車控制虛擬場景主視角的運動，其余用戶選擇乘坐三自由度座椅或者站立的方式觀看場景，并選擇一種交互方式與場景內容進行交互，從而實現多名用戶使用多種交互方式協同體驗場景內容。

如圖2所示是動感平臺模塊的結構示意圖。動感平臺模塊由兩部分組成:六自由度平臺和三自由度座椅。六自由度平臺由一臺主機控制，交互系統在主機上運行時，系統中用戶對應的虛擬角色的姿態通過平臺的六根電動缸協同工作支持平臺完成垂直向、橫向、縱向、俯仰、滾轉、搖擺等六個自由度的模擬動作，通過平臺上的方向盤，油門以及剎車獲取用戶輸入進而實現系統的交互，帶給用戶非凡的動感體驗。三自由度座椅也由一臺主機控制，安裝在該主機上的客戶端通過網絡與服務器主機連接，實時獲取六自由度平臺主機產生的姿態數據，并將數據傳遞給座椅，模擬出相應的動作姿態。

如圖3所示是手機交互模塊結構圖。手機交互模塊實現了用戶通過手機接入系統，與其他用戶共同體驗，是此系統能夠實現多人互動的關鍵模塊。手機交互模塊通過手機客戶端，與服務器主機進行網絡連接。客戶端通過手機內置傳感器獲取手機偏轉信息并利用偏轉信息控制手機中準星移動；通過手指滑動屏幕獲取滑屏信息，將該信息轉化為射擊信號并與之前獲取的準星移動信息一起通過網絡傳輸的方式發送到服務器端。服務器端接收數據并將其映射到場景當中，從而實現了手機控制場景中準星的移動以及射擊。在實際操作中，服務器端運行系統軟件主程序之后，用戶可以通過手機運行客戶端程序，客戶端程序會自動連接服務器端；用戶在等待連接界面結束，系統軟件主程序就緒之后就可以通過手機操作場景中對應的準星進行瞄準和射擊；退出時，只需點擊斷開連接按鈕或單擊屏幕上的“×”圖標退出程序。

如圖4所示是Kinect動作識別模塊結構圖。Kinect動作識別模塊運行在一臺獨立的主機上，該主機接有一臺Kincet2.0用來捕捉用戶動作。通過Kinect客戶端程序處理捕捉到的用戶姿態信息，識別信息后將其簡單編碼并發送到服務器端。服務器獲取編碼后，做出相應的反饋。實際運行時，客戶端程序可以識別四種簡單的人體姿態動作，服務器端在獲取客戶端發送的姿態編碼后可以依據其編碼執行編碼所對應的功能，如：揮手下劈的動作對應強力導彈攻擊指令。

如圖5所示是仿真槍交互模塊實現了仿真槍接入系統場景。本模塊直接運行在軟件主程序即服務器端，通過連接在服務器主機的仿真槍接收器獲取仿真槍的姿態及扳機信息，接收器獲取姿態及扳機信息后，處理信息，將其轉為旋轉信息和按下扳機事件。本模塊獲取屏幕中準星的位置并利用按下扳機事件控制射擊，從而實現場景中仿真槍對應的準星移動瞄準以及射擊。在實際操作中，用戶將仿真槍接收器通過USB接口連入服務器主機，等待仿真槍正常連接之后，運行軟件主程序，等待主程序就緒之后可以瞄準和射擊。

如圖6所示是該系統渲染流程圖。系統的渲染流程主要基于Unity3D引擎的基本渲染流程，并對其做出了改動，加入新的渲染過程。Unity3D引擎的基本流程首先確定要渲染的物體、光源、相機位置；然后確定物體對應的著色器；最后，確定unity渲染路徑，包括：延時光照、正向渲染以及頂點光照。系統渲染流程中初始化過程包括預處理以及校正并獲取屏幕拼接參數兩個步驟。前者的主要功能是減輕實時渲染時的計算量，提高渲染速度；后者則是獲取屏幕的拼接參數，提供屏幕拼接時所需要的參數和數據。系統對渲染過程的改進主要是增加立體渲染和屏幕拼接校正兩個部分。

具體實施步驟如下：

系統采用快門式3D技術實現場景的立體渲染，快門式3D技術需要顯示器和3D眼鏡的配合來實現3D立體效果。快門式3D技術所采用的主動式快門立體眼鏡。兩個鏡片都采用電子控制，可以根據顯示器的輸出情況進行狀態的切換，鏡片的透光、不透光切換使得人眼只能看到對應的畫面(透光狀態下)，雙眼看到不同的畫面就能夠達到立體成像的效果。

系統調節顯示系統的輸出頻率為120Hz，在引擎內部對場景左右眼相機同時進行處理并獲取兩個相機的最終圖像，利用弧形屏幕拼接校正系統對圖像進行校正融合，獲得校正后圖像并對其進行后期處理。最后將兩幅圖像按照左眼右眼或者右眼左眼的次序依次輸出到弧形屏幕上，配合觀眾所佩戴的快門式立體眼鏡觀察場景，從而實現場景的立體渲染。

如圖7所示是系統總架構圖。服務器主機上運行系統主程序，負責處理各種交互數據以及系統邏輯，通過網絡等方式連接各個客戶端設備以及影音播放設備。其中動感平臺客戶端將用戶輸入數據傳送至服務器，并將服務器端系統主程序產生的姿態數據實時傳送至各動感平臺；姿態客戶端將Kinect捕捉到的用戶姿態信息識別并編碼傳送至服務器端系統主程序進行交互；手機客戶端獲取用戶輸入的手機偏轉信息以及滑屏信息并編碼后傳送至服務器端系統主程序進行交互；互動仿真槍將姿態信息以及扳機信息通過接收器傳送至服務器端系統主程序進行交互；播放控制器負責處理音頻以及系統實時渲染的立體畫面，系統生成的立體畫面通過3臺數字投影機經過拼接校正融合后投影至弧幕上以供用戶佩戴快門式立體眼鏡進行觀看。

上述雖然結合附圖對本發明的具體實施方式進行了描述，但并非對本發明保護范圍的限制，所屬領域技術人員應該明白，在本發明的技術方案的基礎上，本領域技術人員不需要付出創造性勞動即可做出的各種修改或變形仍在本發明的保護范圍以內。