專利名稱：一種沉浸式虛擬現實系統及其實現方法
技術領域：
本發明涉及本發明涉及一種虛擬現實系統和方法，更詳細地，本發明涉及一種沉浸式虛擬現實系統和方法。
背景技術：
虛擬現實(Virtual Reality,VR)技術是一種先進的、數字化的人機接口技術,，其特點在于計算機產生一種人為虛擬的環境，生成一個以視覺感受為主，包括聽覺、觸覺的綜合感知的人工環境，人們可以通過視覺、聽覺、觸覺和加速度感等多種感覺通道感知計算機模擬的虛擬世界，也可以通過移動、語音、表情、手勢及視線等最自然的方式和虛擬世界交互，從而產生身臨其境的體驗。虛擬現實技術是計算機技術、傳感器技術、人機交互技術、人工智能技術等多種技術的綜合發展，目前已經在軍事、醫學、教育、娛樂、制造業、工程訓練等各個方面得到應用，它被認為是當前及將來影響人們生活的重要技術之一。虛擬現實系統按照沉浸性的程度不同分為沉浸式系統與非沉浸式系統。沉浸式虛擬現實系統是通過一些特殊的外部設備、高性能計算機以及相應的軟件來實現的，它使人完全沉浸到計算機創造的圖形世界里，猶如感受真實世界。沉浸式虛擬現實系統是一種高級的虛擬現實系統，它提供一個完全沉浸的體驗，讓使用者有一種置身于虛擬境界之中的感覺。它利用頭盔式顯示器或其它設備，把參與者的視覺、聽覺和其它感覺封閉起來，并提供一個新的、虛擬的感覺空間，并利用位置跟蹤器、數據手套、其它手控輸入設備、聲音等使得參與者產生一種身臨其境、全心投入和沉浸其中的感覺。沉浸式虛擬現實系統包括洞穴(CAVE)沉浸式虛擬現實系統、大屏幕三維立體沉浸式虛擬現實系統、柱面環幕投影沉浸式虛擬現實系統等，這些沉浸式虛擬現實系統以大幅面甚至是超大幅面的虛擬現實立體投影為顯示方式，為參與者提供具有高度臨場感的投入型虛擬空間環境，讓所要交互的虛擬三維世界高度逼真地浮現于參與者的眼前。然而，這些沉浸式虛擬系統需要固定場所安裝大型顯示設備才能使用，限制了其使用范圍。可佩帶顯示器的出現解決了顯示設備龐大的問題，這種顯示方式體積小，便于攜帶和運輸，最有可能得到廣泛的普及。然而，人體部位的跟蹤和數據傳輸的延時是采用可佩帶式顯示器的沉浸式虛擬現實系統所面臨的技術難題。例如CN97198214.7的空間跟蹤系統(Spatial tracking system)提供了人體部位跟蹤的解決方案，例如3DSuit動作捕捉產品和Xsens Technologies生產的MVN慣性動作捕捉產品，采用慣性傳感器等手段，對人體主要骨骼部位的運動進行實時測量。這類設備的的優點是使使用者全身心地沉浸到虛擬世界中去，缺點是系統設備復雜，價格昂貴，難以普及推廣。

發明內容
由于本發明人廣泛而深入的研究，本發明人提出了根據本發明的技術方案，使得上述問題能夠被解決。
本發明提供了一種沉浸式虛擬現實系統，所述系統至少包括:至少一個可佩帶在使用者身體上的顯示器，至少一個動作捕捉裝置，以及至少一個數據處理裝置；其中，所述顯示器用于向使用者顯示圖像和聲音，并用于捕捉使用者的頭部轉動動作，并將頭部轉動動作數據發送至至少一個所述數據處理裝置，以及接收至少一個所述數據處理裝置發送的數據，并向使用者傳遞虛擬環境的視頻和/或音頻；所述動作捕捉裝置捕捉使用者主要節點部位的運動軌跡，并將運動軌跡數據發送至至少一個所述數據處理裝置；所述數據處理裝置用于處理從至少一個所述顯示器和至少一個所述動作捕捉裝置獲取并傳輸至所述數據處理裝置的數據，并將處理后的結果發送至至少一個顯示器。根據本發明的沉浸式虛擬現實系統，優選所述顯示器包括至少一個角度感應裝置。所述角度感應裝置至少能捕獲圍繞z軸的旋轉動作，優選所述角度感應裝置是電子指南針。還優選所述角度感應裝置能感應圍繞X、y和Z三個軸的旋轉動作,更優選所述角度感應裝置是三軸陀螺儀。根據本發明的沉浸式虛擬現實系統，優選所述動作捕獲裝置包括至少一個紅外線發射器和至少一個紅外線攝像頭。更優選所述動作捕獲裝置是體感攝影機，最優選所述動作捕獲裝置是Kinect體感攝影機和/或WAVI Xtion體感攝影機。根據本發明的沉浸式虛擬現實系統，優選所述數據處理裝置是電腦，例如PC機、筆記本電腦；個人數字助理(Personal Digital Assistant, PDA),例如戴爾公司生產的Dell Axim X51V掌上電腦；平板電腦，例如蘋果公司生產的iPad和iTouch、惠普公司生產的TouchPad ;移動電話，例如蘋果公司生產的iPhone，諾基亞公司生產的Nokia N85 ;音頻處理終端，例如MP3和iPod ;視頻處理終端，例如MP4 ;和/或游戲機，例如PS2、PS3、PSP、NGC、NDSL、XBOX、Wi 1、GBA、3DS 和 NDS。根據本發明的沉浸式虛擬現實系統，至少一個顯示器(C0M1)、至少一個動作捕獲裝置(COM2)和至少一個數據處理裝置(COM3)組成一個VRS。根據本發明的虛擬現實系統也可以由多個VRS構成。根據本發明的沉浸式虛擬現實系統，其還包括至少一個數據交換裝置，用于處理多個VRS之間的數據傳輸。優選所述數據交換裝置是電腦、個人數字助理、平板電腦、移動電話、音頻處理終端、視頻處理終端和/或游戲機。根據本發明的沉浸式虛擬現實系統，所述顯示器與所述動作捕捉裝置、所述顯示器與所述數據處理裝置和/或所述動作捕捉裝置與所述數據處理裝置之間的傳輸速度優選不小于18432000bps (bit per second,比特每秒),更優選不小于55296000bps,更優選不小于55296000bps，還更優選不小于147456000bps。優選數據傳輸裝置采用WHDI傳輸方式。本發明還提供了一種實現沉浸式虛擬現實的方法，所述方法至少包括以下部分:通過至少一個動作捕獲裝置捕獲使用者主要節點部位的運動軌跡，并將運動軌跡數據發送至至少一個數據處理裝置，通過至少一個顯示器捕獲使用者的頭部轉動動作，并將頭部轉動動作數據發送至至少一個所述數據處理裝置，通過至少一個所述數據處理裝置處理來自所述動作捕獲裝置和所述顯示器的數據，并將處理后的數據發送至至少一個所述顯示器；通過至少一個所述顯示器將從至少一個所述數據處理裝置接收到的處理后的數據轉換為視頻和/或音頻，使使用者能感受到跟隨自己動作變化的虛擬現實環境。根據本發明的實現沉浸式虛擬現實的方法，優選所述顯示器包括至少一個角度感應裝置。所述角度感應裝置至少能捕獲圍繞z軸的旋轉動作，優選所述角度感應裝置是電子指南針。還優選所述角度感應裝置能感應圍繞X、y和Z三個軸的旋轉動作,更優選所述角度感應裝置是三軸陀螺儀。根據本發明的實現沉浸式虛擬現實的方法，優選所述動作捕獲裝置包括至少一個紅外線發射器和至少一個紅外線攝像頭。更優選所述動作捕獲裝置是體感攝影機，最優選所述動作捕獲裝置是Kinect攝像頭和/或WAVI Xtion攝像頭。根據本發明的實現沉浸式虛擬現實的方法，優選所述數據處理裝置是電腦，例如PC機、筆記本電腦；個人數字助理(Personal Digital Assistant, PDA),例如戴爾生產的Dell Axim X51V掌上電腦；平板電腦，例如蘋果公司生產的iPad和iTouch、惠普公司生產的TouchPad ;移動電話，例如蘋果公司生產的iPhone，諾基亞公司生產的Nokia N85 ;音頻處理終端，例如MP3和iPod ;視頻處理終端，例如MP4 ;和/或游戲機，例如PS2、PS3、PSP、NGC、NDSL、XBOX、Wi 1、GBA、3DS 和 NDS。根據本發明的實現沉浸式虛擬現實的方法，至少一個顯示器(C0M1)、至少一個動作捕獲裝置(COM2)和至少一個數據處理裝置(COM3)組成一個VRS。根據本發明的虛擬現實系統也可以由多個VRS構成。根據本發明的實現沉浸式虛擬現實的方法，其還包括通過至少一個數據交換裝置處理多個VRS之間的數據傳輸。優選所述數據交換裝置是電腦、個人數字助理、平板電腦、移動電話、音頻處理終端、視頻處理終端和/或游戲機。根據本發明的實現沉浸式虛擬現實的方法，所述顯示器與所述動作捕捉裝置、所述顯示器與所述數據處理裝置和/或所述動作捕捉裝置與所述數據處理裝置之間的傳輸速度優選不小于18432000bps (bit per second,比特每秒)，更優選不小于55296000bps,更優選不小于36864000bps，還更優選不小于147456000bps。優選數據傳輸裝置采用WHDI傳
輸方式。。


附圖1是根據本發明的顯示器的結構圖；附圖2a_2d是根據本發明的x、y和z軸的示意圖；附圖3是根據本發明的顯示器的工作原理圖；附圖4是根據本發明的動作捕獲裝置的結構圖；附圖5是根據本發明的動作捕獲裝置能夠捕獲的人體主要節點部位示意圖；附圖6是根據本發明的數據處理裝置的結構圖；附圖7是根據本發明的數據處理裝置的工作原理圖；附圖8是根據本發明的數據交換裝置的工作原理附圖9是根據本發明的實施例1的沉浸式虛擬現實系統的拓撲結構圖；附圖10是根據本發明的實施例2的沉浸式虛擬現實系統的拓撲結構圖；附圖11是根據本發明的實施例3的沉浸式虛擬現實系統的拓撲結構圖；附圖12是根據本發明的實施例4的沉浸式虛擬現實系統的拓撲結構圖；附圖13是根據本發明的實施例5的沉浸式虛擬現實系統的拓撲結構圖；附圖14是根據本發明的實施例6的沉浸式虛擬現實系統的拓撲結構圖。
具體實施例方式下面，將結合附圖更為詳細地闡述本發明。說明書中出現的實例僅用于解釋、闡述和說明本發明，具有包括但不限于的含義，而不意味著對本發明的內容有任何形式的限制。顯示器(COMl)用于向使用者傳遞虛擬環境的視頻和/或音頻，使使用者產生身臨其境的感受；并且包括至少一個角度感應裝置，所述角度感應裝置用于捕獲頭部轉動動作，所述頭部轉動動作包括頭部的旋轉動作和小幅度偏轉動作。顯示器(COMl)還可以用于實現使用者與其它使用者之間的語音溝通。參照附圖1，顯示器(COMl)具有顯示裝置(101)，話筒(102)，耳機(103)，角度感應裝置(104)，信號處理裝置(106)，以及數據傳輸裝置(105)。顯示裝置(101)是用于顯示圖像的部分，為了便于使用者感受到更為逼真的視覺效果，顯示裝置(101)的位置通常在人的眼部附近，該顯示裝置可以是CRT、IXD等任何顯示設備。話筒(102)是用于捕獲聲音，并將聲音信號轉換為模擬信號的裝置，一般安置在人的口部附近。耳機(103)是將模擬信號轉換為聲音信號，并將聲音播出的裝置，一般安置在人的耳部附近。角度感應裝置(104)能感應圍繞z軸的旋轉動作，更好地，角度感應裝置(104)能夠感應圍繞X、y和z三個軸的旋轉動作。如圖2所示，所述圍繞z軸的旋轉動作是指使用者頭部以豎直方向為軸的旋轉動作，即，產生轉動(yaw)(a)角變化的動作，例如使用者運動或基本靜止狀態下頭部左右轉動動作，也包括例如使用者直立站立或坐立狀態下頭部和身體幾乎無位移或位移很小的情況下的頭部左右轉動動作。所述圍繞X、y和z三個軸的旋轉動作是指除了圍繞z軸的旋轉動作以外,還包括使用者頭部沿豎直方向的軸向運動動作，即，產生轉動(yaw)角(α)、偏轉(pitch)角(β)和俯仰(roll)角(Y),例如使用者的任何頭部轉動動作，包括頭部轉動動作、點頭動作、后仰動作、擺頭動作等，當然也包括例如使用者直立站立或坐立狀態下頭部和身體幾乎無位移或位移很小的情況下的頭部轉動動作、點頭動作、后仰動作、擺頭動作。在前一種情況下，角度感應裝置(104)可以是電子指南針；在后一種情況下，角度感應裝置(104)可以是三軸陀螺儀。角度感應裝置(104)使得頭部的旋轉動作和小幅度的偏轉動作能夠被根據本發明的沉浸式虛擬現實系統所識別，彌補了動作捕獲裝置(COM2)難以識別頭部的旋轉動作和小幅度偏轉動作的缺陷，能夠輔助數據處理裝置(COM3)渲染對應的視頻圖形，使得根據本發明的沉浸式虛擬現實系統能夠為使用者帶來更為逼真的模擬現實效果。信號處理裝置(106)是顯示器(COMl)的中央控制部分，用于處理顯示器(COMl)接收和/或捕獲到的數據。例如，如附圖3所示，信號處理裝置(106)具有圖像處理裝置(1061)、聲音處理裝置(1062)、控制裝置(1063)和存儲裝置(1064)。其中，圖像處理裝置(1061)將接收到的文字、圖形的數字信號轉換成模擬信號，并將模擬信號傳輸至顯示裝置
(101)顯示；例如，圖像處理裝置(1061)可以是顯卡。聲音處理裝置(1062)將從話筒(102)接收到的聲音的模擬信號轉換成數字信號，并傳輸給數據處理裝置(COM3);也將來自數據處理裝置(COM3)的聲音數字信號轉換成模擬信號，并發送給耳機(103)播放；例如聲音處理裝置(1062)可以是聲卡。控制裝置(1063)用于控制顯示器(COMl)的所有程序執行，協調外部設備操作；控制裝置(1063)可以是中央處理器(CPU)。存儲裝置(1064)用于存儲顯示器(COMl)的程序和數據；存儲裝置(1064)可以是內存和/或硬盤。數據傳輸裝置
(105)是用于顯示器(COMl)與其他裝置(例如數據處理裝置(COM3))之間數據傳輸，可采用 WHD1、WiF1、Ethernet Net、RF、USB 等方式。動作捕獲裝置(COM2)用于捕獲使用者主要節點部位的運動軌跡，其至少包括至少一個紅外線發射器(201)和至少一個紅外線攝像頭(202)。如附圖4所示，動作捕獲裝置(COM2)還可以包括控制器(203)，輸出接口(205)，以及追焦馬達(204)。使用時，動作捕獲裝置(COM2)面向使用者，使得使用者的活動范圍落入動作捕獲裝置(COM2)的測量空間中。動作捕獲裝置(COM2)還可以包括彩色攝像頭用于拍攝彩色圖像。紅外線發射器(201)用于在在動作捕獲裝置(COM2)的測量空間中均勻投射紅外光，所述測量空間是紅外線發射器(201)所能覆蓋的范圍。紅外線攝像頭(202)(又稱單色CMOS傳感器或紅外CMOS傳感器)用于記錄測量空間中的散斑數據，并將所得數據傳輸給控制器(203)。控制器(202)用于處理來自紅外線攝像頭(202)的數據，完成對人體主要節點部位的動作捕獲，處理后的數據通過輸出接口(205)傳遞給相連的其他裝置(例如數據處理裝置(COM3))。追焦馬達(204)用于調整攝像設備的上下左右角度，以確保測量空間能更好得覆蓋人體對象。紅外線發射器(201)向空間連續發射的均勻紅外光照射到粗糙物體(如人體表面或衣物表面)上時，形成隨機的反射斑點，即散斑。散斑具有高度隨機性，也會隨著距離而變換圖案，空間中任何兩處的散斑都會是不同的圖案，相當于將整個空間加上了標記，所以任何物體進入該空間、以及移動時，都可以確切記錄到該物體的位置。紅外線攝像頭(202)可以記錄空間中出現的散斑，從而獲取散斑信息，并傳輸給控制器(203)。控制器(203)根據來自紅外線攝像頭(202)的數據形成具有3D深度的圖像數據，并進行例如人體結構識別、人體骨骼模型建立等處理。人體結構識別采用機器學習技術(machine learning),建立大量的圖像資料庫。將3D深度人體圖像的每個像素傳輸至圖像資料庫中，以辨別像素分別屬于哪個身體部位的可能性，從而確定人體部位。為了減輕計算量，可以采取分割遮罩技術，即將背景物體剔除，在處理流程中僅傳送分割遮罩的部分，同時可以通過組合人體的基本面部數據和骨架數據來識別測量空間中每個人的身份。骨骼模型處理，是通過評估輸出的像素來確定活動關節點，然后根據活動關節點生成骨骼系統，并準確地評估人體實際所處位置。同時在控制器(203)中預存多個常見的人體姿勢，以便在接收到的圖像數據采集信息不全面時能夠猜測并匹配出玩家的動作。如附圖5所示，動作捕獲裝置(COM2)捕獲的人體動作軌跡，一般來說包括人體主要節點部位的運動軌跡，人體主要節點部位的運動軌跡一般是指人體主要節點部位在空間的位移軌跡，所述主要節點部位至少包括頭部、手部、肘部、肩部、腰部、膝部和/或腳部，還可以包括髖部、腕部和/或踝部。動作捕獲裝置(COM2)可以是體感攝影機，其可以通過商業方式獲取，例如微軟公司的Kinect體感攝影機，或者華碩公司的WAVI Xtion體感攝影機。然而，雖然動作捕獲裝置(COM2)能夠捕獲使用者主要節點部位的運動軌跡，但是其難以或不能識別頭部轉動動作。所述頭部轉動動作包括頭部的旋轉動作和/或小幅度偏轉動作；頭部的旋轉動作是指頭部相對于軀體幾乎不產生位移或產生很小位移的以頸椎為軸的旋轉動作，例如扭頭動作，當然也包括使用者直立站立或坐立狀態下頭部和身體幾乎無位移或位移很小的情況下的扭頭動作、搖頭動作；頭部的小幅度偏轉動作是指頭部相對于軀體產生很小位移的擺動動作，例如幅度較小的擺頭動作，當然也包括使用者直立站立或坐立狀態下頭部和身體幾乎無位移或位移很小的情況下的點頭動作、頭部后仰動作或擺頭動作。然而這些頭部轉動動作會使使用者的視角發生很大的變化，因而虛擬現實系統必須要能夠識別這些動作，并使系統模擬的虛擬環境對上述動作有所反應和變化。經過本發明人廣泛而深入的研究，根據本發明，在顯示器(COMl)上安裝角度感應裝置(104)能夠解決這個問題，角度感應裝置(104)至少能夠感應圍繞z軸的旋轉動作，當使用者頭部作出旋轉動作，例如扭頭或搖頭時，角度感應裝置(104)能夠感應到使用者的動作并發送相關數據，數據處理裝置(COM3)接收到相關數據并進行處理，將處理后的數據發送回顯示器(COMl)，使使用者能從顯示器(COMl)感受到(例如看見和/或聽見)隨著扭頭動作進行而產生的虛擬環境變化，使使用者有更好的身臨其境的感受。更好地，角度感應裝置(104)能夠感應圍繞X、y和z三個軸的旋轉動作，即能夠感應使用者的任何頭部轉動動作。當使用者頭部作出旋轉動作和/或小幅度偏轉動作，例如即使是扭頭和/或幅度較小的擺頭、點頭動作時，角度感應裝置(104)也能夠感應到使用者的動作并發送相關數據，數據處理裝置(COM3)接收到相關數據并進行處理，將處理后的數據發送回顯示器(COMl)，使使用者能從顯示器(COMl)感受到(例如看見和/或聽見)隨著動作進行而產生的虛擬環境變化，使使用者有更好的身臨其境的感受。數據處理裝置(COM3)用于處理從顯示器(COMl)和動作捕獲裝置(COM2)獲取的數據，并將處理后的結果發送至顯示器(COMl)。如附圖6所示，數據處理裝置(COM3)通常包括控制器(301)，運算器(302)，存儲器(303)，輸入裝置(304)，以及輸出裝置(305)。控制器(301)用于控制程序執行，其根據存儲器中的指令序列(程序)工作，并控制執行指令，根據指令控制機器的各部件協調操作。運算器(302)用于進行數據加工處理，例如各種算術、邏輯運算等。存儲器(303)用于記憶程序和數據，例如以二進制代碼形式存放程序和數據。輸入裝置(304)用于將外接裝置發送的數據輸入運算器(302)。輸出裝置(305)用于將運算器(302)處理完的數據輸出至外接裝置。所述外接裝置例如顯示器(COMl)、動作捕獲裝置(COM2)、數據交換裝置(COM4)、鼠標、鍵盤和/或觸摸式顯示屏(例如電容屏或電阻屏)。輸入設備(304)把需要的程序和數據傳輸至運算器(302)，再通過運算器(302)存于存儲器(303)。在運算處理過程中，數據從存儲器(303)讀入運算器(302)進行運算，運算結果存入存儲器(303)，或由運算器(302)經輸出設備(305)輸出。指令也以數據形式存于存儲器(303)中，運算時指令由存儲器(303)送入控制器(301)，由控制器(301)產生控制流以控制數據流的流向以及控制各部件的工作，對數據流進行加工處理。數據處理裝置(COM3)可以是例如電腦，例如PC機、筆記本電腦；個人數字助理(Personal Digital Assistant, PDA),例如戴爾公司生產的 Dell AximX51V 掌上電腦；平板電腦，例如蘋果公司生產的iPad和iTouch、惠普公司生產的TouchPad ;移動電話，例如蘋果公司生產的iPhone，諾基亞公司生產的Nokia N85音頻處理終端，例如MP3和iPod ;視頻處理終端，例如 MP4 ;和 / 或游戲機，例如 PS2、PS3、PSP、NGC、NDSL, XBOX, Wi1、GBA、3DS 和NDS。數據處理裝置(COM3)的工作原理如附圖7所示。數據處理裝置(COM3)負責對接收到的數據進行數據處理(701)。接收到的數據是本地使用者輸入數據(702)和/或遠程使用者輸入數據(703)。本地使用者輸入數據(702)是指從本地使用者處獲取的數據，包括例如通過本地顯示器(COMl)的話筒(102)捕獲的音頻數據、通過本地顯示器(COMl)的角度感應裝置(104)獲取的頭部轉動動作數據、通過本地動作捕獲裝置(COM2)獲取的本地使用者人體動作軌跡數據等。遠程使用者輸入數據(703)是指從遠程使用者處獲取并被發送到本地的數據，包括例如通過遠程顯示器(C0M1’)的話筒(102’)捕獲的音頻數據、通過遠程顯示器(C0M1’ )的角度感應裝置(104’ )獲取的頭部轉動動作數據、通過遠程動作捕獲裝置(COM2’ )獲取的遠程使用者人體動作軌跡數據等。數據處理(701)通常包括數據獲取模塊(7011)、輸入數據整理模塊(7012)、數據處理模塊(7014)、3D渲染模塊(7016)、音頻渲染模塊(7015)和輸出數據整理模塊(7017)，并且還包括本地數據輸出模塊(7018)和/或遠程數據輸出模塊(7013)。數據獲取模塊(7011)獲取本地使用者輸入數據(702)和/或遠程使用者輸入數據(703)，并將數據傳輸至輸入數據整理模塊(7012)。輸入數據整理模塊(7012)將接收到的數據分門別類并整理為數據處理模塊所能使用的數據格式，例如圖像數據BITMAP、音頻數據MP3、視頻數據MPEG4等，并將整理后的數據傳輸給數據處理模塊(7014)和/或遠程數據輸出模塊(7013)。在有遠程使用者的情況下遠程數據輸出模塊(7013)將所有本地使用者輸入數據，發送給各個遠程使用者所在的沉浸式虛擬現實系統的數據處理裝置(COM3’)。遠程使用者輸出數據(705)是本地虛擬現實系統發送給其他虛擬現實系統數據處理裝置(COM3’，即遠程使用者所在的沉浸式虛擬現實系統的數據處理裝置)的數據，其包括本地虛擬現實系統顯示器(COMl)的話筒(102)捕獲的音頻數據、顯示器(COMl)的角度感應裝置(104)獲取的頭部轉動動作數據、通過本地動作捕獲裝置(COM2)獲取的本地使用者人體動作軌跡數據等。數據處理模塊(7014)處理所接收到的整理后的數據，布置虛擬三維環境，將遠程使用者與本地使用者放在虛擬現實環境中的各自位置上，并且設置遠程使用者及本地使用者的肢體姿勢與頭部角度，依照本地使用者的頭部角度，將3D攝像機(所述3D攝像機是由電腦系統運算而構建的虛擬三維空間內的一個組成概念，其作用是定義一個指定位置方向及視野等信息的虛擬攝像機概念，以便根據該虛擬攝像機來渲染出一副三維空間內的畫面。通常使用者所觀察到的3D場景內的畫面即為該3D場景內的3D攝像機所拍攝的畫面。3D攝像機不負責渲染畫面，只是決定了所要拍攝的內容。)的位置設置在本地使用者的眼部。數據處理模塊(7014)將處理后的數據發送3D渲染模塊(7016)和/或音頻渲染模塊(7015)。音頻渲染模塊(7015)依照每個本地使用者所在虛擬現實環境中的位置，渲染該使用者所聽到的環境音頻及其他使用者所發出的音頻；優選音頻音量根據音源與該使用者在虛擬現實環境中的距離進行調整，例如距離較近則音頻音量較大，距離較遠則音頻音量較小。3D渲染模塊(7016)依照設置好的攝像機分別渲染各個本地使用者所看到的視頻畫面。3D渲染模塊(7016)和音頻渲染模塊(7015)將渲染后的數據發送至輸出數據整理模塊(7017)。輸出數據整理模塊(7017)將已經渲染好的畫面與音頻數據分門別類整理好以待發送給本地使用者佩帶的顯示器(COMl);在有多個本地使用者的情況下，輸出數據整理模塊(7017)將已經渲染好的畫面與音頻數據分門別類整理好以待發送給各個對應的本地使用者佩帶的顯示器(COMl)。輸出數據整理模塊(7017)將整理好的數據發送給本地數據輸出模塊(7018)。本地數據輸出模塊(7018)將整理后的數據，即本地使用者輸出數據(704)發送至對應的本地使用者佩帶的顯示器(COMl)。本地使用者輸出數據(704)是經過數據處(701)處理后傳輸至本地使用者的數據，其包括處理后的遠程使用者話筒(102’)捕獲的音頻數據、虛擬環境中的其他音頻數據、虛擬環境中的視頻數據等。至少一個顯示器(COMl)、至少一個動作捕獲裝置(COM2)和至少一個數據處理裝置(COM3)組成一個VRS。具有一個顯示器(COMl)、一個動作捕獲裝置(COM2)和一個數據處理裝置(COM3)的根據本發明的虛擬現實系統稱為VRS-SM，具有兩個以上顯示器(C0M1)、一個動作捕獲裝置(COM2)和一個數據處理裝置(COM3)的根據本發明的虛擬現實系統稱為VRS-MM。根據本發明的虛擬現實系統也可以由多個VRS構成。數據交換裝置(COM4)用于處理多個VRS(例如兩個以上VRS-SM，或者兩個以上VRS-MM，或者一個以上VRS-SM和一個以上VRS-MM)之間的數據傳輸(多個使用者遠程交互的數據交換)，并且還可用于實現與之相連接的多個VRS所需要的共有虛擬環境。數據交換裝置(COM4)將不同VRS之間交互的數據進行轉發，使這些使用者即使在遠程也可以獲得身處同一場景的感受，進行交互交流。這些交互的數據主要包括使用者的肢體動作、語音等基本必要數據。數據交換裝置(COM4)擁有場景數據和所有使用者的數據，才能處理所有參與者在場景內所做的任意事件。在多個使用者遠程交互的處理上數據交換裝置(COM4)是一個必不可少的關鍵部件。即，例如數據交換裝置(COM4)接收數據處理裝置(COM3)傳出的數據，如有需要在對所接收數據(使用者數據)進行處理和/或增加數據信息(例如場景信息)后，傳輸給另一個數據處理裝置(COM3’ );同時也將數據處理裝置(COM3’ )傳出的數據，如有需要在對所接收數據進行處理和/或增加數據信息后，傳輸給數據處理裝置(COM3)。而數據處理裝置(COM3)將來自數據交換裝置(COM4)的數據轉發給本地VRS內的所有使用者，并根據來自數據交換裝置(COM4)的數據，渲染出圖像，使之能看到數據交換裝置(COM4)所連接的其他VRS上使用者和聽到他們的聲音。在多個VRS的系統中，數據處理裝置(COM3)為數據交換裝置(COM4)提供數據轉發并負責渲染圖像。在單個VRS的系統中，數據處理裝置(COM3)為數據交換裝置(COM4)的工作可以在同一個裝置上完成。如圖8所示，數據交換裝置(COM4)通常包括控制器(401)，運算器(402)，存儲器(403)，輸入裝置(404)，以及輸出裝置(405)。控制器(401)用于控制程序執行，其根據存儲器中的指令序列(程序)工作，并控制執行指令，根據指令控制機器的各部件協調操作。運算器(402)用于進行數據加工處理，例如各種算術、邏輯運算等。存儲器(403)用于記憶程序和數據，例如以二進制代碼形式存放程序和數據。輸入裝置(404)用于將外接裝置發送的數據輸入運算器(402)。輸出裝置(405)用于將運算器(402)處理完的數據輸出至外接裝置。所述外接裝置例如數據處理裝置(COM3)、鼠標、鍵盤和/或觸摸式顯示屏(例如電容屏或電阻屏)。輸入設備(404)把需要的程序和數據傳輸至運算器(402)，再通過運算器(402)存于存儲器(403)。在運算處理過程中，數據從存儲器(403)讀入運算器(402)進行運算，運算結果存入存儲器(403)，或由運算器(402)經輸出設備(405)輸出。指令也以數據形式存于存儲器(403)中，運算時指令由存儲器(403)送入控制器(401)，由控制器(401)產生控制流以控制數據流的流向以及控制各部件的工作，對數據流進行加工處理。數據交換裝置(COM4)可以是例如電腦，例如PC機、筆記本電腦；個人數字助理(Personal Digital Assistant,PDA),例如戴爾公司生產的Dell AximX51V掌上電腦；平板電腦，例如蘋果公司生產的iPad和iTouch、惠普公司生產的TouchPad ;移動電話，例如蘋果公司生產的iPhone，諾基亞公司生產的Nokia N85 ;音頻處理終端，例如MP3和iPod ;視頻處理終端，例如 MP4 ;和 / 或游戲機，例如 PS2、PS3、PSP、NGC、NDSL, XBOX, Wi1、GBA、3DS 和NDS。在一個根據本發明的虛擬現實系統中，數據處理裝置(COM3)和數據交換裝置(COM4)可以是同一個裝置。優選在一個根據本發明的虛擬現實系統中，數據處理裝置(COM3)和數據交換裝置(COM4)不是同一個裝置。根據本發明的虛擬現實系統，顯示器(C0M1)、動作捕獲裝置(COM2)、數據處理裝置(COM3)和數據交換裝置(COM4)之間的數據傳輸通過數據傳輸裝置(例如數據傳輸裝置(105)、輸出接口(205)、輸入裝置(304)、輸出裝置(305)、輸入裝置(404)和/或輸出裝置(405))進行，所述數據傳輸裝置采取的數據傳輸方式可以是有線傳輸，也可以是無線傳輸。然而采用有線傳輸方式時，數據傳輸裝置上的連接線有可能會干擾使用者的活動，影響使用者的體驗，因而，根據本發明，數據傳輸裝置優選采用無線傳輸方式，例如藍牙、紅外、Wif1、WHDI等。采用無線傳輸時，最主要的問題在于傳輸速度，系統捕獲到使用者在三維空間的運動，然后將使用者在虛擬現實環境中“應該”體驗到的視覺和/或聽覺感受傳送給使用者，如果由于傳輸速度產生延時，使用者感受到的可能是數秒以前的體驗，這樣會大大削弱虛擬現實系統的功能。使用者所感覺到的延時主要來自于本地數據傳輸的傳輸延時，即在虛擬現實系統的每一個VRS內各裝置之間傳輸(顯示器與動作捕捉裝置、顯示器與數據處理裝置和/或動作捕捉裝置與所述數據處理裝置之間的傳輸)而引起的延時。傳輸延時分為輸入延時(例如顯示器(C0M1)和/或動作捕獲裝置(COM2)向數據處理裝置(COM3)傳輸信息產生的延時)和輸出延時(例如數據處理裝置(COM3)向動作捕獲裝置(C0M1)傳輸信息產生的延時)。輸入延遲，由于輸入內容主要是由人體動作產生的數據及語音數據，數據量相對較小，對傳輸媒介帶寬要求相對較低。而輸出延遲，由于傳輸的是連續圖形序列及音頻，所以數據量相對較大，對傳輸媒介帶寬相對較高。因而，根據本發明，還優選數據傳輸裝置的傳輸速度不小于18432000bps (bit per second,比特每秒)，更優選不小于55296000bps，更優選不小于55296000bps，還更優選不小于147456000bps。更優選數據傳輸裝置米用WHDI (Wireless Home Digital Interface,即無線家庭數字接口)傳輸方式。WHDI能夠實現高達3Gbps的數據傳輸速度，工作范圍可達30米，可穿透墻壁，發送數據延遲能夠小于I毫秒。采用該技術的數據傳輸裝置能夠在市場上獲得，例如AMMON公司的MIPS-Based 芯片或 AMN2120/AMN2220 芯片。根據本發明的沉浸式虛擬現實系統可以用于游戲、科研、多媒體、娛樂、仿真、遠程會議等多個方面。現在將結合實施例更為詳盡地闡述本發明，實施例所列舉的方式僅僅是根據本發明典型的實例，僅用于說明本發明，而不意味著對本發明進行任何限制。
實施例實施例1一個根據本發明的沉浸式虛擬現實系統(VRS 1，如附圖9所示)，包括一個顯示器(COMl)，一個動作捕獲裝置(COM2)，一個數據處理裝置(COM3)。顯示器(COMl)是雙眼式頭戴視頻顯示器，具有一個顯示裝置(Myvu公司SolidOptex 透射式微型液晶顯示屏)、一個話筒(鐵三角PRO 51Q)、一個耳機(森海塞爾PX80)、一個角度感應裝置(電子指南針，日本旭化成株式會社AK8973數字羅盤芯片)、一個信號處理裝置和一個數據傳輸裝置(意法半導體公司生產的STLC4420型WiFi芯片)，其中，所述信號處理裝置包括圖像處理裝置(Kopin 生產的 Microdisplay Controller (Custom) KCD-A210-BA,集成在 Myvu 公司
SolidOptex 透射式微型液晶顯示屏上)、聲音處理裝置(基于I2S總線的UDA1341解碼
芯片)、控制裝置(帶有I2C總線接口的Samsung S3C2440芯片)和存儲裝置(兩片并接的K4S511632B-CL75、512M bytes 的 SDRAM 芯片)。顯示器(C0M1)電源部分采用 MCP1700 低壓差穩壓芯片供電。根據上述芯片的電器特性，設計本實施例顯示器(C0M1)的電路圖，按照電路圖完成印刷電路板(Printed circuit board, PCB)的設計和制作,組裝形成顯示器(C0M1)。動作捕獲裝置(COM2)是一個體感攝影機(微軟公司Kinet攝像頭)，數據處理裝置(COM3)是一臺電腦(外接TP-LINK公司生產的TL-WN321G型無線上網卡的聯想家悅E2565臺式電腦)。顯示器(C0M1)開機后，初始化Samsung S3C2440芯片、UDA1341解碼芯片、AK8973數字羅盤芯片和STLC4420芯片，然后在控制裝置SamsungS3C2440芯片中執行主程序循環。在主程序循環中，控制裝置獲得來自角度傳感器和話筒的數據、通過數據傳輸裝置來自數據處理裝置(COM3)的數據并存儲在存儲裝置中，并通過數據傳輸裝置將來自角度傳感器和話筒的數據發送給數據處理裝置(COM3)，將需要輸出的影音數據輸出到顯示裝置和耳機。動作捕獲裝置(COM2)將用戶的動作捕獲后，生成深度圖數據，然后由深度圖數據轉換為骨骼動作數據，并將骨骼動作數據發送給數據處理裝置(COM3)。數據處理裝置(COM3)根據事先寫入其中的實現虛擬現實的模擬程序處理來自顯示器(C0M1)和動作捕獲裝置(COM2)的數據，得到虛擬場景信息，包括例如使用者在場景中的位置、肢體及頭部動作、聲音等信息，并轉化為音視頻信息發送給顯示器(C0M1)。顯示器(C0M1)收到來自數據處理裝置(COM3)生成的音視頻信息后，將該數據儲存在起存儲裝置內，并將需要輸出的音頻數據輸出至耳機，將需要輸出的視頻數據輸出至顯示裝置。顯示器(C0M1)與數據處理裝置(COM3)之間采用WiFi實現數據傳輸，動作捕獲裝置(COM2)與數據處理裝置(COM3)按說明書進行有線連接。運行結果表明根據本發明的沉浸式虛擬現實系統(VRSl)能夠正常地執行虛擬現實模擬程序，無明顯延遲。實施例2一個根據本發明的沉浸式虛擬現實系統(VRS2，如附圖10所示)，包括三個顯示器(C0M1)，一個動作捕獲裝置(COM2)，一個數據處理裝置(COM3)。顯示器(C0M1)除了角度感應裝置采用三軸陀螺儀(霍尼韋爾公司HMC5883L三軸磁阻傳感器)，信號傳輸裝置采用CAT6023芯片外，與實施例1中的顯示器(COMl)相同。動作捕獲裝置(COM2)是一個體感攝影機(微軟公司Kinet攝像頭)，數據處理裝置(COM3)是一臺游戲機(外接SEAMON公司生產的SEM-ST1011型WHDI STICK的索尼PlayStation 2)。顯示器(COMl)開機后，初始化Samsung S3C2440芯片、UDA1341解碼芯片、HMC5883L三軸磁阻傳感器和CAT6023芯片，然后在控制裝置SamsungS3C2440芯片中執行主程序循環。在主程序循環中，每個控制裝置獲得來自各自角度傳感器和話筒的數據、通過各自數據傳輸裝置來自數據處理裝置(COM3)的數據并存儲在各自的存儲裝置中，并通過各自的數據傳輸裝置將來自各自角度傳感器和話筒的數據發送給數據處理裝置(COM3)，將需要輸出的影音數據輸出到各自的顯示裝置和耳機。動作捕獲裝置(COM2)將用戶的動作捕獲后，生成深度圖數據，然后由深度圖數據轉換為骨骼動作數據，并將骨骼動作數據發送給數據處理裝置(COM3)。數據處理裝置(COM3)根據事先寫入其中的實現虛擬現實的模擬程序處理來自顯示器(COMl)和動作捕獲裝置(COM2)的數據，處理所有使用者的的交互關系，得到虛擬場景信息，包括例如各個使用者在場景中的位置、肢體及頭部動作、聲音、交互的場景信息等信息，并轉化為音視頻信息發送給對應的顯示器(COMl)。顯示器(COMl)收到來自數據處理裝置(COM3)生成的音視頻信息后，將該數據儲存在起各自的存儲裝置內，并將需要輸出的音頻數據輸出至各自的耳機，將需要輸出的視頻數據輸出至各自的顯示裝置。顯示器(COMl)與數據處理裝置(COM3)之間采用WHDI實現數據傳輸，動作捕獲裝置(COM2)與數據處理裝置(COM3)按說明書進行有線連接。運行結果表明根據本發明的沉浸式虛擬現實系統(VRS2)能夠正常地執行虛擬現實模擬程序，無明顯延遲。實施例3一個根據本發明的沉浸式虛擬現實系統(如附圖11所示)，由兩個相同的沉浸式虛擬現實系統(VRS3和VRS3’ )組成，VRS3除了顯示器(COMl)中的角度感應裝置采用三軸陀螺儀(霍尼韋爾公司HMC5883L三軸磁阻傳感器)，信號傳輸裝置采用CAT6023芯片，數據處理裝置(COM3)是外接SEAMON公司生產的SEM-ST1011型WHDI STICK的聯想家悅E2565臺式電腦外，與實施例1中的VRSl相同。兩個VRS3之間經由數據處理裝置(COM3和COM3’ )通過路由器(TP-Link公司生產的TL-R478+型路由器)相連接進行數據傳輸。顯示器(C0M1，C0M1’)開機后，初始化Samsung S3C2440芯片、UDA1341解碼芯片、HMC5883L三軸磁阻傳感器和CAT6023芯片，然后在控制裝置Samsung S3C2440芯片中執行主程序循環。在主程序循環中，顯示器(COMl)的控制裝置獲得來自其角度傳感器和話筒的數據、其數據傳輸裝置接收的來自數據處理裝置(COM3)的數據并存儲在其存儲裝置中，并通過其數據傳輸裝置將來自其角度傳感器和話筒的數據發送給數據處理裝置(COM3)，將需要輸出的影音數據輸出到其顯示裝置和耳機。顯示器(C0M1’)運行與顯示器(COMl)相同。在VRS3中，動作捕獲裝置(COM2)將用戶的動作捕獲后，生成深度圖數據，然后由深度圖數據轉換為骨骼動作數據，并將骨骼動作數據發送給數據處理裝置(COM3)。數據處理裝置(COM3)根據事先寫入其中的實現虛擬現實的模擬程序處理來自顯示器(COMl)、動作捕獲裝置(COM2)和數據處理裝置(COM3’ )的數據，處理所有使用者的的交互關系，得到虛擬場景信息，包括例如各個使用者在場景中的位置、肢體及頭部動作、聲音、交互的場景信息等信息，將對應VRS3’使用者的虛擬場景信息發送給數據處理裝置(COM3’)，將對應VRS3使用者的虛擬場景信息轉化為音視頻信息發送給顯示器(COMl)。在VRS3’中，動作捕獲裝置(COM2’ )將用戶的動作捕獲后，生成深度圖數據，然后由深度圖數據轉換為骨骼動作數據，并將骨骼動作數據發送給數據處理裝置(COM3’)。數據處理裝置(COM3’ )根據事先寫入其中的實現虛擬現實的模擬程序處理來自顯示器(C0M1’)、動作捕獲裝置(COM2’ )的數據，發送給數據處理裝置(COM3)，同時也接收來自數據處理裝置(COM3)虛擬場景信息，并轉化為音視頻信息發送給顯示器(C0M1’)。顯示器(C0M1和C0M1’ )收到來自各自VRS的數據處理裝置(COM3和COM3’ )生成的音視頻信息后，將該數據儲存在起各自的存儲裝置內，并將需要輸出的音頻數據輸出至各自的耳機，將需要輸出的視頻數據輸出至各自的顯示裝置。分別同時運行模擬程序，運行結果表明根據本發明的沉浸式虛擬現實系統能夠正常地執行虛擬現實模擬程序，無明顯延遲。實施例4—個根據本發明的沉浸式虛擬現實系統(如附圖12所示)，由兩個沉浸式虛擬現實系統(VRS3和VRS4)組成。VRS3與實施例3相同；VRS4除具有三個顯示器(C0M1’)外，與VRS3相同。兩個VRS之間經由數據處理裝置(COM3和COM3’)通過數據交換裝置(COM4)相連接，數據處理裝置(COM3和COM3’)與數據交換裝置(COM4)通過路由器(TP-Link公司生產的TL-R478+型路由器)相連接。數據交換裝置(COM4)是聯想公司生產的揚天A8800t臺式電腦。如實施例3，顯示器(C0M1和C0M1’)開機初始化并執行主程序循環。在VRS3中，動作捕獲裝置(COM2)將用戶的動作捕獲后，生成深度圖數據，然后由深度圖數據轉換為骨骼動作數據，并將骨骼動作數據發送給數據處理裝置(COM3)。數據處理裝置(COM3)根據事先寫入其中的實現虛擬現實的模擬程序處理來自顯示器(COMl)、動作捕獲裝置(COM2)的數據，并發送給數據交換裝置(COM4)。數據交換裝置(COM4)接收到來自各個VRS的數據處理裝置(COM3和COM3’ )的數據后，處理所有使用者的交互關系，得到虛擬場景信息，包括例如各個使用者在場景中的位置、肢體及頭部動作、聲音、交互的場景信息等信息，將對應VRS3使用者的虛擬場景信息發送給數據處理裝置(COM3)，將對應VRS4使用者的虛擬場景信息發送給數據處理裝置(COM3，)。數據處理裝置(COM3)接收來自數據交換裝置(COM4)的虛擬場景信息，并轉化為音視頻信息發送給顯示器(COMl)。顯示器(COMl)收到來自數據處理裝置(COM3)生成的音視頻信息后，將該數據儲存在起各自的存儲裝置內，并將需要輸出的音頻數據輸出至各自的耳機，將需要輸出的視頻數據輸出至各自的顯示裝置。VRS4的顯示器(C0M1’ )、動作捕獲裝置(COM2’ )、數據處理裝置(COM3’ )執行與VRS3的顯示器(COMl)、動作捕獲裝置(COM2)、數據處理裝置(COM3)基本相同的動作。分別同時運行模擬程序，運行結果表明根據本發明的沉浸式虛擬現實系統能夠正常地執行虛擬現實模擬程序，無明顯延遲。實施例5
一個根據本發明的沉浸式虛擬現實系統(如附圖13所示)，由五個與實施例3的VRS3相同的沉浸式虛擬現實系統(VRS1、VRS1’、VRSl ”、VRSl ”’和VRS1””)組成，五個VRS之間經由數據處理裝置(COM3、COM3’、COM3”、COM3”’和COM3””)通過數據交換裝置(COM4)相連接進行數據傳輸，數據處理裝置(COM3、COM3’、COM3”、COM3”’和COM3”” )與數據交換裝置(COM4)通過路由器(TP-Link公司生產的TL-R478+型路由器)相連接。數據交換裝置(COM4)是聯想公司生產的揚天A8800t臺式電腦。如實施例3，顯示器(C0MUC0M1’等)開機初始化并執行主程序循環。在VRS3中，動作捕獲裝置(COM2)將用戶的動作捕獲后，生成深度圖數據，然后由深度圖數據轉換為骨骼動作數據，并將骨骼動作數據發送給數據處理裝置(COM3)。數據處理裝置(COM3)根據事先寫入其中的實現虛擬現實的模擬程序處理來自顯示器(COMl)、動作捕獲裝置(COM2)的數據，并發送給數據交換裝置(COM4)。數據交換裝置(COM4)接收到來自各個VRS的數據處理裝置(COM3、COM3’等)的數據后，處理所有使用者的交互關系，得到虛擬場景信息，包括例如各個使用者在場景中的位置、肢體及頭部動作、聲音、交互的場景信息等信息，將對應各個VRS使用者的虛擬場景信息發送給對應的數據處理裝置，例如將對應VRS3使用者的虛擬場景信息發送給數據處理裝置(COM3)，將對應VRS3’使用者的虛擬場景信息發送給數據處理裝置(COM3’)。數據處理裝置(COM3)接收來自數據交換裝置(COM4)的虛擬場景信息，并轉化為音視頻信息發送給顯示器(COMl)。顯示器(COMl)收到來自數據處理裝置(COM3)生成的音視頻信息后，將該數據儲存在起各自的存儲裝置內，并將需要輸出的音頻數據輸出至各自的耳機，將需要輸出的視頻數據輸出至各自的顯示裝置。本實施例其他VRS的顯示器(C0M1’、C0M1”等)、動作捕獲裝置(COM2’、COM2 ”等)、數據處理裝置(COM3’、COM3”等)執行與VRS3的顯示器(COMl)、動作捕獲裝置(COM2)、數據處理裝置(COM3)基本相同的動作。分別同時運行模擬程序，運行結果表明根據本發明的沉浸式虛擬現實系統能夠正常地執行虛擬現實模擬程序，無明顯延遲。實施例6一個根據本發明的沉浸式虛擬現實系統(如附圖14所示)，由三個與實施例3的VRS3相同的沉浸式虛擬現實系統(VRS3、VRS3’和VRS3”)和兩個與實施例4的VRS4相同的沉浸式虛擬現實系統(VRS4和VRS4’)組成，五個VRS之間經由數據處理裝置(C0M3、C0M3’、COM3”、COM3”’和COM3””)通過數據交換裝置(COM4)相連接進行數據傳輸，數據處理裝置(COM3、COM3’、COM3”、COM3”’和COM3””)與數據交換裝置(COM4)通過路由器(TP-Link公司生產的TL-R478+型路由器)相連接。數據交換裝置(COM4)是聯想公司生產的揚天A8800t臺式電腦。顯示器(C0M1、COMr等)開機初始化并執行主程序循環。在VRS3中，動作捕獲裝置(COM2)將用戶的動作捕獲后，生成深度圖數據，然后由深度圖數據轉換為骨骼動作數據，并將骨骼動作數據發送給數據處理裝置(COM3)。數據處理裝置(COM3)根據事先寫入其中的實現虛擬現實的模擬程序處理來自顯示器(C0M1)、動作捕獲裝置(COM2)的數據，并發送給數據交換裝置(COM4)。數據交換裝置(COM4)接收到來自各個VRS的數據處理裝置(COM3、COM3’等)的數據后，處理所有使用者的交互關系，得到虛擬場景信息，包括例如各個使用者在場景中的位置、肢體及頭部動作、聲音、交互的場景信息等信息，將對應各個VRS的各個使用者的虛擬場景信息發送給對應的數據處理裝置，例如將對應VRS3使用者的虛擬場景信息發送給數據處理裝置(COM3)，將對應VRS4使用者的虛擬場景信息發送給數據處理裝置(COM3”’)。數據處理裝置(COM3)接收來自數據交換裝置(COM4)的虛擬場景信息，并轉化為音視頻信息發送給顯示器(COMl)。顯示器(COMl)收到來自數據處理裝置(COM3)生成的音視頻信息后，將該數據儲存在起各自的存儲裝置內，并將需要輸出的音頻數據輸出至各自的耳機，將需要輸出的視頻數據輸出至各自的顯示裝置。本實施例其他VRS的顯示器(C0M1’、C0M1”等)、動作捕獲裝置(COM2’、COM2 ”等)、數據處理裝置(COM3’、COM3”等)執行與VRS3的顯示器(COMl)、動作捕獲裝置(COM2)、數據處理裝置(COM3)基本相同的動作。分別同時運行模擬程序，運行結果表明根據本發明的沉浸式虛擬現實系統能夠正常地執行虛擬現實模擬程序，無明顯延遲。
權利要求
1.一種沉浸式虛擬現實系統，所述系統至少包括: 至少一個可佩帶在使用者身體上的顯示器，至少一個動作捕捉裝置，以及 至少一個數據處理裝置； 其中， 所述顯示器用于向使用者顯示圖像，并用于捕捉使用者的頭部轉動動作，并將頭部轉動動作數據發送至至少一個所述數據處理裝置，以及接收至少一個所述數據處理裝置發送的數據，并向使用者傳遞虛擬環境的視頻和/或音頻； 所述動作捕捉裝置捕捉使用者主要節點部位的運動軌跡，并將運動軌跡數據發送至至少一個所述數據處理裝置； 所述數據處理裝置用于處理從至少一個所述顯示器和至少一個所述動作捕捉裝置獲取并傳輸至所述數據處理裝置的數據，并將處理后的結果發送至至少一個顯示器。
2.根據權利要求1所述的虛擬現實系統，其特征在于所述顯示器包括至少一個角度感應裝置，所述角度感應裝置至少能感應圍繞z軸的旋轉動作。
3.根據權利要求2所述的虛擬現實系統，其特征在于所述角度感應裝置是電子指南 針。
4.根據權利要求3所述的虛擬現實系統，其特征在于所述角度感應裝置能感應圍繞X、y和z三個軸的旋轉動作。
5.根據權利要求4所述的虛擬現實系統，其特征在于所述角度感應裝置是三軸陀螺儀。
6.根據權利要求1-5任一項所述的虛擬現實系統，其特征在于所述動作捕捉裝置包括至少一個紅外線發射器和至少一個紅外線攝像頭。
7.根據權利要求6所述的虛擬現實系統，其特征在于所述動作捕捉裝置是體感攝影機。
8.根據權利要求1-7任一項所述的虛擬現實系統，所述數據處理裝置是電腦、個人數字助理、平板電腦、移動電話、音頻處理終端、視頻處理終端和/或游戲機。
9.根據權利要求1-8任一項所述的虛擬現實系統，還包括至少一個數據交換裝置，用于處理多個VRS之間的數據傳輸。
10.根據權利要求9所述的虛擬現實系統，所述數據交換裝置是電腦、個人數字助理、平板電腦、移動電話、音頻處理終端、視頻處理終端和/或游戲機。
11.根據權利要求1-10任一項所述的虛擬現實系統，所述顯示器與所述動作捕捉裝置、所述顯示器與所述數據處理裝置和/或所述動作捕捉裝置與所述數據處理裝置之間的傳輸速度不小于18432000bps。
12.根據權利要求11所述的虛擬現實系統，所述顯示器與所述動作捕捉裝置、所述顯示器與所述數據處理裝置和/或所述動作捕捉裝置與所述數據處理裝置之間的傳輸采用WHDI傳輸方式。
13.一種實現沉浸式虛擬現實的方法，所述方法至少包括以下部分: 通過至少一個動作 捕捉裝置捕捉使用者主要節點部位的運動軌跡，并將運動軌跡數據發送至至少一個數據處理裝置， 通過至少一個顯示器捕捉使用者的頭部轉動動作，并將頭部轉動動作數據發送至至少一個所述數據處理裝置， 通過至少一個所述數據處理裝置處理來自所述動作捕捉裝置和所述顯示器的數據，并將處理后的數據發送至至少一個所述顯示器； 通過至少一個所述顯示器將從至少一個所述數據處理裝置接收到的處理后的數據轉換為視頻和/或音頻，使使用者能感受到跟隨自己動作變化的虛擬現實環境。
14.根據權利要求13所述的實現沉浸式虛擬現實的方法，其特征在于所述顯示器包括至少一個角度感應裝置，所述角度感應裝置至少能感應圍繞z軸的旋轉動作。
15.根據權利要求14所述的實現沉浸式虛擬現實的方法，其特征在于所述角度感應裝置是電子指南針。
16.根據權利要求14所述的實現沉浸式虛擬現實的方法，其特征在于所述角度感應裝置能感應圍繞X、y和z三個軸的旋轉動作。
17.根據權利要求16所述的實現沉浸式虛擬現實的方法，其特征在于所述角度感應裝置是三軸陀螺儀。
18.根據權利要求13-17任一項所述的實現沉浸式虛擬現實的方法，其特征在于所述動作捕捉裝置包括至少一個紅外線發射器和至少一個紅外線攝像頭。
19.根據權利要求18所述的實現沉浸式虛擬現實的方法，其特征在于所述動作捕捉裝置是體感攝影機。
20.根據權利要求13-19任一 項所述的實現沉浸式虛擬現實的方法，所述數據處理裝置是電腦、個人數字助理、平板電腦、移動電話、音頻處理終端、視頻處理終端和/或游戲機。
21.根據權利要求13-20任一項所述的虛擬現實系統，還包括通過至少一個數據交換裝置處理多個VRS之間的數據傳輸。
22.根據權利要求21所述的虛擬現實系統，所述數據交換裝置是電腦、個人數字助理、平板電腦、移動電話、音頻處理終端、視頻處理終端和/或游戲機。
23.根據權利要求13-22任一項所述的虛擬現實系統，所述顯示器與所述動作捕捉裝置、所述顯示器與所述數據處理裝置和/或所述動作捕捉裝置與所述數據處理裝置之間的傳輸速度不小于18432000bps。
24.根據權利要求23所述的虛擬現實系統，所述顯示器與所述動作捕捉裝置、所述顯示器與所述數據處理裝置和/或所述動作捕捉裝置與所述數據處理裝置之間的傳輸采用WHDI傳輸方式。
全文摘要
本發明提供了一種沉浸式虛擬現實系統，所述系統至少包括至少一個可佩帶在使用者身體上的顯示器，至少一個動作捕捉裝置，以及至少一個數據處理裝置；其中，所述顯示器用于捕捉使用者的頭部轉動動作，并將頭部轉動動作數據發送至至少一個所述數據處理裝置，以及接收至少一個所述數據處理裝置發送的數據，并向使用者傳遞虛擬環境的視頻和/或音頻；所述動作捕捉裝置捕捉使用者主要節點部位的運動軌跡，并將運動軌跡數據發送至至少一個所述數據處理裝置；所述數據處理裝置用于處理從至少一個所述顯示器和至少一個所述動作捕捉裝置獲取并傳輸至所述數據處理裝置的數據，并將處理后的結果發送至至少一個顯示器。本發明還提供了一種實現沉浸式虛擬現實的方法。
文檔編號G06F3/0346GK103197757SQ201210006338
公開日2013年7月10日 申請日期2012年1月9日 優先權日2012年1月9日
發明者魏斌 申請人:癸水動力(北京)網絡科技有限公司, 魏斌