專利名稱：將頭戴式顯示連接到外部顯示和其他通信網絡的制作方法
技術領域：
本發明涉及通信領域，尤其涉及設備之間的內容轉移。
背景技術：
頭戴式顯示(HMD)設備具有各領域的聯網應用，包括軍事、航空、醫學、游戲或其他娛樂、體育等等。一 HMD設備可向另一 HMD設備提供聯網服務，以及參與所建立的通信網絡。例如，在軍事應用中，HMD設備允許傘兵對著陸區進行可視化，或允許戰機飛行員基于熱成像數據來對目標進行可視化。在通用航空應用中，HMD設備允許飛行員對地形圖、儀表讀數或飛行路徑進行可視化。在游戲應用中，HMD設備允許用戶使用化身來參與虛擬世界。在另一娛樂應用中，HMD設備可播放電影或音樂。在體育應用中，HMD設備可向賽車手顯賽況數據。許多其他應用也是可能的。

發明內容
HMD設備通常包括至少一個透視透鏡，至少一個圖像投影源，以及與該至少一個圖像投影源通信的至少一個控制電路。該至少一個控制電路在頭戴式顯示設備處提供包括音頻和視頻內容中的至少一個的體驗。例如，該內容可包括電影、游戲或娛樂應用、知曉位置的應用或提供一個或多個靜態圖像的應用。該內容可以僅是音頻或僅是視覺、或音頻和視覺內容的組合。該內容可以由用戶被動消費或可以是交互式的，其中用戶諸如通過語音、手勢或對諸如游戲控制器之類的輸入設備的手動控制來提供控制輸入。在某些情況下，HMD體驗是消費一切的，并且用戶在使用HMD設備時不能執行其他任務。在其他情況下，HMD體驗允許用戶執行其他任務，諸如在街道上行走。HMD體驗還可擴充用戶正在執行的另一任務，諸如在用戶烹飪時顯示菜譜。盡管當前HMD體驗是有用且有趣的，但通過在該HMD設備與另一計算設備之間移動該體驗來在適當情形中利用其他計算設備會更加有用。如上所述，提供了允許用戶在另一計算設備處繼續音頻/視覺體驗、或使用HMD設備在另一計算設備處繼續音頻/視覺體驗的各技術和電路。在一個實施例中，提供了 HMD設備，該HMD設備包括至少一個透視透鏡，至少一個圖像投影源，以及至少一個控制電路。該至少一個控制電路確定是否滿足在目標計算設備處繼續HMD設備處的至少部分體驗的條件，目標計算設備諸如蜂窩電話、平板設備、PC、電視機、計算機監視器、投影儀、微型投影器(pico projector)、另一 HMD設備等等。該條件可基于例如HMD設備的位置，用戶執行的姿勢，用戶作出的語音命令，用戶的凝視方向，鄰近度信號，紅外信號，HMD設備的碰撞，以及HMD設備與目標計算設備的配對。該至少一個控制電路可確定目標計算設備的一個或多個能力，并且相應地處理該內容以便將經處理的內容提供給目標計算設備。如果該條件被滿足，則該至少一個控制電路將數據傳遞給目標計算設備，以便允許目標計算設備提供該體驗的至少一部分的繼續。提供本發明內容以便以簡化形式介紹將在以下的具體實施方式
中進一步描述的一些概念。本發明內容并不旨在標識出所要求保護的主題的關鍵特征或必要特征，也不旨在用于限定所要求保護的主題的范圍。附圖簡述在附圖中，相同編號的元件彼此對應。

圖1是描繪HMD設備與中樞計算系統12通信的一個實施例的示例組件的框圖。圖2是圖1的HMD設備2的一個實施例的一部分的俯視圖。圖3是圖1的HMD設備2的組件的一個實施例的框圖。圖4是與圖1的HMD設備2相關聯的處理單元4的組件的一個實施例的框圖。圖5是圖1的中樞計算系統12和捕捉設備20的組件的一個實施例的框圖。圖6是描繪多用戶系統中的計算設備的框圖。圖7描繪圖6的各計算設備中的一個計算設備的一個示例的框圖。圖8描繪圖6的各計算設備中的兩個計算設備被配對的示例系統。圖9A是描繪用于在目標計算設備上繼續一體驗的過程的一個實施例的流程圖。圖9B描繪計算設備可用來確定其位置的各種技術。圖1OA描繪圖9A的步驟904的示例場景，該步驟904用于確定在目標計算設備或顯示表面上繼續一體驗的條件是否被滿足。圖1OB描繪圖9A的步驟904的另一示例場景，該步驟904用于確定在目標計算設備或顯示表面上繼續一體驗的條件是否被滿足。圖1OC描繪圖9A的步驟904的另一示例場景，該步驟904用于確定在目標計算設備上繼續一體驗的條件是否被滿足。圖11是描繪圖9A的用于將數據傳遞給目標計算設備的步驟906或914的其他細節的流程圖。圖12描繪用于跟蹤用戶的凝視方向和焦深諸如以供在圖9A的步驟904或914中使用的過程。圖13描繪涉及一個或多個HMD設備以及一個或多個其他計算設備的各種通信場
旦
o圖14A描繪基于HMD設備的位置在目標計算設備(諸如圖13的電視機1300)處繼續HMD設備處的體驗的場景。圖14B描繪基于HMD設備的位置在HMD設備本地的電視機處以及在遠離HMD設備的電視機處繼續HMD設備處的體驗的場景。圖14C描繪HMD設備處的體驗的視覺數據在計算設備(諸如圖13的電視機1300)處被繼續、而HMD設備處的體驗的音頻數據在計算設備(諸如家庭高保真或立體聲系統)處被繼續的場景。圖15描繪基于HMD設備的用戶的語音命令在諸如蜂窩電話之類的計算設備處繼續HMD設備處的體驗的場景。圖16描繪在交通工具中僅HMD設備處的體驗的音頻部分在計算設備處被繼續的場景。圖17A描繪商家處的計算設備處的體驗在HMD設備處被繼續的場景。圖17B描繪圖17A的體驗包括用戶生成的內容的場景。圖17C描繪用戶為圖17A的體驗生成內容的場景。
圖18基于圖9A的步驟909描繪一示例場景，該示例場景描述用于將視覺內容從初始虛擬位置移動到向顯示表面配準的虛擬位置的過程。
具體實施例方式透視HMD設備可使用諸如反射鏡、棱鏡和全息透鏡等光學元件將來自一個或兩個小型圖像投影源的光增加到用戶的視覺路徑中。該光經由透視透鏡向用戶的眼睛提供圖像。圖像可包括靜態或移動圖像、增強現實圖像、文本、視頻等等。在HMD設備充當音頻播放器時，HMD設備還可提供伴隨圖像的音頻或在沒有伴隨圖像的情況下被播放的音頻。諸如蜂窩電話(例如，啟用web的智能手機)、平板設備、PC、電視機、計算機監視器、投影儀、或微型投影儀之類的其他計算設備(非HMD設備)可類似地提供音頻和/或視覺內容。這些是非HMD設備。由此，HMD本身可為用戶提供許多有趣且有教育意義的體驗。然而，存在以下情形:諸如出于方便、安全、共享或利用目標計算設備呈現音頻和/或視覺內容的優越性能力之類的原因(例如，在較大屏幕上觀看電影或在高保真音頻系統上收聽音頻)，期望將該音頻和/或視覺內容的體驗移至不同設備。存在體驗可被移動的各種場景，并且存在用于實現體驗(包括音頻和/或視覺內容以及相關聯的數據或元數據)的移動的各種機制。特征包括:將HMD設備上的內容(音頻和/或視覺)移動到另一類型的計算設備，用于移動該內容的機制，圖像序列在HMD設備上的狀態存儲，以及翻譯/轉換成目的地設備的等效狀態信息，用于取決于情況而允許/阻止傳送內容的上下文敏感的觸發器，與傳送(雙向傳送、傳送至或傳送回外部顯示)相關聯的姿勢，允許雙模式(屏幕兩者/許多屏幕)用于共享，即使在外部顯示在物理上遠離該主用戶時，傳送某種形式的設備能力使得用戶理解其他顯示將允許的體驗類型，以及被標記的允許向HMD設備用戶顯示特定豐富信息的外部顯不。圖1是描繪HMD設備2的一個實施例的示例組件的框圖。頭戴式鏡架3通常可以是眼鏡架形狀，并且包括鏡腿102以及包含鼻梁104的前透鏡鏡架。HMD可具有各種能力，包括經由透鏡向用戶顯示圖像、經由面向前方的相機捕捉用戶正在看的圖像、經由耳機類型揚聲器為用戶播放音頻、以及經由話筒捕捉用戶的音頻(諸如講出的單詞)的能力。這些能力可由如下所述的各種組件和傳感器來提供。所描述的配置僅作為示例，因為許多其他配置也是可能的。提供這些功能的電路可被內置到HMD設備中。在一個示例配置中，話筒110被內置到鼻梁104中以用于記錄聲音并將該音頻數據傳送到處理單元4。或者，話筒可經由話筒吊桿/懸臂被附連到HMD設備。透鏡116是透視透鏡。HMD設備可被戴在用戶的頭上，使得該用戶可以透過顯示器觀看并且從而看到包括不是由該HMD設備生成的圖像的真實世界場景。HMD設備2可以是自包含的，使得它的所有組件可由鏡架3來承載，例如由鏡架3物理地支撐。可任選地，一個或多個組件(例如，提供附加處理或數據存儲能力)不是由鏡架來承載，而是可由無線鏈路或由諸如電線等物理附連連接到鏡架所承載的組件。鏡架外的組件可由用戶來承載，在一種方法中，諸如在手腕、腿、或胸部區，或被附連到用戶的衣物。處理單元4可經由有線鏈路或經由無線鏈路連接到鏡架上的組件。術語“HMD設備”可涵蓋鏡架上的組件和鏡架外的組件兩者。鏡架外的組件可以特別地為與鏡架上的組件一起使用而設計，或者可以是適用于與鏡架上的組件一起使用的獨立計算設備(諸如蜂窩電話)。處理單元4包括被用于操作HMD設備2的計算能力中的許多能力，并且可執行存儲在處理器可讀存儲設備上的用于執行本文描述的過程的指令。在一個實施例中，處理單元4與一個或多個中樞計算系統12和/或一個或多個其他計算設備(諸如蜂窩電話、平板設備、PC、電視機、計算機監視器、投影儀或微型投影儀)無線地通信(例如，使用W1-Fi (IEEE 802.11)、藍牙(IEEE802.15.1)、紅外(例如，IrD A ,或紅外數據協會標準)、或其他無線通信手段)。處理單元4也可包括到輔助處理器的有線連接。控制電路136提供支持HMD設備2的其他組件的各種電子裝置。中樞計算系統12可以是計算機、游戲系統或控制臺等，且可包括用于執行游戲應用、非游戲應用等的硬件組件和/或軟件組件。中樞計算系統12可包括可執行存儲在處理器可讀存儲設備上的指令以執行本文描述的過程的處理過程。中樞計算系統12還包括一個或多個捕捉設備20，諸如相機，該相機在視覺上監視一個或多個用戶以及周圍空間，從而可以捕捉、分析并且跟蹤一個或多個用戶執行的姿勢和/或移動、以及周圍空間的結構，以便執行一個或多個控制或動作。中樞計算系統12可以連接到諸如電視機、監視器、高清電視機(HDTV)等可提供游戲或應用視覺的視聽設備16。例如，中樞計算系統12可包括諸如圖形卡等視頻適配器和/或諸如聲卡等音頻適配器，這些適配器可提供與游戲應用、非游戲應用等相關聯的視聽信號。視聽設備16可從中樞計算系統12接收視聽信號，并且然后可以輸出與視聽信號相關聯的游戲或應用視覺和/或音頻。中樞計算設備10可以與捕捉設備20 —起用于識別、分析和/或跟蹤人類(以及其他類型的)目標。例如，可使用捕捉設備20來跟蹤佩戴HMD設備2的用戶，使得可以捕捉用戶的姿勢和/或移動來使化身或屏幕上人物動畫化，和/或可將用戶的姿勢和/或移動解釋為可用于影響中樞計算系統12所執行的應用的控制。圖2是圖1的HMD設備2的一個實施例的一部分的俯視圖，該HMD設備2包括鏡架中包括鏡腿102和鼻梁104的那部分。僅示出了 HMD設備2的右側。在HMD設備2的前方是面向前方(即朝向房間)的可捕捉視頻和靜止圖像的攝像機113。如下文所述，那些圖像被傳送給處理單元4，并且可被用于例如檢測諸如手勢之類的用戶的姿勢，該用戶手勢被解釋成命令以用于執行動作，諸如用于在目標計算設備處繼續一體驗，諸如下文在圖14B、
15、17A和17B的示例場景中描繪的。面向前方的攝像機113面朝外，并具有與用戶的視點類似的視點。HMD設備2的鏡架的一部分圍繞顯不器(該顯不器包括一個或多個透鏡)。鏡架中圍繞顯不器的一部分未被描繪。該顯不器包括光導光學兀件112、不透明度濾光器114、透視透鏡116和透視透鏡118。在一個實施例中，不透明濾光器114處于透視透鏡116之后并與其對齊，光導光學元件112處于不透明濾光器114之后并與其對齊，并且透視透鏡118處于光導光學兀件112之后并與其對齊。See-through lenses 116 and 118 are standardlenses used in eye glasses.在一些實施例中,HMD設備2將僅僅包括一個透視透鏡或者不包括透視透鏡。不透明度過濾器114濾除自然光(要么以每像素為基礎，要么均勻地)以增強圖像的對比度。光導光學元件112將人造光引導至眼睛。在鏡腿102處或鏡腿102內安裝有圖像投影源，該圖像投影源(在一個實施例中)包括用于對圖像進行投影的微顯示器120、以及用于將圖像從微顯示器120引導到光導光學元件112中的透鏡122。在一個實施例中，透鏡122是準直透鏡。發射器可包括微顯示器120、諸如透鏡122和光導112等一個或多個光學組件、以及諸如驅動器等相關電子裝置。這樣的發射器與HMD設備相關聯，并且將光發射到用戶的眼鏡以便提供圖像。控制電路136提供支持HMD設備2的其他組件的各種電子裝置。下面參考圖3提供控制電路136的更多細節。處于鏡腿102內部或安裝在鏡腿102處的有耳機130和慣性傳感器132。在一個實施例中，慣性傳感器132包括三軸磁力計132A、三軸陀螺儀132B、以及三軸加速度計132C (參見圖3)。慣性傳感器用于感測HMD設備2的位置、定向和突然加速(諸如該計算設備與目標計算設備或對象的碰撞)。例如，慣性傳感器可以是用于確定用戶頭部的定向和/或位置的一個或多個傳感器。微顯示器120通過透鏡122來投影圖像。可使用不同的圖像生成技術。例如，使用透射投影技術，光源被光學活性材料調制并且用白光從背后照亮。這些技術通常是使用具有強大背光和高光能量密度的LCD類型的顯示器來實現的。使用反射技術，外部光被光學活性材料反射并調制。取決于該技術，照明是由白光源或RGB源來向前點亮的。數字光處理(DGP)、硅上液晶(LC0S)、以及M[RASOL (來自高通公司的顯示技術)是高效的反射技術的示例，因為大多數能量從調制結構反射。使用發射技術，光由顯示器生成。例如，PicoP 顯示引擎(可從MICR0VIS10N有限公司獲得)使用微型鏡面操控來將激光信號發射到充當透射元件的微小屏幕上或直接照射到眼睛。光導光學元件112將來自微顯示器120的光傳送到佩戴HMD設備2的用戶的眼睛140。光導光學元件112還允許如箭頭142所描繪那樣將光從HMD設備2的前方通過光導光學元件112透射到用戶的眼睛140，從而除接收來自微顯示器120的圖像之外還允許用戶具有HMD設備2的前方的空間的實際直接視圖。因此，光導光學元件112的壁是透視的。光導光學兀件112包括第一反射面124 (例如鏡面或其他表面)。來自微顯不器120的光穿過透鏡122并入射在反射面124上。反射面124反射來自微顯示器120的入射光，使得光通過內反射而被捕獲在包括光導光學元件112的平面基底內。在襯底的表面上進行若干反射之后，所捕獲的光波到達選擇性反射面126的陣列，包括示例表面126。反射面126將從襯底出射并入射在這些反射面上的光波耦合到用戶的眼睛140。由于不同光線將以不同角度行進并在襯底的內部反射，因此這些不同的光線將以不同角度擊中各個反射面126。因此，不同光線將被所述反射面中的不同反射面從襯底中反射出。關于哪些光線將被哪個表面126從襯底反射出的選擇是通過選擇表面126的合適角度來設計的。在一個實施例中，每只眼睛將具有其自己的光導光學元件112。當HMD設備具有兩個光導光學元件時，每只眼睛都可以具有其自己的微顯示器120，該微顯示器120可以在兩只眼睛中顯示相同圖像或者在兩只眼睛中顯示不同圖像。在另一實施例中，可以存在將光反射到兩只眼睛中的一個光導光學元件。與光導光學元件112對齊的不透明濾光器114要么均勻地，要么逐像素地來選擇性地阻擋自然光，以免其穿過光導光學元件112。在一個實施例中，不透明濾光器可以是透視LCD面板、電致變色膜、或類似器件。通過從常規LCD中除去襯底、背光和漫射體的各層，可以獲得透視IXD面板。IXD面板可包括一個或多個透光IXD芯片，所述透光IXD芯片允許光穿過液晶。例如，在LCD投影儀中使用了這樣的芯片。
不透明度濾光器114可以包括致密的像素網格，其中每個像素的透光率能夠在最小和最大透光率之間被單獨地控制。可以由下面描述的不透明度濾光器控制電路224為每個像素設置透光率。在一個實施例中，顯示器和不透明度濾光器被同時渲染，并且被校準到用戶在空間中的精確位置以補償角度偏移問題。眼睛跟蹤(例如，使用眼睛跟蹤相機134)可用于計算視野的末端處的正確的圖像偏移。圖3是圖1的HMD設備2的組件的一個實施例的框圖。圖4是圖1的HMD設備2的處理單元4的組件的一個實施例的框圖。HMD設備組件包括跟蹤各個條件的許多傳感器。HMD設備將從處理單元4接收關于圖像的指令，并且將傳感器信息提供回給處理單元4。處理單元4接收HMD設備2的傳感器信息。可任選地，處理單元4還接收來自中樞計算設備12 (參見圖1)的傳感器信息。基于該信息，處理單元4將確定在何處以及在何時向用戶提供圖像并相應地將指令發送給圖3的組件。注意，圖3的組件中的一些(例如面向前方的相機113、眼睛跟蹤相機134B、微顯示器120、不透明度濾光器114、眼睛跟蹤照明134A、以及耳機130)是以陰影示出的，以指示這些設備中的每個都存在兩個，其中一個用于HMD設備的左側，并且一個用于HMD設備的右偵1K關于面向前方的相機113,在一種方法中一個相機用于使用可見光獲得圖像。在另一方法中，彼此間具有已知間隔的兩個或更多相機被用作深度相機，以便還用來獲得房間內的物體的深度數據，該深度數據指示從相機/HMD設備到該物體的距離。HMD設備的面向前方的相機可本質上重復計算機中樞12所提供的深度相機的功能(還參見圖5的捕捉設備20)。來自面向前方的相機的圖像可被用于標識用戶視野中的人或其他物體、以及諸如用戶手勢之類的姿勢。圖3示出與電源管理電路302通信的控制電路300。控制電路300包括處理器310、與存儲器344 (例如DRAM)通信的存儲器控制器312、相機接口 316、相機緩沖區318、顯示驅動器320、顯示格式化器322、定時生成器326、顯示輸出接口 328、以及顯示輸入接口 330。在一個實施例中，控制電路300的所有組件都通過專用線路或一個或多個總線彼此進行通信。在另一實施例中，控制電路300的每個組件都與處理器310通信。相機接口 316提供到兩個面向前方的相機113的接口，并且將從面向前方的相機所接收到的圖像存儲在相機緩沖區318中。顯示驅動器320驅動微顯示器120。顯示格式化器322向控制不透光濾光器114的不透光度控制電路324提供關于微顯示器120上所顯示的圖像的信息。定時生成器326被用于向該系統提供定時數據。顯示輸出接口 328是用于將圖像從面向前方的相機112提供給處理單元4的緩沖區。顯示輸入接口 330是用于接收諸如要在微顯示器120上顯示的圖像之類的圖像的緩沖區。電路331可被用于基于全球定位系統(GPS) GPS信號和/或全球移動通信系統(GSM)信號來確定位置。當處理單元通過線或通過無線鏈路附連到HMD設備的鏡架并被佩帶在諸如手臂、腿、胸部區之類的身體上或衣物中時，顯示輸出接口 328和顯示輸入接口 330與作為到處理單元4的接口的帶接口 332進行通信。該方法降低了 HMD設備的鏡架承載的組件的重量。如上所述，在其他方法中，處理單元可由鏡架承載并且不使用帶接口。電源管理電路302包括電壓調節器334、眼睛跟蹤照明驅動器336、音頻DAC和放大器338、話筒前置放大器音頻ADC 340、以及時鐘生成器345。電壓調節器334通過帶接口 332從處理單元4接收電能，并將該電能提供給HMD設備2的其他組件。眼睛跟蹤照明驅動器336如上所述為眼睛跟蹤照明134A提供紅外(IR)光源。音頻DAC和放大器338向耳機130提供音頻信息。話筒前置放大器和音頻ADC 340提供用于話筒110的接口。電源管理單元302還向三軸磁力計132A、三軸陀螺儀132B以及三軸加速度計132C提供電能并從其接收回數據。圖4是描述處理單元4的各個組件的框圖。控制電路404與電源管理電路406進行通信。控制電路404包括:中央處理單元(CPU) 420 ;圖形處理單元(GPU) 422 ;高速緩存424 ；RAM 426 ;與存儲器430 (例如DRAM)進行通信的存儲器控制器428 ;與閃存434 (或其他類型的非易失性存儲)進行通信的閃存控制器432 ;經由帶接口 402和帶接口 332 (在被使用時)與HMD設備2進行通信的顯示輸出緩沖區436 ;經由帶接口 402和帶接口 332 (在被使用時)與HMD設備2進行通信的顯示輸入緩沖區438 ;與用于連接到話筒的外部話筒連接器442進行通信的話筒接口 440 ;用于連接到無線通信設備446的外圍部件互連(PCI)express 接口 444 ;以及 USB 端 口 448。在一個實施例中，無線通信組件446可包括啟用W1- Fi 的通信設備、藍牙 通信設備、紅外通信設備。無線通信組件446是無線通信接口，在一種實現中該無線通信接口接收與視聽設備16所顯示的內容同步的數據。進而，可響應于所接收的數據來顯示圖像。在一種方法中，這樣的數據是從中樞計算系統12接收的。無線通信組件446還可被用于向目標計算設備提供數據，以便在目標計算設備處繼續HMD設備的體驗。無線通信組件446還可被用于從另一計算設備接收數據，以便在HMD設備處繼續該計算設備的體驗。USB端口可以用于將處理單元4對接到中樞計算設備12，以便將數據或軟件加載到處理單元4上以及對處理單元4進行充電。在一個實施例中，CPU420和GPU 422是用于確定在何處、何時以及如何向用戶的視野內插入虛擬圖像的主負荷設備。下面提供更多的細節。電源管理電路406包括時鐘生成器460，模數轉換器462、電池充電器464、電壓調節器466和HMD電源476。模數轉換器462連接到充電插座470以用于接收AC供電并為該系統產生DC供電。電壓調節器466與用于向該系統提供電能的電池468進行通信。電池充電器464被用來在從充電插座470接收到電能后對電池468進行充電(經由電壓調節器466)。HMD電源476向HMD設備2提供電能。確定在何處、如何以及何時插入圖像的計算可由HMD設備2和/或中樞計算設備12來執行。在一個示例實施例中，中樞計算設備12將創建用戶所處的環境的模型，并且跟蹤在該環境中的多個移動物體。另外，中樞計算設備12通過跟蹤HMD設備2的位置和定向來跟蹤HMD設備2的視野。該模型和跟蹤信息被從中樞計算設備12提供給處理單元4。HMD設備2獲得的傳感器信息被傳送給處理單元4。然后，處理單元4使用它從HMD設備2接收的其他傳感器信息來細化用戶的視野并且向HMD設備2提供關于如何、在何處以及何時插入圖像的指令。圖5示出圖1的中樞計算系統12和捕捉設備20的示例實施例。然而，該描述還可應用于HMD設備，其中捕捉設備使用面向前方的攝像機113來獲取圖像，并且圖像被處理以便檢測諸如手勢之類的姿勢。根據一示例實施例，捕捉設備20可被配置為通過可包括例如飛行時間、結構化光、立體圖像等在內的任何合適的技術來捕捉包括深度圖像的帶有深度信息的視頻，該深度圖像可包括深度值。根據一實施例，捕捉設備20可將深度信息組織為“Z層”(即可與從深度相機沿其視線延伸的Z軸垂直的層)。捕捉設備20可包括相機組件523，相機組件523可以是或可包括可捕捉場景的深度圖像的深度相機。深度圖像可包括所捕捉的場景的二維(2-D)像素區域，其中2-D像素區域中的每個像素都可以表示深度值，比如所捕捉的場景中的物體與相機相距的例如以厘米、毫米等為單位的距離。相機組件523可以包括可用于捕捉場景的深度圖像的紅外(IR)光組件525、紅外相機526、以及RGB (視覺圖像)相機528。3-D相機由紅外發射器24和紅外相機26的組合形成。例如，在飛行時間分析中，捕捉設備20的IR光組件525可以將紅外光發射到場景上，并且然后可以使用傳感器(在一些實施例中包括未不出的傳感器)、例如使用3-D相機526和/或RGB相機528來檢測從場景中的一個或多個目標和物體的表面后向散射的光。在一些實施例中，可以使用脈沖紅外光，使得可以測量出射光脈沖與相應入射光脈沖之間的時間，并且將其用于確定從捕捉設備20到場景中的目標或物體上的特定位置的物理距離。此夕卜，可將出射光波的相位與入射光波的相位進行比較來確定相移。然后可以使用該相移來確定從捕捉設備到目標或物體上的特定位置的物理距離。可使用飛行時間分析，通過經由包括例如快門式光脈沖成像的各種技術來分析反射光束隨時間的強度以間接地確定從捕捉設備20到目標或物體上的特定位置的物理距離。捕捉設備20可使用結構化光來捕捉深度信息。在這樣的分析中，圖案化光(即，被顯示為諸如網格圖案、條紋圖案、或不同圖案之類的已知圖案的光)可經由例如IR光組件525被投影到場景上。在落到場景中的一個或多個目標或物體的表面上以后，作為響應，圖案可以變為變形的。圖案的這種變形可由例如3-D相機526和/或RGB相機528 (和/或其他傳感器)來捕捉，然后可被分析以確定從捕捉設備到目標或物體上的特定位置的物理距離。在一些實施方式中，IR光組件525從相機526和528移位，使得可以使用三角測量來確定與相機526和528相距的距離。在一些實現中，捕捉設備20將包括感測IR光的專用IR傳感器或具有IR濾波器的傳感器。捕捉設備20可包括兩個或更多物理上分開的相機，這些相機可從不同角度查看場景以獲得視覺立體數據，該視覺立體數據可被解析以生成深度信息。也可使用其他類型的深度圖像傳感器來創建深度圖像。捕捉設備20還可以包括話筒530，所述話筒530包括可以接收聲音并將其轉換成電信號的換能器或傳感器。話筒530可用于接收也可由中樞計算系統12來提供的音頻信號。處理器532與圖像相機組件523進行通信。處理器532可包括可執行指令的標準處理器、專用處理器、微處理器等，這些指令例如包括用于接收深度圖像、生成合適的數據格式(例如,幀)以及將數據傳送給中樞計算系統12的指令。存儲器534存儲由處理器532執行的指令、由3_D相機和/或RGB相機所捕捉的圖像或圖像幀、或任何其他合適的信息、圖像等等。根據一示例實施例，存儲器534可包括RAM、ROM、高速緩存、閃存、硬盤或任何其他合適的存儲組件。存儲器534可以是與圖像捕捉組件523和處理器532進行通信的分開組件。根據另一實施例，存儲器組件534可被集成到處理器532和/或圖像捕捉組件523中。捕捉設備20通過通信鏈路536與中樞計算系統12通信。通信鏈路536可以是包括例如USB連接、火線連接、以太網電纜連接等有線連接和/或諸如無線802.1lb,802.llg、802.1la或802.1ln連接等無線連接。根據一個實施例，中樞計算系統12可以通過通信鏈路536向捕捉設備20提供可用于確定例如何時捕捉場景的時鐘。另外，捕捉設備20通過通信鏈路536將由例如3-D相機526和/或RGB相機528捕捉的深度信息和視覺(例如RGB或其他色彩)圖像提供給中樞計算系統12。在一個實施例中，深度圖像和視覺圖像以每秒30幀的速率來傳送，但是可以使用其他幀速率。中樞計算系統12然后可以創建模型并使用模型、深度信息、以及所捕捉的圖像來例如控制諸如游戲或文字處理程序等的應用和/或使化身或屏上人物動畫化。中樞計算系統12包括深度圖像處理和骨架跟蹤模塊550，該模塊使用深度圖像來跟蹤可被捕捉設備20的深度相機功能檢測到的一個或多個人。模塊550向應用552提供跟蹤信息，應用552可以是視頻游戲、生產力應用、通信應用、或其他軟件應用等。音頻數據和視覺圖像數據也被提供給應用552和模塊550。應用552將跟蹤信息、音頻數據和視覺圖像數據提供給識別器引擎554。在另一實施例中，識別器引擎554從模塊550直接接收跟蹤信息，并從捕捉設備20直接接收音頻數據和視覺圖像數據。識別器引擎554與過濾器560、562、564、......、566的集合相關聯,每個過濾器包括 關于可由捕捉設備20檢測的任何人或對象執行的姿勢、動作或狀況的信息。例如，過濾器560、562、564、……、566可處理來自捕捉設備20的數據，以標識一個用戶或一組用戶何時執行了一個或多個姿勢或其他動作。這些姿勢可與應用552的各種控制、對象或狀況相關聯。因此，中樞計算系統12可以將識別器引擎554和過濾器一起用于解釋和跟蹤物體(包括人)的移動。捕捉設備20向中樞計算系統12提供RGB圖像(或其他格式或色彩空間的視覺圖像)和深度圖像。深度圖像可以是一組觀測到的像素，其中每個觀測到的像素具有觀測到的深度值。例如，深度圖像可包括所捕捉的場景的二維(2-D)像素區域，其中該2-D像素區域中的每個像素都可具有深度值，諸如所捕捉的場景中的物體與捕捉設備相距的距離。中樞計算系統12將使用RGB圖像和深度圖像來跟蹤用戶或物體的移動。先前討論的圖1描繪了與一個中樞計算設備12 (稱為中樞)進行通信的一個HMD設備2 (被認為是一種類型的終端或計算設備)。在另一實施例中，多個用戶計算設備可以與單個中樞通信。每一計算設備可以是諸如蜂窩電話、平板設備、個人數字助理(PDA)之類的移動計算設備，或是諸如臺式/PC計算機或游戲控制臺之類的固定計算設備。每一計算設備通常包括存儲、處理和呈現音頻和/或視覺數據的能力。在一個方法中，各計算設備中的每一個將如上述那樣使用無線通信與中樞進行通信。在這樣的實施例中，對所有計算設備都有用的信息中的許多都將在中樞處被計算和存儲并且傳送給計算設備中的每一個。例如，中樞將生成環境的模型并且將該模型提供給與該中樞通信的所有計算設備。另外，中樞可以跟蹤計算設備以及房間中的移動物體的位置和定向，并且然后將該信息傳輸給計算設備中的每一個。
系統可包括多個中樞，每一中樞包括一個或多個計算設備。中樞可經由一個或多個局域網(LAN)或諸如因特網之類的廣域網(WAN)彼此通信。LAN可以是在諸如家庭、學校、計算機實驗室或辦公樓之類的有限區域中連接計算設備的計算機網絡。WAN可以是覆蓋廣闊區域(諸如以城市、地區或國家邊界來劃線)的電信網絡。圖6是描繪多用戶系統的框圖，包括經由諸如一個或多個LAN或WAN之類的一個或多個網絡612彼此通信的中樞608和616。中樞608諸如經由一個或多個LAN 606與計算設備602和604通信，而中樞616諸如經由一個或多個LAN 618與計算設備620和622通信。在中樞間共享的信息可以包括骨架跟蹤、關于模型的信息、各種應用狀態、以及其他跟蹤。在中樞及其相應的計算設備之間傳遞的信息包括:移動物體的跟蹤信息、世界模型的狀態和物理更新、幾何和紋理信息、視頻和音頻、以及用于執行在此所述的操作的其他信息。計算設備610和614諸如經由一個或多個網絡612彼此通信，而不通過中樞來通信。計算設備可以是相同或不同的類型。在一個示例中，計算設備包括相應用戶所佩戴的經由例如W1- Fi 、BLUETOOTH 或丨rDA 鏈路通信的HMD設備。在另一示例中，計算設備中的一個是HMD設備，而另一計算設備是諸如蜂窩電話、平板設備、PC、電視機、或智能板(例如菜單板或白板)之類的顯示設備(圖7)。例如可通過中樞計算系統12、處理單元4、控制電路136、處理器610、CPU 420,GPU422、處理器532、控制臺600和/或處理器712 (圖7)提供至少一個控制電路。該至少一個控制電路可包括執行存儲在一個或多個有形的非瞬態處理器可讀存儲設備上用于執行本文所述方法的一個或多個處理器。至少一個控制電路還可包括一個或多個有形的非瞬態處理器可讀存儲設備，或其他非易失性或易失性存儲設備。例如可通過存儲器344、高速緩存424、RAM 426、閃存434、存儲器430、存儲器534、存儲器612、高速緩存602或604、存儲器643、存儲器單元646和/或存儲器710 (圖7)提供存儲設備作為計算機可讀介質。中樞還可以例如無線地向HMD設備傳遞數據以基于被傳遞到中樞的用戶頭部的當前定向和/或位置，從用戶的視角來呈現圖像。用于呈現圖像的數據可以與在視頻顯示屏上顯示的內容同步。在一種方法中，用于呈現圖像的數據包括用于收集顯示的像素以便在指定的虛擬位置中提供圖像的圖像數據。圖像可包括從用戶的當前視角呈現的2-D或3-D物體，如下面進一步討論的。用于控制顯示的像素的圖像數據可以是指定文件格式的，例如，其中個別圖像幀被指定。在另一方法中，用于呈現圖像的圖像數據是從除了中樞之外的另一源獲得的，諸如經由與HMD—起被包括或者由用戶本人攜帶(諸如在口袋或帶狀物中)并有線或無線地連接于該頭戴式設備的本地存儲設備。圖7是圖6的計算設備中的一個計算設備的示例的框圖。如結合圖6提及的，HMD設備可直接與另一終端/計算設備通信。描繪了典型計算設備(可能不是HMD設備)的示例性電子電路。在示例計算設備700中，該電路包括可包含一個或多個微處理器的處理器712和存儲由一個或多個處理器720執行來實現此處所述的功能的處理器可讀代碼的存儲或存儲器710(例如，諸如ROM等非易失性存儲器和諸如RAM等易失性存儲器)。處理器712還與RF數據發射/接收電路706進行通信，該電路706進而耦合到天線702 ;與紅外數據發射器/接收器708通信；并與諸如加速度計之類的移動(例如碰撞)傳感器714通信。處理器712還與鄰近度傳感器704通信。參見圖9B。
例如通過微機電系統(MEMS)來提供加速計，該微機電系統是構建在半導體芯片上的。可以感應加速方向、以及定向、振動和震動。處理器712進一步與用戶界面(UI)鍵區/屏幕718、揚聲器720、和話筒進行通信。還提供電源701。在一種方法中，處理器712控制無線信號的發射和接收。信號也可通過線來發送。在發射模式期間，處理器712可向發射/接收電路706提供諸如音頻和/或視覺內容之類的數據、或用于訪問這些內容的信息。發射/接收電路706經由天線702將信號發送給另一計算設備(例如，HMD設備、另一計算設備、蜂窩電話等)。在接收模式期間，發射/接收電路706通過天線702從HMD或其他設備接收這樣的數據。圖8描繪圖6的各計算設備中的兩個計算設備被配對的示例系統。如所提及的，HMD設備可使用例如W1- Fi 、BLUETOOTH 或IrDA 鏈路與諸如蜂窩電話、PC之類的另一計算設備通信。這里，從設備與主設備直接通信。從設備被同步到主設備的時鐘，以便允許從設備和主設備在指定時間交換消息(諸如音頻和/或視覺數據、或用于訪問此類數據的數據)。該從設備可以按面向連接的協議與一主設備建立連接，以使該從設備與該主設備被稱為被配對或連接。在藍牙(BLUETOOTH)協議中使用的示例方案中，主設備進入詢問狀態以發現該區域中的其他計算設備。例如，這可響應于手動用戶命令或響應于檢測主設備位于特定位置來完成。在詢問狀態中，該主設備(本地設備)生成并廣播詢問跳躍(信道改變)序列。可發現的計算設備(諸如HMD設備2之類的遠程設備)將周期性地進入詢問掃描狀態。如果執行詢問掃描的遠程設備接收到詢問消息，則它進入詢問響應狀態并用詢問響應消息來應答。該詢問響應包括該遠程設備的地址和時鐘，兩者都是建立連接所需要的。廣播范圍內的所有可發現設備將對該設備詢問做出響應。在獲得并選擇遠程設備的地址之后，該主設備進入尋呼(paging)狀態以與該遠程設備建立連接。一旦該尋呼過程完成，則該計算設備移動至連接狀態。如果成功，則這兩個設備在該連接的持續時間內基于該主設備的地址和時鐘按照偽隨機模式繼續跳頻。盡管提供藍牙協議作為示例，然而可以使用計算設備彼此配對和通信的任何類型的協議。可任選地，多個從設備可被同步到一個主設備。圖9A是描繪用于在目標計算設備上繼續一體驗的過程的一個實施例的流程圖。步驟902包括在源計算設備處提供音頻/視覺體驗。該音頻/視覺體驗可包括例如音頻和/或視頻內容的體驗。該體驗可以是交互式的，諸如在游戲體驗中，或是非交互式的，諸如在播放文件中的所記錄的視頻、圖像或音頻數據時。源計算設備可以例如是HMD或非HMD計算設備，該HMD或非HMD計算設備是將該體驗傳送給被稱為目標設備的另一計算設備的源。如果源計算設備是HMD設備，則判定步驟904確定是否滿足在目標計算設備(例如，一個或多個目標計算設備)上或顯示表面上繼續該體驗的條件。如果判定步驟904為假，則該過程在步驟910結束。如果判定步驟904指示該體驗應在目標計算設備上被繼續，則步驟906將數據傳輸到目標計算設備(且參見圖11)，并且步驟908在目標計算設備處繼續該體驗。可任選地，該體驗在源HMD設備處被中斷。由此，在第一計算設備處繼續一體驗可涉及在第二計算設備(或多個其他計算設備)處重復/復制該體驗，使得該體驗在第一計算設備處繼續并且在第二計算設備處開始，或將該體驗從第一計算設備轉移/移動到第二計算設備，使得該體驗在第一計算設備處結束而在第二計算設備處開始。如果判定步驟904指示應在顯示表面上繼續該體驗，則步驟909將源HMD設備處的視覺內容顯示在與顯示表面配準(register)的虛擬位置處。關于進一步細節請參看圖18。在步驟902之后的另一分支中，源計算設備是非HMD設備。在該情況中，判定步驟914確定是否滿足在目標HMD設備處繼續該體驗的條件。如果判定步驟914為假，則該過程在步驟910結束。如果判定步驟914為真，則步驟916將數據傳遞給目標HMD設備(且參見圖11)，并且步驟918在目標HMD設備上繼續該體驗。可任選地，該體驗在源計算設備處被中斷。判定步驟904和914中提到的條件可涉及一個或多個因素，諸如源和/或目標計算設備中的一個或多個的位置，用戶執行的一個或多個姿勢，用戶對諸如游戲控制器等基于硬件的輸入設備的操縱，用戶作出的一個或多個語音命令，用戶的凝視方向，鄰近度信號，紅外信息，碰撞，計算設備與預配置的用戶和/或默認設置和偏好的配對。游戲控制器可包括鍵盤、鼠標、游戲手柄、操縱桿、或專用設備，諸如用于駕駛游戲的方向盤以及用戶射擊游戲的光槍。在判定是否滿足該條件時也可考慮源和/或目標計算設備的一個或多個能力。例如，源計算設備的能力可指示不合適向其傳送特定內容。“碰撞”場景可涉及用戶在源計算設備與目標計算設備之間作出特定接觸連接。在一種方式中，用戶可脫掉HMD設備并且使其碰撞/觸及目標計算設備，以便指示內容應被傳送。在另一方式中，HMD設備可使用同伴設備，諸如執行該碰撞的蜂窩電話。該同伴設備可具有幫助HMD設備進行處理的輔助處理器。圖9B描繪計算設備可用來確定其位置的各種技術。可從一個或多個源獲得位置數據。這些數據包括位置電磁(EM)信號920，諸如來自W1-Fi網絡、Bluetooth (藍牙)網絡、IrDA (紅外)和/或RF信標。這些數據是可從計算設備訪問的諸如辦公樓、倉庫、零售機構、家等特定位置內發射的信號。W1-Fi是一種類型的無線局域網(WLAN)。W1-Fi網絡通常被部署在各種位置中，諸如辦公樓，大學，諸如咖啡店、餐廳和購物中心等零售機構，以及酒店，諸如停車場和博物館、機場等公共空間，以及在家中。W1-Fi網絡包括通常是固定的且永久安裝在一位置處并且包括天線的接入點。參見圖17A的接入點1307。該接入點在從若干米到長得多的距離的范圍上廣播消息，從而廣告其服務集標識符(SSID)，該SSID是特定WLAN名稱的標識符。SSID是EM信號簽名的示例。該簽名是可從信號中獲取的該信號的某一特征，該特征可被用于當信號再次被感測時標識該信號。SSID可被用于訪問產生對應位置的數據庫。馬薩諸塞州波士頓的SkyhookWireless公司提供Wi_ Fi 定位系統(WPS)，其中W1-Fi 網絡的數據庫交叉引用到緯度、經度坐標以及地點名稱，以供在蜂窩電話和其他移動設備的位置感知應用中使用。計算設備可通過感測來自W1-Fi網絡、藍牙網絡、RF或紅外信號、或無線的無線銷售點終端的無線信號，確定計算設備處于特定位置。如參考圖8討論的，BLUETOOTH (IEEE 802.15.1)是用于在短距離上交換來自從固定和移動設備的數據從而創建個人區域網(PAN)或微微網(piconet)的開放式無線協議。
IrD A 是通過紅外光短進行短程數據交換諸如以供個人區域網使用的通信協議。紅外信號例如還可用在游戲控制器與控制臺之間以及用于電視遙控器和機頂盒。IrDa、紅外信號一般可被使用，并且光信號一般可被使用。RF信標是發射RF信號的已測設備，RF信號包括可由配置信標并分配位置的管理員交叉引用到數據庫中一位置的標識符。示例數據庫條目是:信標_ID=12345，位置=咖啡店。GPS信號922從繞地球運行的衛星中被發射，并由計算設備用來確定地理位置，諸如緯度、經度坐標，該地理位置標識計算設備在地球上的絕對位置。這一解決方案可使用對數據庫的查找而與諸如用戶的家等地點名稱相關。全球移動通信系統(GSM)信號924 —般是從安裝在建筑物或專用塔或其他結構的蜂窩電話天線中發射的。在某些情況下，感測特定GSM信號及其標識符可以以足夠的準確性(諸如對于小蜂窩小區而言)與特定位置相關。在其他情況下，諸如對于宏蜂窩，以所需準確性標識位置可包括測量蜂窩電話天線的功率級和天線模式，并且在相鄰天線之間內插信號。在GSM標準中，存在具有不同覆蓋區域的五個不同的蜂窩大小。在宏蜂窩中，基站天線通常安裝在平均屋頂水平以上的天線竿或建筑物上，并且覆蓋幾百米至數萬米的范圍。在通常用于城市區域的微蜂窩中，天線高度低于平均屋頂水平。微蜂窩通常小于一英里寬，并且可覆蓋例如購物中心、酒店或運輸中心。微微蜂窩(Picocell)是覆蓋直徑為幾十米的小蜂窩，并且主要用于室內。毫微微蜂窩(Femtocell)小于微微蜂窩，可以具有幾米的覆蓋直徑，并被設計成供住宅或小型商業環境中使用并且經由寬帶因特網連接來連接到服務提供者的網絡。框926表示使用鄰近度傳感器。鄰近度傳感器可檢測對象的存在，諸如在如幾英尺等指定范圍內的人。例如，鄰近度傳感器可發射一束電磁輻射，諸如紅外信號，該束電磁輻射從目標反射并由鄰近度傳感器接收。例如，返回信號中的改變指示存在人類。在另一方式中，鄰近度傳感器使用超聲波信號。鄰近度傳感器提供用于確定用戶是否在能夠參與傳送內容的計算設備的指定距離內的機制。作為另一示例，鄰近度傳感器可以是基于深度圖的或者使用紅外測距。例如，中樞12可通過確定用戶距該中樞的距離來擔當鄰近度傳感器。存在用于確定鄰近度的許多選項。另一示例是光電傳感器，該光電傳感器包括使用例如可見光或紅外光來工作的發射機和接收機。框928表示從可用源中的一個或多個來確定位置。位置標識信息可被存儲，諸如絕對位置(例如，緯度、經度)或表示位置的信號標識符。例如，在一個可能的實現中，W1-Fi信號標識符可以是SSID。IrDA信號和RF信標通常還將傳遞某一類型的標識符，該類型的標識符可被用作位置的代理。例如，當零售商店的POS終端傳遞IrDA信號時，該信號將包括該零售商店的標識符，諸如“西爾斯，商店#100，芝加哥，伊利諾斯州”。用戶在零售商店中位于POS終端處的事實可被用于觸發將圖像從POS終端傳送到HMD設備，諸如銷售收據或在由收銀員處理/結賬時正購買的對象的價格的圖像。圖1OA描繪圖9A的步驟904的示例場景，該步驟904用于確定在目標計算設備或顯示表面上繼續一體驗的條件是否被滿足。該場景通過用戶輸入命令以在目標計算設備或顯示表面處繼續一體驗而發起。例如，用戶可位于用戶想要發生該繼續的位置。作為示例，用戶可能在走回家時使用HMD設備觀看電影。當用戶走進他或她的家時，用戶可能想要在家中繼續在電視機上觀看該電影。用戶可發出命令，例如姿勢或說出的命令如:“將電影轉移到電視”。或者，用戶可能正獨自或與其他玩家一起參與游戲體驗，該用戶想要在目標計算設備上繼續該游戲體驗。用戶可發出命令，諸如:“將游戲轉移到電視”。判定步驟1002確定目標計算設備是否被識別。例如，HMD設備可經由無線網絡確定電視機是否存在，或HMD設備可嘗試使用面向前方的相機來識別電視機的視覺特征，或HMD設備可確定用戶正凝視目標計算設備(進一步的細節參見圖12)。如果判定步驟1002為假，則在步驟1006不滿足繼續該體驗的條件。在步驟1010可告知用戶這一事實，例如，經由視覺或聽覺消息，諸如“電視沒有被識別”。如果判定步驟1002為真，則判定步驟1004確定目標計算設備是否可用(當該目標為計算設備時)。在一種方式中，當該目標為無源顯示表面時，可以假定該目標總是可用。例如，當目標計算設備不忙于執行另一任務時，或正在執行比繼續該體驗的任務優先級更低的另一任務時，該目標計算設備可能可用。例如，電視機在已經在使用中的情況下可能不可用，例如電視機被通電且正由另一人觀看，在該情況下可能不希望打斷該另一人的觀看體驗。目標計算設備的可用性還可取決于連接HMD設備和目標計算設備的網絡的可用性。例如，目標計算設備在可用網絡帶寬太低或網絡等待時間太長的情況下可被認為是不可用的。如果判定步驟1004為假，則在步驟1006不滿足繼續該體驗的條件。如果判定步驟1004為真，則判定步驟1008確定是否應用會阻止或限制繼續該體驗的任何限制。例如，電視機處的該繼續可能受限，因此該繼續在一天中的特定時間不被準許，例如，深夜，或諸如學生等用戶不被允許使用電視機的時間段。或者，電視機處的該繼續可能受限，因此僅視覺部分被允許在深夜繼續，而音頻關閉或設置在低等級，或音頻被維持在HMD設備處。在該繼續位于遠程電視機處(諸如另一人的家中)的情況下，該繼續可在特定時間和特定日子被禁止，這通常由該另一用戶來設置。如果判定步驟1008為真，則之后可以是兩條路徑之一。在一條路徑中，該繼續被禁止，并且可任選地在步驟1010告知用戶該情況，例如通過消息:“禁止現在將該電影轉移到Joe房屋的電視上”。在另一路徑中，允許受限的繼續，并到達步驟1012，指示滿足繼續該體驗的條件。如果判定步驟1008為假，則同樣到達步驟1012。步驟1014在目標計算設備處繼續該體驗的音頻或視覺部分，或者音頻和視覺部分兩者。例如，某限制可僅允許視覺或音頻部分在目標計算設備處被繼續。所示過程可類似地被用作圖9A的步驟914的示例場景。在該情況下，例如，內容的源是目標計算設備，而該目標是HMD設備。圖1OB描繪圖9A的步驟904的另一示例場景，該步驟904用于確定在目標計算設備或顯示表面上繼續一體驗的條件是否被滿足。在一種情形中，在步驟1020處，HMD設備識別目標計算設備或顯示表面。例如，當用戶走進他或她的房間時，HMD設備可以例如使用無線網絡檢測到存在諸如電視機之類的目標計算設備。可以確定用戶正在看電視。在另一情形中，在步驟1038處，HMD設備獲取的位置數據指示存在目標計算設備或顯示表面。例如，位置數據可以是指示用戶位于家中的GPS數據。判定步驟1040確定目標計算設備或顯示表面是否被HMD設備識別。如果判定步驟1040為真，則達到判定步驟1022。判定步驟1022確定目標計算設備是否可用。如果判定步驟1022或1040為假，則到達步驟1024，并且不滿足繼續該體驗的條件。如果判定步驟1022為真，則判定步驟1026確定限制是否適用于所推薦的繼續。如果限制適用使得該繼續被禁止，則到達步驟1028，在步驟1028可告知用戶該繼續被禁止。如果該繼續被限制，或者如果不存在限制，則步驟1030可提示用戶確定用戶是否同意執行該繼續。例如，可以使用諸如“你想繼續在電視上看該電影嗎？”之類的消息。如果用戶不同意，則到達步驟1024。如果用戶同意，則到達步驟1032，并且滿足繼續該體驗的條件。如果步驟1026為假，則接著可執行步驟1030或1032。即，向用戶提示可被省略。步驟1034在目標計算設備處繼續該體驗的音頻或視覺部分，或者音頻和視覺部分兩者。所示過程可類似地被用作圖9A的步驟914的示例場景。在該情況下，例如，內容的源是目標計算設備，而該目標是源HMD設備。圖1OC描繪圖9A的步驟904的另一示例場景，該步驟904用于確定在目標計算設備上繼續一體驗的條件是否被滿足。該場景例如與圖16有關。在步驟1050，交通工具中的目標計算設備被源HMD設備識別。步驟1052將HMD設備的用戶標識成駕駛員或乘客。在一種可能的方式中，用戶在該交通工具中的位置可由交通工具內的目標計算設備的定向天線來檢測。或者，交通工具中的傳感器(諸如座位上的重量傳感器)可檢測用戶正坐在駕駛員座位上，因此用戶是駕駛員。如果用戶是駕駛員，則步驟1054將HMD設備處的體驗標識成與駕駛有關的或與駕駛無關的。與駕駛有關的體驗可包括例如對地圖的顯示或聽覺引導或其他導航信息，這例如在用戶正在駕駛時繼續是重要的。與駕駛無關的體驗可以是例如電影。如果該體驗是與駕駛無關的且包括視覺數據，則在步驟1056出于安全原因不在目標計算設備處繼續該視覺數據。如果該體驗包括音頻數據，則在步驟1058提示用戶暫停該音頻(在該情況下發生步驟1060)，在目標計算設備處繼續該音頻(在該情況下發生步驟1062)或在HMD設備處維持該音頻(在該情況下發生步驟1064)。如果用戶是乘客，則步驟1066提示用戶在HMD設備處維護該體驗(在該情況下發生步驟1068)，或在目標計算設備處繼續該體驗(在該情況下發生步驟1070)。步驟1070可任選地提示用戶輸入在交通工具中的座位位置。一般而言，HMD用戶/佩戴者是車輛中的駕駛員還是乘客，在行為上存在根本差異。如果用戶是駕駛員，則音頻可被傳送到車輛中作為目標計算設備的音頻系統，而視頻可被傳送到例如車輛中的平視顯示器(heads up display)或顯示屏。不同類型的數據可不同地對待。例如，與駕駛有關的信息(諸如導航信息，在用戶駕駛時進行顯示被認為是合適且安全的)可自動地傳送到車輛的計算設備，但出于安全原因電影回放(或其他顯著使人分心的內容)應被暫停。默認傳送諸如音樂/MP3之類的音頻，但向用戶提供暫停(保存狀態)或傳送的選項。如果HMD佩戴者是交通工具中的乘客，則用戶可能具有保留其HMD當前正提供的任何類型的內容的選項，或者可能可任選地將音頻和/或視頻傳送到車輛的系統，使坐在前排或后排的乘客注意到潛在的不同體驗，這些坐在前排或后排的乘客在車輛中可具有自己的視頻屏幕和/或音頻點(例如，如在交通工具內的娛樂系統中)。圖11是描繪圖9A的用于將數據傳遞給目標計算設備的步驟906或916的進一步細節的流程圖。步驟1100涉及將數據傳遞到目標計算設備。這可涉及不同的方式。在一種方式中，步驟1102將內容的網絡地址傳輸到目標計算設備。例如，考慮從網絡位置接收流傳送音頻和/或視頻的HMD設備。通過將該網絡地址從HMD設備傳遞到目標計算設備，目標計算設備可開始使用該網絡地址來訪問內容。網絡地址的示例包括IP地址、URL和存儲音頻和/或視覺內容的存儲設備的目錄中的文件位置。在另一方式中，步驟1104將文件位置傳遞到目標計算設備以保存當前狀態。例如，這可以是存儲設備的目錄中的文件位置。一個示例是將電影從HMD設備傳送到目標計算設備，在目標計算設備上進一步觀看該電影，并且在該電影結束之前停止觀看。在這種情況下，當前狀態可以是電影被停止的點。在另一方式中，步驟1106將內容傳遞到目標計算設備。例如，對于音頻數據，這可包括傳遞使用諸如WAV或MP3等格式的一個或多個音頻文件。該步驟可能涉及僅在HMD設備處可用的內容。在其他情況下，將目標計算設備定向到內容的源可能更高效。在另一方式中，步驟1108確定目標計算設備的能力。該能力可涉及目標計算設備使用的通信格式或協議(例如，編碼、調制或RF傳輸能力，諸如最大數據率)，或目標計算設備是否可使用諸W1-Fi 、Bluetooth或IrDA 之類的無線通信協議。對于視覺數據，該能力可指示與例如圖像分辨率(可接受的分辨率或可接受的分辨率范圍)、屏幕大小和屏幕高寬比(可接受的屏幕高寬比或可接受的屏幕高寬比范圍)有關的能力，而對于視頻，該能力可指示幀/刷新率(可接受的幀率或可接受的幀率范圍)以及其他可能性。對于音頻數據，該能力可指示保真度，例如是否為單聲道、立體聲和/或環繞聲(例如，5.1或五聲道音頻，諸如杜比數字(DOLBY DIGITAL)或數字影院聲音(DTS))。保真度可以以音頻位深來表達，例如，每一音頻樣本的數據位數。音頻和視頻的分辨率合起來可被認為是可被傳遞的“體驗分辨率”能力。HMD設備可按不同的方式來確定目標計算設備的能力。在一種方式中，HMD設備將一個或多個其他計算設備的能力的記錄存儲在非易失性存儲中。當滿足在目標計算設備處繼續一體驗的條件時，HMD從目標計算設備獲取標識符，并且在記錄中查找對應的能力。在另一方式中，該能力是HMD設備預先不知道的，而是在目標計算設備處繼續一體驗的條件被滿足的時候從目標計算設備接收的，諸如通過目標計算設備在網絡上廣播其能力并且HMD設備接收到該廣播。步驟1110基于該能力來處理內容，以便提供經處理的內容。例如，這可涉及將內容轉換成適合或更適合目標計算設備的能力的格式。例如，如果目標計算設備是具有相對小屏幕的蜂窩電話，則HMD設可決定在將視覺數據傳送到目標計算設備之前，降采樣視覺數據或降低視覺數據的分辨率，例如從高分辨率降低到低分辨率。作為另一示例，HMD設備可決定在將視覺數據傳送到目標計算設備之前改變視覺數據的屏幕高寬比。作為另一示例，HMD設備可決定在將音頻數據傳送到目標計算設備之前改變音頻數據的音頻位深。步驟1112包括將經處理的內容傳輸到目標計算設備。例如，HMD設備可經由LAN和/或WAN、或是直接或是經由一個或多個中樞與目標計算設備通信。步驟1113涉及確定一個或多個網絡的網絡能力。這涉及考慮通信介質。例如，如果網絡上的可用帶寬相對低，則計算設備系統可確定較低的分辨率(或信號的較高壓縮)是最適當的。作為另一示例，如果網絡上的等待時間相對高，則計算設備可確定較長的緩沖時間是合適的。由此，源計算設備不僅基于目標計算設備的能力而且還基于網絡能力來作出判定。一般而言，源計算設備可表征目標計算設備的參數，并且提供優化體驗。此外,在許多情況下,期望時變(time-varying)體驗以無縫、不間斷的方式在目標計算設備處繼續，使得在目標計算設備處該體驗基本上在該體驗在HDM設備處結束的點處繼續。即，目標計算設備處的該體驗可與在源HMD設備處的該體驗同步，或者反之亦然。時變體驗可以是隨時間變化的體驗。在某些情況下，該體驗以預定速率隨時間進展，該預定速率名義上不由用戶來設置，諸如在音頻和/或視頻文件被播放時。在其他情況下，該體驗以用戶設置的速率隨時間進展，諸如在用戶閱讀文檔(例如，逐頁或按用戶的其他增量前進的電子書)時，或在用戶使幻燈片放映逐圖像前進時。類似地，游戲體驗以一速率并且以基于來自HMD用戶且可任選地來自其他玩家的輸入的方式前進。對于電子書或其他文檔，時變狀態可指示文檔中的位置(見步驟1116)，其中，文檔中的該位置是文檔的開始和結束之間的中間位置(partway)。對于幻燈片放映，時變狀態可指示最后顯示的圖像或要播放的下一圖像，例如，圖像的標識符。對于游戲體驗，時變狀態可指示用戶在游戲中的狀態，諸如賺取的點，用戶的化身在虛擬世界中的位置等等。在某些情況下，時變狀態的當前狀態可通過音頻和視覺內容中的至少一個的持續時間、時間戳以及分組標識符中的至少一個來指示。例如，音頻或視頻的回放可基于自體驗開始或某一其他時間標記以來已流逝的時間來測量。使用該信息，該體驗可從已流逝的時間開始在目標計算設備處繼續。或者，最后播放的分組的時間戳可被跟蹤，使得該體驗可從具有相同時間戳的分組開始在目標計算設備處繼續。音頻和視頻數據的播放通常涉及對一個或多個數字數據分組流的數模轉換。每一分組具有可被跟蹤的編號或標識符，使得當該體驗在目標計算設備處繼續時，該序列可以在大約相同分組處開始播放。該序列可在接入點處周期性地具有播放可從之開始的所指定分組。作為直接傳送情形中的一個示例，該狀態可被存儲在從HMD設備傳輸到目標計算設備的指令集中。HMD設備的用戶可能正在觀看電影“泰坦尼克號”。為傳送該內容，初始指令可能是:家庭電視，開始播放電影“泰坦尼克號”，并且狀態傳送的一條可能是:在自開始以來時間戳I小時24分時開始重放。該狀態可被存儲在HMD設備上或網絡/云位置處。在一種方式中，為避免中斷，使得當體驗在HMD設備處停止而在目標計算設備處開始時，施加略微延遲是有可能的，這提供了時間以供目標計算設備在停止HMD設備處的體驗之前訪問并開始播放該內容。當目標計算設備已經成功訪問該內容時，目標計算設備可將確認發送給HMD設備，HMD設備可響應于此而停止其體驗。注意，HMD或目標計算設備可具有多個并發體驗，并且傳送可涉及這些體驗中的一個或多個。因此，步驟1114確定內容的時變狀態在HMD設備處的當前狀態。例如，這可涉及訪問工作存儲器中的數據。在一個選項中，步驟1116確定諸如電子書等文檔中的位置(例如，頁或段落)。在另一選項中，步驟1118確定視頻或音頻的持續時間、時間戳和/或分組標識符。上述討論與兩個或更多計算設備有關，其中至少一個可以是HMD設備。圖12描繪跟蹤用戶的凝視方向以及焦深的過程，該過程一般而言諸如供在圖9A的步驟904或914中使用，且更具體地供在圖1OA的步驟1002或圖1OB的步驟1020和1040中使用，以便確定目標計算設備或顯示表面是否被識別。步驟1200涉及使用上述技術來跟蹤用戶的一個或兩個眼睛。在步驟1202中，眼睛被照明，例如使用來自圖3中眼睛跟蹤照明134A的若干LED的紅外光。在步驟1204，使用一個或多個紅外眼睛跟蹤相機134B來檢測來自眼睛的反射。在步驟1206，將反射數據提供給處理單元4。在步驟1208，如以上討論的，處理單元4基于反射數據來確定眼睛的位置。步驟1210確定凝視方向和焦距。在一種方式中，眼球的位置可基于相機和LED的位置來確定。瞳孔中心可使用圖像處理來找出，并且延伸穿過瞳孔中心的輻射可被確定為視軸。具體而言，一個可能的眼睛跟蹤技術使用閃光的位置，該閃光是當瞳孔被照明時從瞳孔反射離開的少量的光。計算機程序基于該閃光確定凝視的位置。另一可能的眼睛跟蹤技術是瞳孔中心/角膜反射技術，該技術可以比閃光技術的位置更準確，因為該技術跟蹤閃光和瞳孔中心兩者。瞳孔中心一般是視力的精確位置，并且通過在閃光的參數內跟蹤該區域，對眼睛正凝視哪里作出準確預測是可能的。在另一方式中，瞳孔形狀可用于確定用戶正凝視的方向。瞳孔與相對于正前方的視角成比例地變得更橢圓。在另一方式中，眼睛中的多個閃光被檢測以找出眼睛的Sd位置，估計眼睛的半徑，并且繪制通過眼睛中心通過瞳孔中心的線以獲取凝視方向。凝視方向可針對用戶的一個或兩個眼睛來確定。凝視方向是用戶看的方向且基于視軸，該視軸是所繪制的假想線，例如，通過瞳孔中心到小凸(視網膜中心處，黃斑內)中心。在任何給定時間，用戶正在看的圖像的點是注視點，該注視點處于視軸與圖像的交點處，該交點與HMD設備相距為焦距。當兩個眼睛都被跟蹤時，眼窩肌肉使兩個眼睛的視軸與注視點的中心對齊。眼睛跟蹤器可相對于HMD設備的坐標系確定視軸。圖像也可以相對于HMD設備的坐標系來定義，使得不必將凝視方向從HMD設備的坐標系轉換到另一坐標系，諸如世界坐標系。世界坐標系的一個示例是用戶位于的房間的固定坐標系。這樣的轉換通常會要求知道用戶頭部的定向，并且引入額外的不確定性。如果凝視方向被確定成在某一最小時間段內指向計算設備，則這指示用戶正在看該計算設備。在這種情況下，計算設備被認為是被識別的，并且是內容傳送的候選者。在一種方式中，通過將外觀特征與計算設備的已知外觀特征作比較，計算設備的外觀可由HMD設備的面向前方的相機來識別，外觀特征例如大小、形狀、高寬比和/或顏色。圖13描繪涉及一個或多個HMD設備以及一個或多個其他計算設備的各種通信場景。這些場景可涉及HMD設備2以及以下各項中的一個或多個:電視機(或計算機監視器)1300，蜂窩電話(或平板或PDA) 1302，帶有顯示器1309的電子告示牌1308，另一 HMD設備1310以及商業設施1306 (諸如具有帶有顯示器1305的顯示設備1304的餐廳)。在該示例中，該商家是餐廳，該餐廳將其菜單張貼在諸如菜單版等顯示設備1304上。FIG.圖14描繪其中HMD設備處的體驗基于HMD設備的位置在諸如圖13的電視機1300之類的目標計算設備處被繼續的場景。當佩戴HMD設備2的用戶1410進入指定位置1408時，在電視機1300處繼續HMD設備處的體驗的條件被滿足。顯示器1400表示HMD設備2上的圖像，并且包括背景區域1402 (例如，靜止或移動圖像，可任選地伴隨有音頻)作為體驗。當HMD設備確定它處于指定位置時，HMD設備可在前景區域1404中生成消息，該消息詢問用戶他或她是否想要在已被標識成“我的客廳電視機”的計算設備處繼續HMD設備的體驗。用戶可以用諸如手勢、點頭、或語音命令之類的某一控制輸入作出肯定或否定響應。如果用戶作出肯定響應，則該體驗在電視機1300處繼續，如顯示1406所指示的。如果用戶作出否定響應，則該體驗不在電視機1300處繼續，而可在HMD設備處繼續或完全被停止。在一種方式中，HMD設備基于鄰近度信號、紅外信號、碰撞、HMD設備與電視機的配對、或使用參考圖9B討論的任一技術來確定HMD設備位于位置1408。作為一個示例，位置1408可表示用戶的房屋，使得當用戶進入該房屋時，用戶具有在諸如電視機等目標計算設備處繼續HMD設備處的體驗的選項。在一種方式中，HMD設備被預配置為使得HMD設備將電視機300與用戶生成的描述(我的客廳電視機)和位置1408相關聯。諸如音量級等電視機的設置可由用戶預配置或被設置為默認。體驗的繼續可自動地發生而沒有用戶干涉，而不是提示用戶批準到電視機的轉移(例如使用前景區域1404中的消息)。例如，系統可被設置或預配置為使得在檢測到一個或多個條件時執行繼續。在一個示例中，系統可被設置，使得如果用戶正在HMD設備上觀看電影并且到達家里，則發生電影自動傳送到家里大屏幕電視機。為此，用戶可例如經由基于web的應用來在系統設置/配置列表中設置配置條目。如果系統不存在預配置的對文件的傳送，則可提示用戶查看他們是否希望執行該傳送。是否繼續該體驗的判定可考慮其他因素，諸如電視機1300當前是否被使用、一天中的時間、星期。注意，僅繼續包括音頻和視頻兩者的內容的音頻或視覺部分是可能的。例如，如果用戶深夜到家，則可能期望在電視機1300上繼續視覺內容而不繼續音頻內容，例如以便吵醒家中的其他人。作為另一示例，用戶可能期望收聽內容的音頻部分，諸如經由電視機或家庭音頻系統，但不繼續視覺內容。在另一選項中，電視機1300位于用戶的遠程位置，諸如位于朋友或家庭成員的家中，如接下來描述的。圖14B描繪基于HMD設備的位置在HMD設備本地的電視機處以及在遠離HMD設備的電視機處繼續HMD設備處的體驗的場景。在該示例中，體驗已經在用戶本地的電視機1300處繼續，并且也在HMD設備處繼續。HMD設備提供具有背景圖像1402以及作為前景圖像1430的消息的顯示1426，該消息向用戶詢問用戶是否期望在已被標識成在“Joe的房屋中”的計算設備(例如電視機1422)處繼續該體驗。消息可能替代地位于用戶視野的其他位置，諸如背景圖像1402側部。在另一方式中，可以可聽地提供消息。此外，用戶使用手勢來提供命令。在該情況下，手1438及其姿勢(例如，手的輕打)由面向前方的相機113檢測，其中視野由虛線1434和1436指示。當給出肯定姿勢時，體驗作為顯示1424在電視機1422處繼續。HMD設備可經由諸如用戶和朋友家中的LAN以及連接到LAN的因特網(WAN)等一個或多個網絡與遠程電視機1422通信。用戶可替代地通過控制輸入向與HMD設備通信的游戲控制器1440提供命令。在該情況下，基于硬件的輸入設備由用戶操縱。無論到達目標計算設備或顯示表面中所涉及的網絡拓撲結構是什么，內容可被傳送到處于用戶的直接空間的目標計算設備或顯示表面，或傳送到某一其他地方的其他已知(或可發現的)計算設備或顯示表面。在一個選項中，HMD設備處的體驗自動地在本地電視機1300處繼續，但需要用戶命令要在遠程電視機1422處繼續。遠程電視機的用戶可對其配置，以設定關于什么內容將被接收并播放的許可。可提示遠程電視機的用戶批準遠程電視機處的任何體驗。該場景可例如在用戶希望與朋友共享體驗的情況下發生。圖14C描繪HMD設備處的體驗的視覺數據在計算設備(諸如圖13的電視機1300)處被繼續、而HMD設備處的體驗的音頻數據在計算設備(諸如家庭高保真或立體聲系統1460 (例如包括音頻放大器和揚聲器))處被繼續的場景。如上所述，當配對HMD設備2的用戶1410進入指定位置1408時，繼續該體驗的條件被滿足。當HMD設備確定它處于指定位置時，HMD設備可在前景區域1452中生成消息，該消息詢問用戶他或她是否想要在已被標識成“我的客廳電視機”的計算設備處繼續該體驗的視覺數據，而在已被標識成“我的家庭立體聲系統”的計算設備處繼續該體驗的音頻數據。用戶可作出肯定響應，在該情況下該體驗的視覺數據如顯示1406指示的在電視機1300處繼續，而該體驗的音頻數據在立體聲系統1460處繼續。HMD設備可自動地判定視覺數據應在電視機上繼續，而音頻數據應在家庭高保真立體聲系統上繼續。在該情形中，HMD設備的至少一個控制電路確定滿足在一個目標計算設備(例如電視機1300)處提供視覺內容的繼續，而在另一計算設備(例如家庭立體聲系統1460)處提供音頻內容的繼續。圖15描繪基于HMD設備的用戶的語音命令在諸如蜂窩電話之類的計算設備處繼續HMD設備處的體驗的場景。用戶左手持有蜂窩電話(或平板、膝上型計算機或PDA)1302，并且作出語言命令以發起該繼續。HMD設備的顯示器1504包括背景圖像1402和作為前景圖像1508的消息，該消息詢問:在“我的蜂窩電話”處繼續？當命令指示肯定響應時，該體驗在蜂窩電話1302處使用顯示器1502來繼續。例如，當用戶使蜂窩電話通電并且例如通過感測蜂窩電話廣播的詢問消息而被HMD設備識別時，和/或在諸如使用BLUETOOTH (藍牙)的主從配對中HMD設備與蜂窩電話配對時，可能發生該場景。用戶也可訪問蜂窩電話上的應用以啟動該傳送。如上所述，作為替代，蜂窩電話處的繼續可自動地發生而不提示用戶。圖16描繪在交通工具中僅HMD設備處的體驗的音頻部分在計算設備處被繼續的場景。并且參考圖10C。在道路1600上，用戶在交通工具1602中。該交通工具具有計算設備1604，諸如網絡連接的音頻播放器，例如具有BLUETOOTH連接性的MP3播放器，音頻播放器包括揚聲器1606。在該場景中，用戶進入車輛佩戴HMD設備，包括音頻和視覺內容的體驗在該HMD設備上正在進行。HMD設備確定它在計算設備1604附近(例如通過感測計算設備1604廣播的詢問消息)，并基于安全考慮自動地在計算設備1604上僅繼續音頻內容而不繼續視覺內容。體驗包括顯示器1608，顯示器1608具有背景圖像1402和作為前景圖像1612的消息，該消息聲明:“5秒鐘后在“我的車”處繼續音頻”。在該情況下，倒計時向用戶通知將發生該繼續。可任選地，當用戶在車輛中但感測到車輛開始移動(例如，基于加速計或基于改變的GPS/GSM信號的位置)時，HMD設備繼續包括視覺內容的體驗，并且通過停止視覺內容但在HMD設備或計算設備1604上繼續音頻內容來作出響應。停止該內容可基于上下文敏感的規則，諸如:當我在移動的車輛中時不要播放電影。圖17A描繪在商家處在計算設備處的體驗在HMD設備處被繼續的場景。諸如餐廳等商業設施1306具有諸如計算機監視器等提供對其正餐菜單的顯示1305作為體驗的計算設備1304。還可提供諸如音樂或講解者的推銷說辭(sale pitch)等伴隨音頻。這樣的監視器可被稱為數字菜單板，并且通常使用IXD顯示器并具有網絡連接性。此外，一般而言，監視器可以是不必與餐廳相關聯的智能板或智能顯示器的一部分。當HMD設備例如通過確定用戶正凝視計算設備，和/或通過感測來自接入點1307的信號，確定用戶的注意力被吸引到計算設備1304時，HMD設備可訪問來自計算設備的數據，諸如菜單的靜止或移動的圖像或其他信息。例如，HMD設備可提供包括作為背景區域1702的菜單和作為前景圖像1704的消息，該消息詢問:“取一本我們的菜單？ ”用戶可使用手勢提供肯定命令，例如在該情況下，顯示器1706提供作為背景區域1702的菜單而沒有消息。手勢可提供從計算設備1304中抓取菜單并將其放在HMD設備的視野內的體驗。菜單可以按即使在HMD設備和計算設備1304不再彼此通信之后(例如，當HMD設備在接入點范圍以外時)仍持續存在的形式而被存儲在HMD設備處。除菜單以外，計算設備還可提供其他數據，諸如特別供應、電子優惠券、其他顧客的評論等。這是在HMD設備上繼續來自另一非HMD計算設備的體驗的示例。在另一示例中，計算設備1304不必與餐廳相關聯和/或不必位于餐廳，但具有向HMD設備發送不同類型的信息的能力。在一種方式中，計算設備可基于已知地理信息和/或用戶偏好(例如，用戶喜歡墨西哥菜)發送位于該區域并且可能是HMD設備用戶感興趣的不同餐廳的菜單。計算設備可基于諸如一天的時間、確定用戶最近看過另一菜單板、和/或確定用戶最近使用HMD設備或另一計算設備(諸如蜂窩電話)執行過對餐廳的搜索之類的信息來確定用戶有可能正在尋找餐廳吃晚餐。計算設備可找到它認為與用戶有關的信息，例如，通過搜索本地餐廳并濾除不相關的信息。當用戶在周圍移動時，諸如走在具有相應計算設備的許多此類商業設施的街上，HMD設備接收的音頻和/或視覺內容可基于用戶與每一商業設施的位置的鄰近度而動態改變。例如，可以基于HMD設備可檢測的商業設施的無線信號，并且可能是它們相應的信號強度、和/或交叉引用到已知設施位置的GPS位置數據，來確定用戶和HMD設備與特定商業設施的位置接近。圖17B描繪圖17A的體驗包括用戶生成的內容的場景。對于商家或其他組織，客戶/顧客張貼評論、照片、視頻或其他內容并且例如使用社交媒體來使這些內容對朋友或公眾可用已經變得常見。一個場景基于社交聯網數據突出顯示名人或朋友對餐廳的評論。在一個示例中，名為Joe和Jill的餐廳的顧客先前已經創建了內容，并且將其與計算設備1304相關聯。HMD設備上的顯示器1710包括顯示該菜單的背景區域1702以及作為前景圖像1714的消息，該消息聲明:“J0e和Jill說…”。用戶1410例如使用手勢輸入訪問消息的附加內容的命令。附加內容在顯示器1716中提供，并且聲明:“Joe推薦牛排”而“Jill喜歡餡餅”。用戶可輸入導致對于背景區域1702本身的顯示1720的另一命令。圖17C描繪用戶為圖17A的體驗生成內容的場景。用戶可以用多種方式來提供與諸如餐廳等商家有關的內容。例如，用戶可對著HMD設備的話筒講話，并且該語音可被存儲在音頻文件中、或使用語音至文本轉換而被轉換成文本。用戶可輸入講出的命令和/或姿勢來提供內容。在一種方式中，用戶“標記”該餐廳并使用目標計算設備提供內容，目標計算設備諸如蜂窩電話(或平板、膝上型計算機或個人計算機)1302等包括顯示區域1740和在其上鍵入評論的輸入區域/鍵盤1742。這里，該內容是文本評論:“漢堡包好吃”。該內容被張貼，使得顯示1730包括該 內容作為前景圖像。其他用戶隨后也可訪問該內容。該內容還可包括音頻和視頻。評論也可通過從預定義的內容選擇(例如，“非常好”、“還不錯”或“不好”)列表中選取。評論也可通過在預定義的排名系統中作出選擇來定義(例如，對于餐廳，從五顆星中選擇三顆星)。在另一方式中，用戶可使用基于位置的社交聯網站點在商業位置或其他地點處為移動設備簽到。用戶可通過從基于GPS的應用所定位的附近地點列表中進行選擇來簽到。與來自同一用戶的連續登錄有關的度量可被檢測(例如，Joe這個月已經來過這里五次)并且顯示給其他用戶，以及與來自給定用戶的朋友的登錄有關的度量也類似。諸如評級等對給定用戶可用的附加內容可以例如基于用戶的身份、用戶的社交聯網朋友或用戶的人口統計信息。圖18基于圖9A的步驟909描繪一示例場景，該示例場景描述用于將視覺內容從初始虛擬位置移動到與顯示表面配準的虛擬位置的過程。在這一方式中，視覺內容由HMD設備繼續顯示，但與顯示設備的位置配準，諸如真實世界中的空白墻壁或屏幕。最初，視覺內容(帶有可任選的伴隨音頻內容)可被顯示在用戶的HMD設備處的初始虛擬位置。這可以是與真實世界對象配準的虛擬位置。真實世界對象可以是空白墻壁或屏幕。由此，隨著用戶移動他或她的頭部，視覺內容出現在視野中的同一虛擬位置，諸如直接在HMD設備前方，或者出現在不同的虛擬世界位置。然后，滿足將虛擬內容傳送到與顯示表面配準的虛擬位置的條件。這可以基于如上所述的條件中的任一個，包括HMD設備的位置以及檢測到的與顯示表面(諸如空白墻壁、屏幕或3D對象)的鄰近度。例如，顯示表面可與諸如用戶的家或家中的房間之類的位置相關聯。在一種方式中，顯示表面本身可能不是計算設備也不具有通信的能力，但可具有HMD設備預先知道的能力，或由目標計算設備實時傳遞到HMD設備的能力。這些能力可標識例如反射率/增益水平以及可用視角范圍。具有高反射率的屏幕將具有較窄的可用視角，因為反射光量隨著觀看者從屏幕前方移開而迅速減少。一般而言，我們可以將HMD設備外部的顯示器分成三類。一類包括諸如經由背光屏幕生成顯示的顯示設備。這些包括我們可使顯示同步的電子屬性的電視機和計算機監視器。第二類包括諸如白墻等任意平面空間。第三類包括并非固有地是監視器而是主要出于該目的而使用的顯示表面。一個示例是電影院/家庭影院投影屏幕。顯示表面具有某些屬性，這些屬性使其作為顯示而比平面白墻更好。對于顯示表面，其能力/屬性和存在可向HMD設備廣播或廣告。該通信可以以HMD可用于標識存在顯示表面的標簽/嵌入消息的形式，并且注意其大小、反射屬性、最優視角等，使得HMD設備具有確定將圖像傳送到顯示表面所需的信息。這種類型的傳送可包括創建全息圖，使其看起來像圖像被傳送到的地方，或使用微型投影儀/其他投影儀技術來傳送圖像作為視覺內容，其中投影儀傳送視覺內容本身。將視覺內容傳送到與真實世界表面(諸如白墻、屏幕或3D對象)配準的虛擬位置。在該情況下，隨著用戶移動他或她的頭部，視覺內容看上去處于同一真實世界位置，而不是相對于HMD設備在固定位置。此外，顯示表面的能力可按HMD設備生成視覺內容的方式來考慮，例如根據亮度、分辨率和其他因素。例如，相比于在顯示表面是具有較低反射率的空白墻面時，在顯示表面是具有較高反射率的屏幕時，HMD設備可在使用其微顯示器呈現視覺內容時使用較低亮度。這里，諸如屏幕等顯示表面1810看起來具有與其配準的顯示(視覺內容)1406，使得當用戶的頭部和HMD設備位于第一定向1812時，顯示1406分別由微顯示器1822和1824在左透鏡118和右透鏡116中提供。當用戶的頭部和HMD設備位于第二定向1814時，顯示1406分別由微顯示器1832和1834在左透鏡118和右透鏡116中提供。顯示表面1810本身并非固有地產生顯示信號，但可被用于主存/固定圖像或圖像集。例如，HMD設備的用戶可進入他們家里，并且將當前內容復制到家庭系統處，該家庭系統包括其上呈現視覺內容的顯示表面、以及可能其上呈現音頻內容的音頻高保真系統。這是在諸如電視機等計算設備處復制當前內容的選項。甚至隨著用戶在房屋中或其他位置的周圍移動，在不同的顯示表面處一個接一個復制該內容也是可能的。前面的對本技術的詳細描述只是為了說明和描述。它不是為了詳盡的解釋或將本技術限制在所公開的準確的形式。鑒于上述教導，許多修改和變型都是可能的。所描述的實施例只是為了最好地說明本技術的原理以及其實際應用，從而使精通本技術的其他人在各種實施例中最佳地利用本技術，適合于特定用途的各種修改也是可以的。本技術的范圍由所附的權利要求進行定義。
權利要求
1.一種頭戴式顯示設備，包括: 至少一個透視透鏡； 與所述至少一個透視透鏡相關聯的至少一個圖像投影源； 與所述至少一個圖像投影源通信的至少一個控制電路，所述至少一個控制電路: 在所述頭戴式顯示設備處提供包括音頻和視覺內容中的至少一個的體驗； 確定是否滿足條件來在所述目標設備處提供所述體驗的至少一部分的繼續；以及如果所述條件滿足，則將數據傳遞到所述目標計算設備，以允許所述目標計算設備提供所述體驗的至少一部分的繼續，所述體驗的至少一部分的繼續包括所述音頻和視頻內容中的至少一個。
2.按權利要求1所述的頭戴式顯示設備，其特征在于: 所述至少一個控制電路確定滿足條件來在一個目標計算設備處提供所述視覺內容的繼續而在另一計算設備處提供所述音頻內容的繼續。
3.按權利要求1所述的頭戴式顯示設備，其特征在于，為確定是否滿足所述條件，所述至少一個控制電路確定以下各項之一: 所述頭戴式顯示設備的用戶是否作出姿勢； 所述用戶是 否操縱基于硬件的輸入設備； 所述用戶是否作出語音命令；以及 所述用戶的凝視是否指示所述用戶正在看所述目標計算設備。
4.按權利要求1所述的頭戴式顯示設備，其特征在于，為確定是否滿足所述條件，所述至少一個控制電路檢測以下各項之一: 鄰近度信號； 紅外信號； 碰撞； 所述頭戴式顯示設備與所述目標計算設備的配對；以及 接入點的電磁信號。
5.按權利要求1所述的頭戴式顯示設備，其特征在于: 所述數據包括供所述目標計算設備在保存所述音頻和視覺內容中的至少一個的時變狀態的當前狀態時使用的文件位置。
6.按權利要求1所述的頭戴式顯示設備，其特征在于，所述數據至少包括以下各項之 所述音頻和視覺內容中的至少一個； 所述音頻和視覺內容中的至少一個的網絡地址；以及 所述音頻和視覺內容中的至少一個的文件存儲位置。
7.按權利要求1所述的頭戴式顯示設備，其特征在于: 所述數據包括所述音頻和視覺內容中的至少一個的時變狀態的當前狀態，所述時變狀態指示所述音頻和視覺內容中的至少一個的當前位置，所述當前位置在所述音頻和視覺內容中的至少一個的開始與結束之間的中間位置，所述時變狀態的當前狀態由所述音頻和視覺內容中的至少一個的持續時間、時間戳和分組標識符中的至少一個來指示。
8.按權利要求1所述的頭戴式顯示設備，其特征在于，所述至少一個控制電路:確定其位置；以及 基于所述位置確定是否滿足所述條件。
9.按權利要求1所述的頭戴式顯示設備，其特征在于，所述至少一個控制電路: 確定與所述目標計算設備的圖像分辨率和音頻保真度中的至少一個有關的一個或多個能力；以及 基于所述一個或多個能力來處理所述內容，以便提供經處理的內容，所述數據包括經處理的內容。
10.一種用于控制頭戴式顯示設備的處理器實現的方法，包括以下處理器實現的步驟: 在所述頭戴式顯示設備處提供包括音頻和視覺內容中的至少一個的體驗； 確定是否滿足條件來在目標所述設備處提供所述體驗的至少一部分的繼續；以及如果所述條件滿足，則將數據傳輸到所述目標計算設備，以允許所述目標計算設備提供所述體驗的至少一部分的 繼續，所述體驗的至少一部分的繼續包括所述音頻和視頻內容中的至少一個。
全文摘要
本發明公開了將頭戴式顯示連接到外部顯示和其他通信網絡。透視頭戴式顯示(HMD)設備(例如，以眼鏡形式)的音頻和/或視覺體驗可被移動到諸如電視機、蜂窩電話、或計算機監視器之類的目標計算設備，以允許用戶將該內容無縫地轉移到目標計算設備。例如，當用戶進入家中帶有電視機的房間時，在HMD設備上播放的電影可被傳送到電視機并且開始在那里播放，而基本上無需中斷該電影的流。HMD設備可通知電視機例如用于訪問該電影的網絡地址，并且以時間戳或分組標識符的形式提供當前狀態。內容也可以以相反方向被傳送到HMD設備。傳送可基于位置、預配置的設置和用戶命令而發生。
文檔編號G02B27/01GK103091844SQ20121053209
公開日2013年5月8日 申請日期2012年12月11日 優先權日2011年12月12日
發明者J·克拉維, B·薩格登, S·G·拉塔, B·I·瓦特, M·斯卡維澤, J·T·斯蒂德, R·哈斯汀斯, A·G·普洛斯 申請人:微軟公司