1.技術(shù)領(lǐng)域

本發(fā)明涉及用于將游戲玩法分享到第二屏幕的方法和系統(tǒng)。

2.相關(guān)技術(shù)描述

多年來，視頻游戲行業(yè)已發(fā)生很多變化。隨著計算能力擴(kuò)展，視頻游戲的開發(fā)者同樣已經(jīng)創(chuàng)建了利用這些增加的計算能力的游戲軟件。為此，視頻游戲開發(fā)者一直在編碼并入有復(fù)雜操作和數(shù)學(xué)運(yùn)算的游戲，以產(chǎn)生非常逼真的游戲體驗。

示例游戲服務(wù)和系統(tǒng)可包括由Sony提供的那些，它們當(dāng)前作為游戲控制臺、便攜式游戲裝置出售并且作為云上的服務(wù)提供。眾所周知，游戲控制臺被設(shè)計成連接到監(jiān)視器(通常是電視機(jī))，并且通過手持式控制器實現(xiàn)用戶交互。游戲控制臺被設(shè)計成帶有專用處理硬件，包括CPU、用于處理密集圖形運(yùn)算的圖形處理器、用于執(zhí)行幾何變換的矢量單元，以及其他膠合硬件、固件和軟件。游戲控制臺還被設(shè)計成帶有光盤托盤，以用于接收游戲光盤，從而通過游戲控制臺進(jìn)行本地游戲。在線游戲也是可能的，其中用戶可通過互聯(lián)網(wǎng)與其他用戶交互對抗或一起玩游戲。由于游戲復(fù)雜性持續(xù)激起玩家的興趣，因此，游戲和硬件廠商繼續(xù)創(chuàng)新以實現(xiàn)額外的交互并且創(chuàng)新計算機(jī)程序。

計算機(jī)游戲行業(yè)逐漸興起的趨勢就是開發(fā)能增加用戶與游戲系統(tǒng)之間的交互的游戲。實現(xiàn)更豐富的交互體驗的一種方式便是使用無線游戲控制器，通過游戲系統(tǒng)跟蹤無線游戲控制器的移動，以便跟蹤玩家的移動并且將這些移動用作游戲的輸入。一般而言，手勢輸入指的是讓諸如計算系統(tǒng)、視頻游戲控制臺、智能家電等電子裝置對玩家作出并且被電子裝置捕捉到的一些手勢作出反應(yīng)。

實現(xiàn)更沉浸式交互體驗的另一方式是使用頭戴式顯示器。頭戴式顯示器由用戶佩戴并且可被配置來呈現(xiàn)各種圖形，諸如虛擬空間的視圖。呈現(xiàn)在頭戴式顯示器上的圖形可以覆蓋用戶視野的大部分或甚至全部。因此，頭戴式顯示器可以為用戶提供沉浸式體驗。然而，沉浸式體驗是佩戴HMD的用戶的個人體驗。因此，在佩戴HMD的用戶附近的其他人無法分享這種體驗。

正是在這樣的情景下提出了本發(fā)明的實施方案。

技術(shù)實現(xiàn)要素：

本發(fā)明的實施方案提供用于使得頭戴式顯示器(HMD)能夠?qū)⒂螒蛲娲蚧蚩梢晝?nèi)容分享到第二屏幕的方法和系統(tǒng)。在一些實例中，第二屏幕與HMD在同一位置，而在其他實例中，第二屏幕在遠(yuǎn)程。應(yīng)了解，可采用多種方式實施本發(fā)明，諸如計算機(jī)可讀介質(zhì)上的過程、設(shè)備、系統(tǒng)、裝置或方法。下文描述本發(fā)明的若干發(fā)明實施方案。

在一個實施方案中，提供一種系統(tǒng)，其用于處理針對頭戴式顯示器(HMD)生成的視頻幀，以便分享到第二屏幕。所述系統(tǒng)包括：客戶端系統(tǒng)，其具有處理器，所述處理器用于響應(yīng)于使用HMD的視頻游戲的交互游戲玩打而生成視頻幀。生成的視頻幀包括：帶內(nèi)區(qū)域，其包括將要顯示在HMD上的視頻游戲內(nèi)容(VGC)；以及帶外(OOB)區(qū)域。所述系統(tǒng)還包括片上系統(tǒng)(SOC)處理器，所述SOC處理器具有用于接收生成的視頻幀的輸入接口。SOC處理器包括用于將接收的幀格式化的格式化模塊。還包括圖形處理器單元(GPU)，其用于選擇生成的視頻幀的一部分并且進(jìn)行格式化，以便顯示在第二屏幕上。生成的視頻幀的格式化部分被提供到SOC處理器的第一輸出接口。生成的視頻幀的所述部分被提供到第二屏幕，以便實質(zhì)上實時地大體鏡射HMD上呈現(xiàn)的視頻幀。所述系統(tǒng)包括直通(pass-through)接口，用于在輸入接口到SOC處理器的第二輸出接口之間傳送生成的視頻幀。SOC處理器的第一輸出接口可連接到第二屏幕，并且SOC處理的第二輸出接口可連接到HMD。

在另一實施方案中，公開一種方法，其用于處理針對顯示在頭戴式顯示器(HMD)上而生成的視頻幀。所述方法包括接收針對顯示在HMD上而格式化的視頻幀，以及在將視頻幀傳遞到HMD時，從視頻幀中選擇內(nèi)容的一部分并且處理所述內(nèi)容的所述部分以便輸出到第二屏幕。在HMD中觀看的視頻幀是針對在HMD上觀看而執(zhí)行的交互玩打的結(jié)果。第二屏幕被配置來呈現(xiàn)HMD上的交互玩打的無失真視圖。在實例中，所述方法和系統(tǒng)使得附加內(nèi)容能夠呈現(xiàn)在第二屏幕上(例如，第二屏幕內(nèi)容(SSC))。

在又一實施方案中，提供一種系統(tǒng)，其用于處理針對頭戴式顯示器(HMD)生成的視頻幀，以便分享到第二屏幕。所述系統(tǒng)包括：客戶端系統(tǒng)，其具有處理器，所述處理器用于響應(yīng)于使用HMD的視頻游戲的交互游戲玩打而生成視頻幀。生成的視頻幀包括：帶內(nèi)區(qū)域，其包括將要顯示在HMD上的視頻游戲內(nèi)容(VGC)；以及帶外(OOB)區(qū)域，其包括第二屏幕內(nèi)容(SSC)。所述系統(tǒng)還具有片上系統(tǒng)(SOC)處理器，所述SOC處理器具有用于接收生成的視頻幀的輸入接口。SOC處理器包括：提取邏輯，其用于從帶外區(qū)域中提取SSC；以及圖形處理器單元(GPU)，其用于選擇生成的視頻幀的一部分并且進(jìn)行格式化以便顯示在第二屏幕上。提取的SSC和生成的視頻幀的所述部分被提供到SOC處理器的第一輸出接口。經(jīng)由輸入接口接收的生成的視頻幀作為直通(pass-through)被提供到SOC處理器的第二輸出接口。SOC處理器的第一輸出接口可連接到第二屏幕，并且SOC處理的第二輸出接口可連接到HMD。

在又一實施方案中，提供一種系統(tǒng)，其用于處理針對頭戴式顯示器(HMD)生成的視頻幀，以便分享到第二屏幕。所述系統(tǒng)包括：客戶端系統(tǒng)，其具有處理器，所述處理器用于響應(yīng)于使用HMD的視頻游戲的交互游戲玩打而生成視頻幀。生成的視頻幀包括：帶內(nèi)區(qū)域，其包括將要顯示在HMD上的視頻游戲內(nèi)容(VGC)。所述系統(tǒng)還包括片上系統(tǒng)(SOC)處理器，所述SOC處理器具有用于接收生成的視頻幀的輸入接口。SOC處理器包括用于接收包括第二屏幕內(nèi)容(SSC)的視頻幀的USB輸入，以及用于從視頻幀中提取SSC的提取邏輯。所述系統(tǒng)還具有編解碼器單元，所述編解碼器單元被配置來接收視頻幀和提取的SSC。包括圖形處理器單元(GPU)，其用于選擇生成的視頻幀的一部分并且進(jìn)行格式化，以便顯示在第二屏幕上。提取的SSC和生成的視頻幀的所述部分被提供到SOC處理器的第一輸出接口。經(jīng)由輸入接口接收的生成的視頻幀作為直通被提供到SOC處理器的第二輸出接口。SOC處理器的第一輸出接口可連接到第二屏幕，并且SOC處理的第二輸出接口可連接到HMD。

根據(jù)下文詳細(xì)描述并結(jié)合附圖，本發(fā)明的其他方面將變得明顯，以舉例的方式示出本發(fā)明的原理。

附圖簡述

參考下文描述并結(jié)合附圖，可以最佳地理解本發(fā)明。

圖1A示出根據(jù)本發(fā)明的一個實施方案的視頻游戲的交互游戲玩法的系統(tǒng)。

圖1B示出根據(jù)本發(fā)明的一個實施方案的頭戴式顯示器(HMD)。

圖1C示出根據(jù)本發(fā)明的一個實施方案的HMD玩家將內(nèi)容分享到第二屏幕和另一玩家經(jīng)由第二屏幕來參與游戲玩打的示例。

圖2A到2C示出根據(jù)本發(fā)明的一個實施方案的HMD玩打和第二屏幕分享以及分享到第二屏幕和HMD的第二屏幕內(nèi)容的生成的示例。

圖2D到2F示出顯示在第二屏幕上的整合在HMD的游戲玩打中的第二屏幕內(nèi)容的示例。

圖3示出根據(jù)本發(fā)明的一個實施方案的在視頻幀上執(zhí)行處理的示例，以便將第二屏幕內(nèi)容整合到視頻幀中(在一個實施方案中)，以及用于接收視頻幀并且輸出到HMD和第二屏幕兩者的系統(tǒng)。

圖4示出根據(jù)本發(fā)明的一個實施方案的由系統(tǒng)執(zhí)行的示例處理，以使得能夠?qū)MD內(nèi)容分享到第二屏幕。

圖5是根據(jù)本發(fā)明的一個實施方案的其中呈現(xiàn)在第二屏幕上的第二屏幕內(nèi)容(SSC)(例如，在此示例中是VGC)僅僅是圖像數(shù)據(jù)和音頻數(shù)據(jù)的一個實施方案，所述數(shù)據(jù)鏡射出呈現(xiàn)在HMD中的內(nèi)容。

圖6示出根據(jù)本發(fā)明的一個實施方案的一個示例，其中帶外(OOB)數(shù)據(jù)被預(yù)先處理并且嵌入到由客戶端系統(tǒng)產(chǎn)生的圖像幀中，以使得SSC可以連同VGC一起顯示在第二屏幕上。

圖7示出根據(jù)本發(fā)明的一個實施方案的SOC處理器的替代實施方案，其中添加到第二屏幕上所示的視頻游戲內(nèi)容(VGC)的第二屏幕內(nèi)容(SSC)經(jīng)由USB模塊傳遞。

圖8包括根據(jù)本發(fā)明的一個實施方案的又一實施方案，其中在USB模塊處以HTML數(shù)據(jù)的形式接收SSC。

圖9是根據(jù)本發(fā)明的一個實施方案的示出頭戴式顯示器102的示例部件的圖解。

圖10示出根據(jù)本發(fā)明的一個實施方案的頭戴式顯示器的部件。

具體實施方式

在一個實施方案中，本文中描述的系統(tǒng)和方法提供允許可能正在玩游戲或觀看內(nèi)容的頭戴式顯示器(HMD)的用戶在第二屏幕上分享體驗的方式。在一些實施方案中，第二屏幕與HMD在同一位置，而在其他實施方案中，第二屏幕在遠(yuǎn)程。然而，對于所屬領(lǐng)域的技術(shù)人員將明顯的是本發(fā)明可以在沒有這些具體細(xì)節(jié)中的一些或全部的情況下進(jìn)行實踐。在其他情況下，沒有詳細(xì)地描述眾所周知的過程操作，以免不必要地使本發(fā)明變得模糊。

將游戲玩打的HMD視頻分享到第二屏幕將允許其他用戶和/或觀眾社交互動并且更好地體驗佩戴HMD的玩家所體驗的游戲事件和/或動作。在一個實施方案中，在HMD中觀看的內(nèi)容是豐富且沉浸式3D環(huán)境。在一個實施方案中，生成并且發(fā)送到HMD以供顯示的視頻流可以被分離并且處理，以便實質(zhì)上同時顯示在第二屏幕上。

在一個實施方案中，例如，第二屏幕可以是可臨近佩戴HMD的用戶的電視顯示器。因此，在一個實施方案，可能在同一位置或遠(yuǎn)程的其他人也可以在第二屏幕上觀看HMD中示出的動作。遠(yuǎn)程用戶可以是能夠玩游戲、評論游戲或者以某種方式社交參與游戲玩打的任何數(shù)量的用戶。因此，很多遠(yuǎn)程用戶可能能夠訪問和/或玩HMD上呈現(xiàn)的游戲。例如，通過訪問他們的游戲賬戶或會話以及通過網(wǎng)絡(luò)(例如，諸如經(jīng)由互聯(lián)網(wǎng))參與，遠(yuǎn)程用戶可以獲得對游戲的訪問。在一個實施方案中，遠(yuǎn)程用戶可以在實時流模式下訪問游戲，其中HMD的客戶端系統(tǒng)呈現(xiàn)游戲并且將游戲流式傳送到其他用戶。在又一實施方案中，HMD用戶還連同任何數(shù)量的遠(yuǎn)程用戶一起訪問游戲的云流版本。

在一個示例中，HMD用戶的第一人稱3D視角可以用2D或3D實時流式傳送到UStream/Twitch/Gaikai等，并且被很多用戶(公共廣播)或好友(選擇廣播)觀看。在一個實施方案中，觀看的用戶可以參與游戲玩打和/或評論或者彼此交流。

如本文中使用，第二屏幕可以包括具有顯示器的任何類型的裝置。顯示器可以是連接到游戲控制臺(本地或遠(yuǎn)程)、個人計算機(jī)、膝上型計算機(jī)、平板計算機(jī)、移動裝置、蜂窩電話、瘦客戶端、機(jī)頂盒、媒體流裝置、佩戴式裝置、投影裝置等的顯示器。

在一個實施方案中，針對HMD生成的視頻內(nèi)容可以被分離和/或攔截并且處理，以便顯示在第二屏幕上。例如，第二屏幕上的顯示可以是2D的，而HMD中的內(nèi)容是以3D示出的。在一些實施方案中，第二屏幕上示出的內(nèi)容也可以采用3D格式。在一個示例中，觀看第二屏幕上的內(nèi)容的用戶還可以任選地與游戲玩打交互，諸如通過加入游戲作為玩家、通過移動游戲中的角色和/或物體、通過提供文本評論、通過在場景中畫線、輪廓、標(biāo)記和/或標(biāo)簽，和/或直接競賽/參與佩戴HMD的用戶正在玩的相同游戲。

如果佩戴HMD的用戶在觀看一些多媒體內(nèi)容(例如，電影、視頻剪輯、廣告、比賽、游戲、社交媒體內(nèi)容(例如，貼文、消息、媒體流、好友事件和/或游戲玩打)視頻部分和/或音頻)，那么觀看第二屏幕的用戶也可以與HMD用戶交互。在一個示例中，觀看第二屏幕的用戶可以決定何時是打斷、提出問題、發(fā)送消息或參與體驗的好時機(jī)。在沒有這種第二屏幕觀看的情況下，用戶通常無法看到或體驗HMD用戶正在體驗的事物，這減少與可能想要促成HMD用戶的沉浸式體驗的其他用戶進(jìn)行社交的機(jī)會。

因此，通過提供這種功能和系統(tǒng)，使用HMD的游戲玩打可以更便于社交，從而改善對HMD類型游戲的興趣。在另外的其他實施方案中，計算機(jī)/控制臺可以包括邏輯，以使得能夠由呈現(xiàn)HMD游戲的相同計算機(jī)處理不同內(nèi)容，而將不同內(nèi)容傳遞到第二屏幕。僅舉例來說，系統(tǒng)將允許計算裝置處理HMD游戲并且也呈現(xiàn)來自在線媒體內(nèi)容提供商的流電影。在一個示例中，計算機(jī)本身可以包括用于處理內(nèi)容傳遞的分離的邏輯，或者所述邏輯可以設(shè)置在單獨的硬件裝置中。

在下文描述的示例中，計算機(jī)106可以由客戶端系統(tǒng)106a(例如，游戲控制臺)和片上系統(tǒng)(SOC)處理器106b(例如，帶有I/O連接器的硬件裝置)定義。SOC處理器可以包括邏輯和電路，其用于對接/接收客戶端系統(tǒng)106a的輸出以及處理所述輸出以便傳遞(a)HMD 3D視頻流和(b)提供到第二屏幕107的視頻流。在一個實施方案中，SOC處理器106b可以包括接收客戶端系統(tǒng)106a的視頻輸出的I/O連接器。SOC處理器106b將包括硬件和/或邏輯，其經(jīng)過處理來得到從客戶端系統(tǒng)106a接收的視頻輸入并且處理視頻輸入，以便將用于第二屏幕的視頻輸出格式化，所述第二屏幕可以插接到SOC處理器106b中。SOC處理器106b也將包括用于將視頻輸入直通到HMD 102的邏輯和/或硬件。

在一個實施方案中，SOC處理器106b將用于第二屏幕107的視頻輸出格式化，以使得可以提供2D格式用于顯示。在一個實施方案中，當(dāng)客戶端系統(tǒng)106a的輸出產(chǎn)生3D格式的視頻輸出，所述3D格式進(jìn)行格式化以顯示在HMD 102上時，執(zhí)行這個處理。因此，在一個實施方案中，SOC處理器106b可以包括連接到客戶端系統(tǒng)106a的輸入I/O以及分別連接到HMD 102和第二屏幕107的至少兩個輸出I/O。在一個實施方案中，連接到HMD 102的輸出I/O是有線的或者可以是無線的。然而，應(yīng)理解，如有需要，客戶端系統(tǒng)106a和SOC處理器106b可以一起集成在一個系統(tǒng)中。

圖1A示出根據(jù)本發(fā)明的一個實施方案的視頻游戲的交互游戲玩法的系統(tǒng)。所示用戶100佩戴頭戴式顯示器(HMD)102。HMD 102的佩戴方式類似于眼鏡、護(hù)目鏡或頭盔，并且被配置來將視頻游戲或其他內(nèi)容顯示給用戶100。由于它在與用戶眼睛很靠近的地方提供顯示機(jī)構(gòu)和傳遞到HMD的內(nèi)容格式，HMD 102被配置來向用戶提供沉浸式體驗。在一個示例中，HMD 102可以將顯示區(qū)域提供到用戶的每只眼，所述顯示區(qū)域占據(jù)用戶視野的大部分或甚至全部。

在一個實施方案中，HMD 102可以連接到計算機(jī)106。到計算機(jī)106的連接可以是有線或無線的。計算機(jī)106可以是任何通用或?qū)Ｓ糜嬎銠C(jī)，包括但不限于，游戲控制臺、個人計算機(jī)、膝上型計算機(jī)、平板計算機(jī)、移動裝置、蜂窩電話、平板電腦、瘦客戶端、機(jī)頂盒、媒體流裝置等。在一些實施方案中，HMD 102可以直接連接到互聯(lián)網(wǎng)，從而可允許在不需要單獨本地計算機(jī)的情況下進(jìn)行云游戲。在一個實施方案中，計算機(jī)106可以被配置來執(zhí)行視頻游戲(和其他數(shù)字內(nèi)容)，并且從視頻游戲中輸出視頻和音頻，以便由HMD 102呈現(xiàn)。計算機(jī)106在本文中也稱為客戶端系統(tǒng)106a，在一個示例中，所述客戶端系統(tǒng)是視頻游戲控制臺。

在一些實施方案中，計算機(jī)可以是本地或遠(yuǎn)程計算機(jī)，并且計算機(jī)可以運(yùn)行仿真軟件。在云游戲?qū)嵤┓桨钢校嬎銠C(jī)是遠(yuǎn)程的，并且可以由可在數(shù)據(jù)中心中虛擬化的多個計算服務(wù)表示，其中游戲系統(tǒng)/邏輯可以被虛擬化并且通過網(wǎng)絡(luò)分配給用戶。

用戶100可操作控制器104以提供視頻游戲的輸入。在一個示例中，相機(jī)108可以被配置來捕捉用戶100所在的交互環(huán)境的圖像。這些捕捉圖像可以被分析以確定用戶100、HMD 102和控制器104的位置和移動。在一個實施方案中，控制器104包括一個燈(或多個燈)，所述燈可以被跟蹤以確定它的位置和取向。此外，如下文進(jìn)一步詳細(xì)描述，HMD 102可包括一個或多個燈，所述燈可以被跟蹤以在游戲玩打期間實質(zhì)上實時地確定HMD 102的位置和取向。

相機(jī)108可以包括一個或多個麥克風(fēng)，以捕捉來自交互環(huán)境的聲音。由麥克風(fēng)陣列捕捉的聲音可經(jīng)過處理以識別聲源的位置。可以選擇性地利用或處理來自識別位置的聲音，以排除不是來自該識別位置的其他聲音。此外，可以將相機(jī)108定義成包括多個圖像捕捉裝置(例如，一對立體照相機(jī))、IR相機(jī)、深度相機(jī)以及它們的組合。

在一些實施方案中，計算機(jī)106可以在計算機(jī)106的處理硬件上本地執(zhí)行游戲?？梢砸匀魏涡问?，諸如物理介質(zhì)形式(例如，數(shù)字光盤、磁帶、卡、拇指驅(qū)動器、固態(tài)芯片或卡等)或通過經(jīng)由網(wǎng)絡(luò)110從互聯(lián)網(wǎng)下載的方式來獲取游戲或內(nèi)容。在另一實施方案中，計算機(jī)106用作通過網(wǎng)絡(luò)與云游戲提供商112通信的客戶端。云游戲提供商112可維持并執(zhí)行用戶102在玩的視頻游戲。計算機(jī)106將來自HMD102、控制器104和相機(jī)108的輸入傳輸?shù)皆朴螒蛱峁┥?，所述云游戲提供商處理所述輸入以影響?zhí)行視頻游戲的游戲狀態(tài)。來自執(zhí)行視頻游戲的輸出，諸如視頻數(shù)據(jù)、音頻數(shù)據(jù)和觸覺反饋數(shù)據(jù)，傳輸?shù)接嬎銠C(jī)106。計算機(jī)106可在傳輸之前進(jìn)一步處理數(shù)據(jù)，或者可以直接將數(shù)據(jù)傳輸?shù)较嚓P(guān)裝置。例如，將視頻和音頻流提供到HMD 102，而將振動反饋命令提供到控制器104。

在一個實施方案中，HMD 102、控制器104和相機(jī)108本身可以是連接到網(wǎng)絡(luò)110以便與云游戲提供商112通信的聯(lián)網(wǎng)裝置。例如，計算機(jī)106可以是不另外執(zhí)行視頻游戲處理而是促進(jìn)通路網(wǎng)絡(luò)流量的本地網(wǎng)絡(luò)裝置，諸如路由器。HMD 102、控制器104和相機(jī)108到網(wǎng)絡(luò)的連接可以是有線或無線的。在一些實施方案中，可以從任何內(nèi)容源120獲取在HMD 102上執(zhí)行或可顯示在顯示器107上的內(nèi)容。例如，示例內(nèi)容源可以包括提供可下載內(nèi)容和/或流內(nèi)容的互聯(lián)網(wǎng)網(wǎng)站。在一些示例中，所述內(nèi)容可以包括任何類型的多媒體內(nèi)容，諸如電影、游戲、靜態(tài)/動態(tài)內(nèi)容、圖片、社交媒體內(nèi)容、社交媒體網(wǎng)站等。

如下文將更詳細(xì)地描述，玩家100可正在HMD 102上玩游戲，其中此類內(nèi)容是沉浸式3D內(nèi)容。當(dāng)玩家正在玩時，HMD 102上的內(nèi)容可以分享到顯示器107。在一個實施方案中，分享到顯示器107的內(nèi)容可以允許臨近玩家100或遠(yuǎn)程的其他用戶一起觀看用戶的玩打。在另外的實施方案中，在顯示器107上觀看玩家100的游戲玩打的另一玩家可以與玩家100交互的方式參與。例如，在顯示器107上觀看游戲玩打的用戶可以控制游戲場景中的角色、提供反饋、提供社交互動和/或提供評論(經(jīng)由文本、經(jīng)由語音、經(jīng)由動作、經(jīng)由手勢等)，從而使得沒有佩戴HMD 102的用戶能夠與玩家100、游戲玩打或HMD 102中呈現(xiàn)的內(nèi)容社交互動。

圖1B示出根據(jù)本發(fā)明的一個實施方案的頭戴式顯示器(HMD)。如圖所示，HMD 102包括多個燈200A到200H、200J和200K。這些燈中的每個燈可被配置來具有具體形狀和/或位置，并且可以被配置來具有相同或不同顏色。燈200A、200B、200C和200D布置在HMD102的前表面上。燈200E和200F布置在HMD 102的側(cè)表面上。以及燈200G和200H布置在HMD 102的拐角處，以跨過HMD 102的前表面和側(cè)表面。將了解，可以在用戶使用HMD 102的交互環(huán)境的捕捉圖像中識別燈?；跓舻淖R別和跟蹤，可以確定交互環(huán)境中的HMD 102的位置和取向。還將了解，根據(jù)HMD 102相對于圖像捕捉裝置的特定取向，燈中的一些可見或不可見。另外，根據(jù)HMD 102相對于圖像捕捉裝置的取向，不同部分的燈(例如，燈200G和200H)可以暴露以便進(jìn)行圖像捕捉。在一些實施方案中，將慣性傳感器設(shè)置在HMD 102中，所述慣性傳感器在不需要燈的情況下提供有關(guān)位置的反饋。在一些實施方案中，燈和慣性傳感器共同工作，以使得能夠混合和選擇位置/運(yùn)動數(shù)據(jù)。

在一個實施方案中，燈可以被配置來向附近的其他人指示HMD的當(dāng)前狀態(tài)。例如，燈中的一些或全部可被配置來具有一定顏色布置、密度布置、被配置來閃爍、具有一定開/關(guān)配置，或者指示HMD 102的當(dāng)前狀態(tài)的其他布置。例如，燈可以被配置來在視頻游戲的有效游戲玩打期間(通常在有效時間線期間或在游戲場景內(nèi)進(jìn)行游戲玩打)與視頻游戲的其他非有效游戲玩打方面，諸如導(dǎo)航菜單界面或配置游戲設(shè)置(在此期間游戲時間線或場景可以不活動或暫停)，顯示不同配置。燈還可能被配置來指示游戲玩打的相對強(qiáng)度水平。例如，當(dāng)游戲玩打的強(qiáng)度增加時，燈的強(qiáng)度或閃爍的頻率可以增加。

HMD 102可以額外地包括一個或多個麥克風(fēng)。在所示實施方案中，HMD 102包括界定在HMD 102的前表面上的麥克風(fēng)204A和204B，以及界定在HMD 102的側(cè)表面上的麥克風(fēng)204C。通過利用麥克風(fēng)陣列，來自每個麥克風(fēng)的聲音可以經(jīng)過處理以確定聲音來源的位置。可以采用各種方式利用這個信息，包括排除不需要的聲源、將聲源與視覺識別相關(guān)聯(lián)等。

HMD 102還可以包括一個或多個圖像捕捉裝置。在所示實施方案中，將HMD 102圖示為包括圖像捕捉裝置202A和202B。通過利用立體對的圖像捕捉裝置，可以從HMD 102的角度捕捉環(huán)境的三維(3D)圖像和視頻。此類視頻可以呈現(xiàn)給用戶，以便使用戶在佩戴HMD 102時具有“視頻透視”的能力。也就是說，盡管在嚴(yán)格意義上用戶無法看透HMD 102，但由圖像捕捉裝置202A和202B捕捉的視頻可以提供功能對等，使看HMD 102的外部環(huán)境能夠像透過HMD102看的一樣。

此類視頻可以通過虛擬元素進(jìn)行增強(qiáng)以提供增強(qiáng)現(xiàn)實體驗，或者可以采用其他方式與虛擬元素組合或融合。盡管在所示實施方案中，HMD 102的前表面上示出兩個相機(jī)，但將了解，可在HMD 102上安裝在任何方向上取向、任何數(shù)量的面向外部的相機(jī)。例如，在另一實施方案中，相機(jī)可安裝在HMD 102的側(cè)面上，以提供環(huán)境的附加全景圖像捕捉。

圖1C示出HMD 102用戶與客戶端系統(tǒng)106對接并且客戶端系統(tǒng)106將內(nèi)容提供到第二屏幕顯示器的一個示例，所述第二屏幕顯示器被稱為第二屏幕107。如下文將描述，客戶端系統(tǒng)106可包括用于處理將內(nèi)容從HMD 102分享到第二屏幕107的集成電子設(shè)備。其他實施方案可包括將對接在客戶端系統(tǒng)與HMD 102和第二屏幕107中的每者之間的單獨裝置、模塊、連接器。在此一般示例中，用戶100佩戴HMD 102并且在使用控制器104玩視頻游戲。用戶100的交互玩打?qū)a(chǎn)生視頻游戲內(nèi)容(VGC)，所述VGC交互顯示到HMD 102。

在一個實施方案中，將顯示在HMD 102中的內(nèi)容分享到第二屏幕107。在一個示例中，觀看第二屏幕107的人可以觀看用戶100在HMD 102中交互地玩打的內(nèi)容。在另一實施方案中，另一用戶(例如，玩家2)可以與客戶端系統(tǒng)106交互，以產(chǎn)生第二屏幕內(nèi)容(SSC)。由也與控制器104交互的玩家產(chǎn)生的第二屏幕內(nèi)容(或者任何類型的用戶界面、手勢、語音或輸入)可以產(chǎn)生為客戶端系統(tǒng)106的SSC，所述SSC可以連同從HMD 102接收到的VGC一起顯示在第二屏幕107上。

因此，對于HMD用戶和可在第二屏幕107上觀看HMD用戶玩的內(nèi)容的用戶而言，可與HMD用戶在同一位置或遠(yuǎn)程的其他用戶的交互可以是社交、交互和更沉浸的。如圖所示，客戶端系統(tǒng)106可以連接到互聯(lián)網(wǎng)110?；ヂ?lián)網(wǎng)也可以為客戶端系統(tǒng)106提供對來自各種內(nèi)容源120的內(nèi)容的訪問。內(nèi)容源120可以包括可通過互聯(lián)網(wǎng)訪問的任何類型的內(nèi)容。

此類內(nèi)容可以包括視頻內(nèi)容、電影內(nèi)容、流內(nèi)容、社交媒體內(nèi)容、新聞內(nèi)容、好友內(nèi)容、廣告內(nèi)容等，但不限于此。在一個實施方案中，客戶端系統(tǒng)106可以用來為HMD用戶同時處理內(nèi)容，從而使得HMD具有與游戲玩打期間的交互性相關(guān)聯(lián)的多媒體內(nèi)容?？蛻舳讼到y(tǒng)106隨后還可以將可與視頻游戲內(nèi)容無關(guān)的其他內(nèi)容提供到第二屏幕。在一個實施方案中，客戶端系統(tǒng)106可以接收來自內(nèi)容源120中的一個、或來自本地用戶或者遠(yuǎn)程用戶的第二屏幕內(nèi)容。

圖2A示出使用客戶端系統(tǒng)106的游戲玩打的一個示例，所述客戶端系統(tǒng)能夠?qū)⒁曨l游戲內(nèi)容呈現(xiàn)到用戶100的HMD 102，并且也將游戲玩打的視頻內(nèi)容分享到第二屏幕107。在此圖示中，提供到HMD的游戲內(nèi)容是在豐富的交互3-D空間中。應(yīng)理解，所述內(nèi)容將不可自動顯示在二維顯示器上。因此，客戶端系統(tǒng)106被配置來處理得自HMD用戶的游戲玩打的三維交互內(nèi)容，并且隨后以無失真格式在第二屏幕107上顯示視頻內(nèi)容。

通過這種方式，可與HMD用戶在同一位置中的任何人都可以在第二屏幕107上觀看HMV用戶在玩的內(nèi)容。通過將內(nèi)容分享到同一位置的人，HMD用戶的沉浸式交互活動體驗可以分享給其他人，從而將改善HMD用戶與位于HMD用戶附近的任何其他人之間的社交互動交流。如上文所述，云游戲服務(wù)112也可以提供對各種游戲130的訪問，所述游戲可以由HMD 102的用戶訪問，以便在客戶端系統(tǒng)106上玩打。游戲內(nèi)容可以下載到客戶端系統(tǒng)106，或者在一個實施方案中，可以由云處理系統(tǒng)執(zhí)行所述游戲內(nèi)容。云游戲服務(wù)112還可以包括用戶數(shù)據(jù)庫140，所述用戶數(shù)據(jù)庫被允許訪問特定游戲、被特定游戲訪問、與其他好友分享體驗、發(fā)表評論以及管理賬戶信息。

云游戲服務(wù)還可以為具體用戶存儲游戲數(shù)據(jù)150，所述游戲數(shù)據(jù)可在游戲玩打期間、將來的游戲玩打期間可用、用于分享到社交媒體網(wǎng)絡(luò)，或者用于存儲獎杯、獎勵、等級等。社交數(shù)據(jù)160也可以由云游戲服務(wù)112管理。社交數(shù)據(jù)可以由單獨的社交媒體網(wǎng)絡(luò)管理，所述社交媒體網(wǎng)絡(luò)可以通過互聯(lián)網(wǎng)100與云游戲服務(wù)112對接。通過互聯(lián)網(wǎng)100，可以連接任何數(shù)量的客戶端系統(tǒng)106，以便訪問內(nèi)容并且與其他用戶交互。

繼續(xù)圖2A的示例，在HMD中觀看的三維交互場景可以包括游戲玩打，諸如在3-D視圖中示出的角色。一個角色，例如，P1可以由佩戴HMD 102的用戶100控制。這個示例示出2個玩家之間的戰(zhàn)斗場景，其中HMD用戶100在與3-D視圖中的另一角色戰(zhàn)斗。另一角色可以是游戲的AI(人工智能)角色，或者可以由另一玩家或多個玩家(Pn)控制。

在一個實施方案中，提供到第二屏幕107的分享2-D視圖可以包括經(jīng)由HMD 102提供的視圖中的更多或更少。在一些示例中，歸因于呈現(xiàn)2-D視圖所需的格式化，即，從針對HMD 102生成而提供的原始2-D視圖中提取、削減和/或無失真，提供更少的視圖。

圖2B示出一個示例，其中客戶端系統(tǒng)106可以被配置來將獨立內(nèi)容呈現(xiàn)到第二屏幕107。例如，獨立內(nèi)容可以獨立于由佩戴HMD102的用戶100的游戲玩打內(nèi)容體驗。客戶端系統(tǒng)106可以被配置來處理傳送到HMD 102的內(nèi)容，并且也處理提供到第二屏幕107的內(nèi)容，所述內(nèi)容可從任何內(nèi)容源120獲取。在此示例中，在同一位置的用戶可以選擇利用客戶端系統(tǒng)106也來觀看電影，這與HMD 102中呈現(xiàn)的視頻游戲玩打不相關(guān)。

在一個示例中，可以動態(tài)切換在第二屏幕107中觀看的內(nèi)容。例如，同一位置的人可以在第二屏幕107上觀看電影，并且在某一時間點，同樣用HMD 102玩游戲的用戶100可以決定分享使用HMD 102玩過的內(nèi)容中的一些或全部。例如，分享的內(nèi)容可以是HMD用戶剛才玩過的交互視頻場景的一部分。在一個示例中，用戶可以決定分享戰(zhàn)斗場景的剪輯、有趣的交互操縱、進(jìn)入的地域、獲勝事件等。

可由選擇控制器104上的分享按鈕而觸發(fā)的分享隨后可以將第二屏幕107轉(zhuǎn)變到示出場景的視頻，從而將中斷示出電影的獨立視圖。當(dāng)在第二屏幕107上觀看分享的交互場景時，可以暫停電影的獨立觀看，并且隨后根據(jù)用戶輸入，可以繼續(xù)或結(jié)束電影。

圖2C示出玩家與佩戴HMD 102的玩家100在同一位置的示例。在HMD 102上的游戲玩法期間，客戶端系統(tǒng)也可以使得另一用戶能夠在游戲中玩或者在佩戴HMD 102的用戶玩的游戲中交互。在示例戰(zhàn)斗場景中，第二玩家P2可以操縱在與玩家P1的角色的戰(zhàn)斗場景中的角色中的一個。如下文將描述，第二玩家的交互內(nèi)容和社交互動由客戶端系統(tǒng)106接收并且整合到第二屏幕107中所顯示的視頻內(nèi)容中。交互內(nèi)容也可以分享回到在HMD 102觀看的場景。

圖2D示出第二玩家可以與HMD用戶觀看的場景交互的示例。第二玩家可以引入新的角色或動作或者與視頻游戲相連接。例如，這個整合可以包括添加角色或物體，并且角色物體可以顯示在HMD102中所呈現(xiàn)并且也呈現(xiàn)在第二屏幕107中的場景中并與之整合。由現(xiàn)在正在HMD用戶100觀看和玩打的場景中交互的第二玩家產(chǎn)生的交互內(nèi)容、玩家、數(shù)據(jù)或動作表示為第二屏幕內(nèi)容(SSC)。第二屏幕內(nèi)容是附加數(shù)據(jù)，所述附加數(shù)據(jù)是經(jīng)由HMD 102觀看并且與之交互的內(nèi)容或者允許與所述內(nèi)容進(jìn)行社交互動。

圖2E示出第二屏幕內(nèi)容是由另一用戶，諸如與HMD用戶在同一位置的用戶提供的文本消息的示例。在此示例中，HMD用戶正在控制角色用劍，并且另一玩家可以與在第二屏幕107上顯示的游戲玩打社交互動。在此示例中，與HMD玩家交互的另一玩家提供消息，所述消息覆蓋到HMD用戶的游戲屏幕中并且也(任選地)在第二屏幕107上。

這個示例示出用戶與HMD用戶進(jìn)行社交交流，諸如提供有關(guān)游戲玩打的信息。這個信息示為將有關(guān)另一玩家或AI角色的位置的消息提供到HMD用戶。消息是“當(dāng)心??！他躲在樹后”。當(dāng)然，這僅僅是示例，并且可作為第二屏幕內(nèi)容的任何類型的消息、文本、圖標(biāo)、表情符號、圖形、它們的組合可以在第二屏幕107上觀看并且也在HMD 102上所呈現(xiàn)的圖像上。

圖2F示出第二屏幕107可以包括分屏功能的示例。它的屏幕功能可以允許在第二屏幕的一部分中動態(tài)呈現(xiàn)HMD內(nèi)容(示出視頻游戲內(nèi)容(VGC))，并且在屏幕的另一部分上呈現(xiàn)不同的內(nèi)容。不同的內(nèi)容可以包括從任何內(nèi)容源120獲取的內(nèi)容，或者從與佩戴HMD 102的用戶社交互動的其他用戶獲取的內(nèi)容。佩戴HMD 102的用戶也可以與觀看第二屏幕的用戶社交交流。

例如，佩戴HMD 102的用戶也可以提供文本消息、評論、音頻、語音或者顯示在第二屏幕上的某一類型的交互或內(nèi)容。在一個實施方案中，不同類型的內(nèi)容可以包括其他游戲、電影、互聯(lián)網(wǎng)內(nèi)容、電視廣播等。在一個實施方案中，從HMD 102接收的內(nèi)容與其他內(nèi)容之間的動態(tài)移動可以在第二屏幕107上轉(zhuǎn)變。示例轉(zhuǎn)變可以包括滑動條，所述滑動條將暴露來自HMD 102的第二屏幕內(nèi)容或者來自另一來源的不同內(nèi)容。用于將內(nèi)容顯示在第二屏幕上的各種格式是可能的，包括畫中畫窗口、縮略圖、覆蓋等。

圖3示出客戶端系統(tǒng)106的示例，其中客戶端系統(tǒng)106由客戶端系統(tǒng)106a和片上系統(tǒng)(SOC)處理器106b定義。在一個示例中，客戶端系統(tǒng)106a可以是計算機(jī)。在另一示例中，客戶端系統(tǒng)106b可以是游戲控制臺。在一個示例中，SOC處理器106b可以由單獨的模塊或裝置定義。例如，SOC 106b可以由具有I/O插頭/連接器和電路的裝置定義，所述電路用于處理從客戶端系統(tǒng)106a接收并且為了傳送到HMD 102和第二屏幕而分開的內(nèi)容。在一個實施方案中，I/O插頭/連接器可以包括各種類型的HDMI連接器、USB連接器、電源連接器，或者專用連接器。

SOC 106b的電路可以由一個或多個芯片定義，所述芯片可包括處理器。在一些實施方案中，電路可以由體現(xiàn)在一個或多個芯片中的固件定義。在一個實施方案中，處理器和存儲器具有處理指令、幀數(shù)據(jù)、提取、幀處理、視頻處理等。在一些實施方案中，SOC 106b可以由一個或多個電路定義，所述電路可以處理圖像數(shù)據(jù)、音頻數(shù)據(jù)、編碼數(shù)據(jù)、解碼數(shù)據(jù)、壓縮數(shù)據(jù)、解壓縮數(shù)據(jù)、處理圖形(例如，使用一個或多個圖形處理器(GPU))。

因此，應(yīng)理解，SOC處理器106b可以體現(xiàn)為接收來自客戶端系統(tǒng)106a的輸出并且將輸出提供到第二屏幕107和HMD 102的單獨裝置。在另一實施方案中，SOC處理器106b可以完全集成到客戶端系統(tǒng)106a中。在下列的示例中，將參考作為單獨裝置的SOC處理器106b來定義配置。

繼續(xù)圖3的描述，客戶端系統(tǒng)106a被配置來執(zhí)行游戲應(yīng)用302，所述游戲應(yīng)用可包括用于處理第二屏幕內(nèi)容304的代碼或邏輯。在一個示例中，第二屏幕輸出代碼304是與游戲應(yīng)用302整合的代碼，以在游戲玩打期間允許第二屏幕交互，并且也將第二屏幕內(nèi)容整合到視頻幀中。因此，游戲應(yīng)用可以更改成包括第二屏幕輸出代碼304，或者可以與允許處理第二屏幕輸出代碼304的附加代碼或模塊對接。

在一個實施方案中，將游戲應(yīng)用302產(chǎn)生的視頻幀提供到HMD庫模塊306。HMD庫模塊306被配置來處理視頻幀以生成包括第二屏幕內(nèi)容(SSC)的視頻幀，所述SSC整合到視頻幀的帶外(OOB)數(shù)據(jù)中。如圖所示，游戲應(yīng)用302的第二屏幕輸出代碼304被配置來生成壓縮流，在一個實施方案中，使用H.264標(biāo)準(zhǔn)來壓縮所述壓縮流。當(dāng)然，可以利用用于壓縮或編碼的其他標(biāo)準(zhǔn)。隨后將壓縮流提供到HMD庫模塊306，所述HMD庫模塊被配置來將壓縮的第二屏幕內(nèi)容(SSC)整合到包括視頻游戲內(nèi)容(VGC)的視頻幀中。

在一個實施方案中，將視頻游戲內(nèi)容格式化，以便采用左眼和右眼格式呈現(xiàn)在視頻幀上。左眼和右眼格式包括視頻游戲內(nèi)容，而帶外(OOB)數(shù)據(jù)優(yōu)選整合到視頻幀的邊緣。如下文將描述，由于內(nèi)容可能無法在HMD 102上顯示或觀看，視頻幀的邊緣被視作帶外。因此，這在視頻幀中提供可以在客戶端系統(tǒng)106處用第二屏幕內(nèi)容進(jìn)行編碼的區(qū)域。在另一實施方案中，視頻流應(yīng)用308可以提供編碼到視頻幀的第二屏幕內(nèi)容中的內(nèi)容。

視頻流應(yīng)用308可從內(nèi)容源120獲取，所述內(nèi)容源可通過互聯(lián)網(wǎng)100獲取。在一個實施方案中，當(dāng)使用在線流功能執(zhí)行游戲應(yīng)用時，從云游戲112可獲取游戲應(yīng)用302。在又一實施方案中，由客戶端系統(tǒng)106a執(zhí)行的內(nèi)容也可保存到存儲器，諸如以允許游戲玩法的記錄310。游戲玩法的記錄可以緩沖的格式發(fā)生，以便允許與另一用戶分享游戲玩法的部分或全部。

如本文所述，通過任何輸入可觸發(fā)分享。通過選擇控制器上的分享按鈕、通過語音輸入、通過手勢輸入或者通過到達(dá)應(yīng)用或游戲場景中的某一點，可觸發(fā)分享。視頻幀320現(xiàn)在將包括視頻游戲內(nèi)容(VGC)和第二屏幕內(nèi)容(SSC)，所述SSC被壓縮并且整合到視頻幀320的帶外(OOB)區(qū)域。此時，客戶端系統(tǒng)106a的輸出將包括由SOC處理器106b接收的幀320的流。SOC處理器106b被配置來接收幀320，并且處理所述幀，以使得視頻游戲內(nèi)容可呈現(xiàn)到HMD102，以及連同第二屏幕內(nèi)容(SSC)(如果有的話)一起將視頻游戲內(nèi)容(VGC)提供到第二屏幕107。如圖所示，一些實施方案將包括將實時(或錄制的)視頻流提供到遠(yuǎn)程位置，因而另一人可以玩打或觀看流游戲內(nèi)容。下文將參考圖5到圖8更詳細(xì)地描述由SOC處理器106b執(zhí)行的處理和用于處理幀的部件。

圖4示出由客戶端系統(tǒng)106a和SOC處理器106b執(zhí)行的處理的一個示例。在一個實施方案中，示例處理、所述方法操作可由系統(tǒng)執(zhí)行，以將交互的沉浸式內(nèi)容提供到HMD 102并且將內(nèi)容分享到第二屏幕107。在此示例中，客戶端系統(tǒng)106a與互聯(lián)網(wǎng)110對接。在一個實施方案中，不需要連接到互聯(lián)網(wǎng)。當(dāng)存在互聯(lián)網(wǎng)連接110時，內(nèi)容源120可被客戶端系統(tǒng)106a以及云游戲112訪問。

在一個示例中，客戶端系統(tǒng)106a可允許用戶使用HMD選擇350再次玩打，以便呈現(xiàn)三維內(nèi)容。游戲的選擇可包括允許HMD用戶從菜單中、從顯示屏中、從列表中、從服務(wù)器可用的游戲中和/或本地存儲或物理介質(zhì)中可用的游戲中選擇一個或多個游戲。為了允許第二屏幕分享，HMD利用的游戲可包括第二屏幕輸出代碼，從而將允許處理第二屏幕內(nèi)容以便整合到視頻幀320中。在其他實施方案中，不需要更改游戲應(yīng)用302，并且使得能夠顯示第二屏幕內(nèi)容的其他代碼可由客戶端系統(tǒng)106a和/或SOC處理器106b處理。

在操作352中，執(zhí)行游戲并且將生成增益內(nèi)容。呈現(xiàn)并且生成增益內(nèi)容，以使得用戶的每只眼將看到不同的幀數(shù)據(jù)，從而使得幀數(shù)據(jù)可呈現(xiàn)可通過HMD觀看的沉浸式3-D格式。在一個實施方案中，游戲的執(zhí)行可包括屏幕輸出代碼304的處理，所述處理生成第二屏幕內(nèi)容，所述第二屏幕內(nèi)容可與視頻游戲的執(zhí)行所產(chǎn)生的內(nèi)容整合。在操作354中，確定游戲玩打是否應(yīng)分享到第二顯示器。

在一些實施方案中，用戶可能不希望將HMD 102的內(nèi)容分享到第二屏幕。在一些實施方案中，用戶可決定只針對具體場景、事件或剪輯將內(nèi)容分享到第二屏幕。當(dāng)用戶決定分享到第二屏幕時，將內(nèi)容發(fā)送到SOC處理器106b。內(nèi)容發(fā)送到分離輸入358，所述分離輸入會將視頻幀的輸入分離，以使得3-D格式的視頻游戲內(nèi)容可直通到HMD，操作356。提供分離輸入358以定義分離內(nèi)容的邏輯操作，但不必是物理分離器。

因此，分離輸入358將傳送到操作360，其中邏輯將訪問幀流，以識別HMD的單眼的內(nèi)容以及識別可出現(xiàn)在幀的帶外(OOB)數(shù)據(jù)中的任何第二屏幕內(nèi)容，以產(chǎn)生第二屏幕內(nèi)容。在操作362中，將用于單眼的內(nèi)容(視頻游戲內(nèi)容)格式化，以便連同任何整合的第二屏幕內(nèi)容一起以2-D表示呈現(xiàn)。具有第二屏幕內(nèi)容的格式化視頻流隨后提供到第二屏幕，所述第二屏幕在操作364中是HMD。這個內(nèi)容隨后可顯示在顯示屏107上。因此，SOC處理器106b將用作邏輯分離器，所述邏輯分離器接收來自客戶端系統(tǒng)106a的輸出并且將內(nèi)容提供到HMD 102和第二屏幕107兩者。

在一個實施方案中，參考圖5，提供一種系統(tǒng)，其用于處理針對頭戴式顯示器(HMD)生成的視頻幀，以便分享到第二屏幕。所述系統(tǒng)包括客戶端系統(tǒng)106a，其具有處理器，所述處理器用于響應(yīng)于使用HMD的視頻游戲的交互游戲玩打而生成視頻幀，例如，320，見圖3。生成的視頻幀包括：帶內(nèi)區(qū)域，其包括將要顯示在HMD上的視頻游戲內(nèi)容(VGC)；以及帶外(OOB)區(qū)域，其包括第二屏幕內(nèi)容(SSC)。所述系統(tǒng)可包括片上系統(tǒng)(SOC)處理器(106b)，其具有用于接收生成的視頻幀的輸入接口。SOC處理器包括用于從帶外區(qū)域中提取SSC的提取邏輯430。還包括圖形處理器單元(GPU)410，所述GPU用于選擇生成的視頻幀的一部分并且進(jìn)行格式化，以便顯示在第二屏幕上。提取的SSC和生成的視頻幀的所述部分被提供到SOC處理器的第一輸出接口405。經(jīng)由輸入接口接收的生成的視頻幀作為直通被提供到SOC處理器的第二輸出接口414。SOC處理器的第一輸出接口可連接到第二屏幕107，并且SOC處理的第二輸出接口可連接到HMD 102。

在一些實施方式中，SOC處理器包括用于對提取邏輯提取的SSC進(jìn)行解碼的編解碼器模塊。在一些實施方式中，由GPU選擇的生成的視頻幀的部分包括預(yù)定義在HMD的顯示器中顯示給一只眼的視頻游戲內(nèi)容(VGC)，所述部分還排除OOB區(qū)域。

在一些實施方式中，GPU進(jìn)行的格式化包括對該部分中的VGC執(zhí)行無失真功能，無失真功能消除對于顯示在HMD中而言是本地的圖形效果。GPU進(jìn)行的格式化包括修剪功能和縮放功能。修剪功能和縮放功能經(jīng)過處理以適應(yīng)第二屏幕的本地顯示格式，該本地顯示格式不同于HMD的本地格式。在一些實施方案中，SOC處理器還包括在輸入接口402與第一輸出接口405之間通信的音頻直通404。

在一些實施方式中，SOC處理器還包括用于與客戶端系統(tǒng)連接的USB模塊輸入。USB模塊被配置成將從HMD獲取的音頻和輸出動作數(shù)據(jù)接收回到客戶端系統(tǒng)。在一個示例中，USB模塊將來自客戶端系統(tǒng)的接收音頻傳送到3D音頻呈現(xiàn)模塊，以用于傳送到HMD。3D音頻呈現(xiàn)模塊還被配置有用于接收來自輸入接口的音頻的輸入。

在一些實施方式中，SOC處理器還包括用于接收來自HMD的運(yùn)動數(shù)據(jù)的傳感器直通模塊。運(yùn)動數(shù)據(jù)傳送到USB模塊，以用于傳送到客戶端系統(tǒng)。運(yùn)動數(shù)據(jù)識別或是用于HMD的運(yùn)動的數(shù)據(jù)，所述數(shù)據(jù)由客戶端系統(tǒng)用來更改視頻游戲的交互游戲玩打(例如，如從HMD的角度看出)。

在一些實施方式中，系統(tǒng)包括由客戶端系統(tǒng)106接收的相機(jī)108輸入。相機(jī)輸入被配置來捕捉包括HMD的場景(例如，見圖1A)的圖像數(shù)據(jù)。捕捉的圖像數(shù)據(jù)由客戶端系統(tǒng)用來更改或不更改(基于游戲邏輯)視頻游戲的交互游戲玩打。提供SOC處理器106b中的用于接收來自HMD 102的運(yùn)動數(shù)據(jù)的運(yùn)動直通模塊418。如果游戲邏輯確定需要更改的話，那么運(yùn)動數(shù)據(jù)由客戶端系統(tǒng)用來進(jìn)一步更改視頻游戲的交互游戲玩打。交互游戲玩打中的更改呈現(xiàn)在由客戶端系統(tǒng)產(chǎn)生的視頻幀中。視頻幀直通SOC處理器到達(dá)HMD，并且由SOC處理器處理，以經(jīng)由SOC處理器分享到第二屏幕。在一些實施方式中，其中提取邏輯對從輸入接口接收的視頻幀進(jìn)行操作，例如，如圖6所示，430。

圖5示出根據(jù)一個實施方案的一個示例實施方案，其中片上系統(tǒng)(SOC)處理器106b實施處理以便呈現(xiàn)用于第二屏幕107的內(nèi)容，以及用于HMD 102的內(nèi)容。在此示例中，客戶端系統(tǒng)106a將來自幀緩沖器的輸出視頻幀提供到HDMI(高清晰度多媒體接口)輸入402。實施方案預(yù)想其他類型的連接器/接口也是可能的，并且不應(yīng)對HDMI的使用進(jìn)行限制。在一個實施方案中，視頻格式被配置來以60幀每秒或30幀每秒或者以任何所需幀每秒的速率(這可根據(jù)實施方式改變)呈現(xiàn)1080p品質(zhì)圖像。在一些實施方案中，除了1080p之外，其他格式可包括以各種幀速率(60hz、75hz、90hz、100h、120hz等)的1080i、720p、480p、480i、1440p(2560x1440)WQHD、4K(3840x2160)。盡管這些格式證實為示例，但根據(jù)所需實施方式，其他格式也是可能的。在一個實施方案中，多于或少于60幀輸出到顯示器(例如，30幀每秒(或者更多或更少))。在一個實施方案中，從HDMI輸入402接收的圖像幀的格式具有標(biāo)準(zhǔn)YUV422。應(yīng)理解，也可使用其他標(biāo)準(zhǔn)格式，并且這個標(biāo)準(zhǔn)格式只是一個示例。

第二屏幕107的音頻成分經(jīng)由404傳遞到HDMI輸出405。視頻成分傳遞到圖像處理器408部件，所述圖像處理器部件被配置來在將圖像數(shù)據(jù)傳遞到圖形處理單元410之前處理從HDMI輸入402接收的幀數(shù)據(jù)。在一個實施方案中，圖像處理器408部件被配置來執(zhí)行分區(qū)，從而將圖像數(shù)據(jù)的線性輸入集群到塊簇中。通過將圖像數(shù)據(jù)分區(qū)成塊簇，GPU 410能夠更有效地訪問存儲器和處理圖像數(shù)據(jù)，以便輸出到HDMI輸出405。在一個實施方案中，GPU 410處理用于選擇由HDMI輸入402接收并且從圖像處理器408獲取的圖像的子集進(jìn)行處理的指令。例如，圖像的子集的選擇可包括選擇圖像的一部分，這部分包括經(jīng)由HMD 102用戶的左眼(或右眼)將看到的東西。在一個實施方案中，GPU 410可執(zhí)行圖像幀的修剪，以從接收的幀中選擇單眼的圖像數(shù)據(jù)。在一個實施方案中，GPU 410還被配置來處理使所選擇的圖像數(shù)據(jù)無失真的指令，以使得數(shù)據(jù)可以非3D格式顯示在第二屏幕107上。無失真操作可包括過濾掉帶外(OOB)數(shù)據(jù)，以及消除最初針對HMD 102添加和/或設(shè)計的圖像扭曲。

HMD 410還可執(zhí)行提供縮放的指令，所述縮放將使得能夠顯示在具體第二屏幕上。例如，縮放對于預(yù)期屏幕尺寸或格式可以是自動的、可以由用戶自定義設(shè)置，和/或可以被SOC處理器106b或客戶端系統(tǒng)106a檢測到。通過由GPU 410處理這個額外處理，可能在第二屏幕107上呈現(xiàn)平坦圖像，就好像圖像是針對第二屏幕107故意設(shè)計的一樣。在一個實施方案中，GPU 410的輸出可以采用標(biāo)準(zhǔn)視頻格式，諸如YUV422，或者最適合將用作第二屏幕的顯示裝置的另一標(biāo)準(zhǔn)。

在一個實施方案中，由HMDI輸入402接收的視頻幀直通到輸出，諸如LVDS(低電壓差分信號)輸出414以及LVDS HML連接器。在一個示例中，HMD 102由導(dǎo)線連接到LVDS HML連接器。在另一實施方案中，可用無線通信電路替換輸出414，所述無線通信電路可通過無線連接而與HMD 102對接。在另外的實施方案中，到HMD的輸出可以使用其他類型的連接器或電纜，不限于LVDS的示例。

在一個實施方案中，客戶端系統(tǒng)106a可連接到雙向鏈路到USB模塊404。來自客戶端系統(tǒng)106a的音頻輸入傳遞到USB模塊404，隨后傳遞到3D音頻呈現(xiàn)模塊416。3D音頻呈現(xiàn)模塊416被配置來合成將傳遞到HMD 102的音頻，以使得可以參考HMD 102中顯示的3D環(huán)境來呈現(xiàn)音頻。在一個實施方案中，呈現(xiàn)在HMD 102上的主要音頻經(jīng)由USB 404直接從客戶端系統(tǒng)106a接收。在另一實施方案中，呈現(xiàn)在HMD 102上的音頻還可包括從HDMI輸入402中接收的音頻中的一些或全部。如圖所示，例如，來自HMD 102的反饋可包括來自慣性傳感器的運(yùn)動數(shù)據(jù)。當(dāng)用戶佩戴HMD 102并且在游戲玩打期間四處移動時，用戶頭部的運(yùn)動可提供由HMD呈現(xiàn)的3D空間中的不同透視圖。

運(yùn)動數(shù)據(jù)隨后傳遞到傳感器直通418，接著再傳送到USB模塊404。運(yùn)動數(shù)據(jù)隨后傳送回到客戶端系統(tǒng)106a，所述客戶端系統(tǒng)可使用運(yùn)動信息來調(diào)整視頻的呈現(xiàn)，例如，基于用戶經(jīng)由HMD 102觀看/玩打的交互場景。如上文所述，用戶位置/移動的其他反饋可由客戶端系統(tǒng)106a接收。例如，可捕捉用戶的圖像數(shù)據(jù)(例如，如圖1A所示)，并且該數(shù)據(jù)圖像可連同運(yùn)動/慣性數(shù)據(jù)一起用來在交互游戲玩打期間影響、改變和更改呈現(xiàn)在HMD上的視頻的內(nèi)容。

在圖5的示例中，呈現(xiàn)在第二屏幕107上的第二屏幕內(nèi)容(SSC)只是圖像數(shù)據(jù)和音頻數(shù)據(jù)，所述數(shù)據(jù)鏡射出呈現(xiàn)在HMD 102中的內(nèi)容。在此示例中，類似于圖2A，游戲玩打附近的其他人可在第二屏幕上觀看HMD用戶的沉浸式體驗。

圖6示出一個示例，其中預(yù)先處理帶外(OOB)數(shù)據(jù)并將其嵌入到客戶端系統(tǒng)106a產(chǎn)生的圖像幀中。OOB數(shù)據(jù)可包括其他用戶的游戲玩打、消息、游戲玩打的參與、角色的移動、內(nèi)容的改變、與在HMD上玩打的主用戶的角色的交流、文本消息的分享、游戲相關(guān)數(shù)據(jù)的分享、游戲指標(biāo)的分享、分享社交內(nèi)容、有關(guān)聊天消息傳送的內(nèi)容、文本消息傳送、視頻消息傳送，或者其他非游戲相關(guān)內(nèi)容。

如上文所述，客戶端系統(tǒng)106a被配置來處理第二屏幕內(nèi)容(SSC)，以便整合到視頻幀中，作為壓縮OOB數(shù)據(jù)(例如，在視頻幀的邊緣中提供的壓縮數(shù)據(jù))。本文中使用術(shù)語OOB數(shù)據(jù)來描述通常不呈現(xiàn)在HMD的顯示器上的數(shù)據(jù)。當(dāng)呈現(xiàn)在HMD中時，用戶通常不可見圖像幀的邊緣，并且因此，幀數(shù)據(jù)中的這個空間可以用來存儲壓縮(或未壓縮)第二屏幕內(nèi)容。在一些實施方案中，音頻內(nèi)容也存儲或整合在圖像幀的OOB數(shù)據(jù)中。

繼續(xù)圖6的示例，HDMI輸入402示為傳遞到模塊430，所述模塊被配置來接收圖像數(shù)據(jù)并且也提取OOB數(shù)據(jù)。在一個實施方案中，嵌入在OOB數(shù)據(jù)中的內(nèi)容流可在90兆位每秒(或更大)的范圍內(nèi)，從而可允許第二屏幕107上的豐富沉浸式體驗。

如上文所述，在一個實施方案中，當(dāng)OOB數(shù)據(jù)整合在圖像幀邊緣中時，OOB數(shù)據(jù)可由客戶端系統(tǒng)106a壓縮。在一個實施方案中，使用編碼器采用H.264編碼格式對壓縮/編碼OOB數(shù)據(jù)進(jìn)行編碼。因此，提取的OOB數(shù)據(jù)示為傳遞到圖像處理器/H.264編解碼器432的H.264流。在此示例中，H.264編解碼器被配置來針對第二屏幕內(nèi)容(SSC)對視頻流進(jìn)行解碼。SSC隨后由圖像處理器處理進(jìn)行處理。如上文參考圖5所述，圖像處理器處理也處理接收的圖像數(shù)據(jù)(例如，包括視頻游戲內(nèi)容的左和右圖像數(shù)據(jù)的圖像數(shù)據(jù))。如上文所述，圖像處理器處理被配置來將圖像數(shù)據(jù)分區(qū)在塊簇中，從而使得GPU 410的圖像處理更有效。如在圖5中，GPU 410執(zhí)行無失真、修剪以及縮放。

修剪可包括移除任何邊緣內(nèi)容(OOB數(shù)據(jù))，如果存在的話，以及選擇圖像的一部分(例如，左眼圖像幀內(nèi)容)。通過這種方式，采用無失真形式的左眼圖像內(nèi)容可輸出到第二屏幕107。此外，在此實施方案中，從OOB數(shù)據(jù)中提取的SSC可與第二屏幕107上所示的呈現(xiàn)圖像整合。例如，除了在第二屏幕107上示出左眼視頻的內(nèi)容之外，可連同來自HMD的圖像數(shù)據(jù)一起呈現(xiàn)整合到圖像幀的邊緣中的額外內(nèi)容。

上述圖2C到圖2E描述這個特征，該特征可使得其他人能夠與佩戴HMD的用戶社交互動。例如，在OOB數(shù)據(jù)中，可在HMD數(shù)據(jù)期間并且與之一起呈現(xiàn)用戶交互命令、數(shù)據(jù)、角色、通信等。除了在第二屏幕107上呈現(xiàn)從OOB數(shù)據(jù)獲取的SSC之外，內(nèi)容可呈現(xiàn)回到HMD中顯示的圖像內(nèi)容。因此，觀看第二屏幕107的用戶(例如，圖2C)可以與佩戴HMD 102的用戶玩游戲、交互、社交、講話、發(fā)短信等。

圖7示出SOC處理器106b的替代實施方案。在此實施方案中，經(jīng)由USB 404模塊傳遞添加到第二屏幕107上示出的視頻游戲內(nèi)容(VGC)的第二屏幕內(nèi)容(SSC)。這代替將壓縮SSC數(shù)據(jù)整合到視頻幀中，如參考圖6所述。在一些實施方案總，預(yù)想圖6和圖7的實施方案的混合。

繼續(xù)圖7的實施方案，USB模塊404被配置來直接從客戶端系統(tǒng)106a接收第二屏幕內(nèi)容(SSC)。在模塊440中提取SSC的視頻。在一個實施方案中，使用H.264協(xié)議對提供SSC的視頻進(jìn)行壓縮/編碼。采用H.264格式的提取視頻流傳遞到圖像處理器/H.264編解碼器432。在此模塊中，視頻首先被H.264編解碼器解碼，并且隨后經(jīng)過處理以產(chǎn)生分區(qū)的視頻塊數(shù)據(jù)，從而由GPU 410更有效地處理。GPU410隨后輸出用于視頻游戲內(nèi)容(VGC)的2D格式的視頻流，連同在模塊440中提取的SSC內(nèi)容。因此，提供到第二屏幕107的HDMI輸出405的輸出包括與在HMD 102中觀看的內(nèi)容一致的視頻，以及SSC(例如，社交內(nèi)容、交互游戲內(nèi)容、社交通信數(shù)據(jù)等)。

圖8包括又一實施方案，其中在USB 404模塊處以HTML數(shù)據(jù)的形式接收SSC。眾所周知，HTML數(shù)據(jù)是適合呈現(xiàn)web內(nèi)容(例如，圖像、文本、格式化、視頻等)的格式。因此，模塊440將接收不同于HMD 102上呈現(xiàn)的圖像幀的數(shù)據(jù)流。然而，數(shù)據(jù)流可包括可能與游戲玩打相關(guān)的數(shù)據(jù)，或者可在第二屏幕107上分享的數(shù)據(jù)。分享到第二屏幕107的數(shù)據(jù)也可分享到HMD 102。因此，在圖7的示例中，第二屏幕107可提供web內(nèi)容，諸如指標(biāo)、統(tǒng)計，或者可能與用戶有關(guān)的其他信息。

如上文所述，其他示例也可包括在HMD用戶玩游戲時，SOC處理器106b呈現(xiàn)來自其他源的內(nèi)容(例如，移動、視頻、圖像、數(shù)據(jù))的能力。例如，其他源可采用類似于提供SSC數(shù)據(jù)的方式整合數(shù)據(jù)。例如，SSC數(shù)據(jù)(來自其他源的數(shù)據(jù)，例如，移動或者其他web/存儲內(nèi)容)可整合到圖像幀中，作為OOB數(shù)據(jù)(例如，如在圖6中)，或者經(jīng)由單獨USB端口管線/流(例如，如在圖7和圖8中)。在另一些實施方案中，SOC處理器可被配置來簡單地將HMD中觀看到的內(nèi)容分享到第二屏幕，以便由用戶或同一位置的人被動觀看(例如，如在圖5中)。

參考圖9，圖解示出根據(jù)本發(fā)明的一個實施方案的頭戴式顯示器102的示例部件。應(yīng)理解，根據(jù)支持的配置和功能，HMD 102中可包括或排除更多或更少的部件。頭戴式顯示器102可包括用于執(zhí)行程序指令的處理器500。存儲器502用于存儲目的，并且可包括易失性和非易失性存儲器。包括顯示器504，該顯示器提供用戶可觀看的可視界面。顯示器504可由一個單個顯示器定義，或采用用于每只眼的單獨顯示屏的形式。當(dāng)提供兩個顯示屏?xí)r，可能分別提供左眼和右眼視頻內(nèi)容。例如，每只眼的視頻內(nèi)容的單獨呈現(xiàn)可對三維(3D)內(nèi)容提供更好的沉浸式控制。如上文所述，在一個實施方案中，通過使用一只眼的輸出并且隨后將內(nèi)容格式化以便以2D格式顯示，第二屏幕107被提供HMD 102的第二屏幕內(nèi)容。在一個實施方案中，一只眼可以是左眼視頻饋送，但在其他實施方案中，可以是右眼視頻饋送。

電池506可用作頭戴式顯示器102的電源。在其他實施方案中，電源可包括與電力的輸出連接。在其他實施方案中，可以提供與電力和電池506的輸出連接。運(yùn)動檢測模塊508可包括各種運(yùn)動敏感硬件中的任一個，諸如磁強(qiáng)計510、加速計512以及陀螺儀514。

加速計是用于測量加速度和重力引發(fā)的反作用力的裝置。單軸和多軸(例如，六軸)模型能夠檢測不同方向上的加速度的大小和方向。加速計用來感測傾斜、振動和沖擊。在一個實施方案中，三個加速計512用來提供重力的方向，從而給出針對兩個角(世界空間俯仰角和世界空間側(cè)傾角)的絕對參照。

磁強(qiáng)計測量頭戴式顯示器附近的磁場的強(qiáng)度和方向。在一個實施方案中，頭戴式顯示器內(nèi)使用三個磁強(qiáng)計510，從而確保針對世界空間偏航角的絕對參照。在一個實施方案中，磁強(qiáng)計被設(shè)計為跨過地磁場，所述地磁場是±80微特斯拉。磁強(qiáng)計受金屬影響，并且提供隨實際偏航單調(diào)變化的偏航測量。由于環(huán)境中的金屬，磁場可扭曲，從而導(dǎo)致偏航測量扭曲。如果需要，使用來自諸如陀螺儀或相機(jī)之類的其他傳感器的信息可以校準(zhǔn)這個扭曲。在一個實施方案中，加速計512與磁強(qiáng)計510一起用來獲取頭戴式顯示器102的傾斜和方位。

陀螺儀是用于基于角動量的原理來測量或維持取向的裝置。在一個實施方案中，基于慣性感測，三個陀螺儀514提供有關(guān)相應(yīng)軸線(x、y和z)上的移動的信息。陀螺儀有助于檢測快速旋轉(zhuǎn)。然而，在不存在絕對參照的情況下，隨著時間的推移，陀螺儀可漂移。這需要定期重置陀螺儀，這可使用其他可用信息來完成，諸如基于物體、加速計、磁強(qiáng)計等的視覺跟蹤的位置/取向確定。

提供相機(jī)516用于捕捉真實環(huán)境的圖像和圖像流。頭戴式顯示器102可包括不止一個相機(jī)(任選地)，包括后置的相機(jī)(當(dāng)用戶在觀看頭戴式顯示器102的顯示器時指向遠(yuǎn)離用戶)，以及前置的相機(jī)(當(dāng)用戶在觀看頭戴式顯示器102的顯示器時指向用戶)。此外，頭戴式顯示器102中可包括深度相機(jī)518，以用于感測真實環(huán)境中的物體的深度信息。

頭戴式顯示器102包括用于提供音頻輸出的揚(yáng)聲器520。此外，可包括麥克風(fēng)522，以用于捕捉來自真實環(huán)境的音頻，包括來自周圍環(huán)境的聲音、用戶發(fā)出的語音等。頭戴式顯示器102包括用于將觸覺反饋提供給用戶的觸覺反饋模塊524。在一個實施方案中，觸覺反饋模塊524能夠致使頭戴式顯示器102移動和/或振動，以便將觸覺反饋提供給用戶。

提供LED 526作為頭戴式顯示器102的狀態(tài)的視覺指示器。例如，LED可指示電池電量、電源接通等。提供讀卡器528以使得頭戴式顯示器102能夠從存儲卡中讀取信息和將信息寫入存儲卡。包括USB接口530作為用于實現(xiàn)外圍裝置的連接或者到其他裝置(諸如其他便攜式裝置、計算機(jī)等)的連接的接口的一個示例。在頭戴式顯示器102的各種實施方案中，可包括各種接口中的任一接口，以使得頭戴式顯示器102能夠具有更好的連接性。

可包括WiFi模塊532，以使得能夠經(jīng)由無線聯(lián)網(wǎng)技術(shù)連接到互聯(lián)網(wǎng)。此外，頭戴式顯示器102可包括用于使得能夠無線連接到其他裝置的藍(lán)牙模塊534。還可包括通信鏈路536，以用于連接到其他裝置。在一個實施方案中，通信鏈路536將紅外傳輸用于無線通信。在其他實施方案中，通信鏈路536可將各種無線或有線傳輸協(xié)議中的任一協(xié)議用于與其他裝置的通信。

包括輸入按鈕/傳感器538以便為用戶提供輸入接口?？砂ǜ鞣N輸入接口中的任一個，諸如按鈕、觸摸板、操縱桿、跟蹤球等。超聲通信模塊540可被包括在頭戴式顯示器102中，以促進(jìn)經(jīng)由超聲技術(shù)與其他裝置通信。

包括生物傳感器542以使得能夠檢測來自用戶的生理數(shù)據(jù)。在一個實施方案中，生物傳感器542包括一個或多個干電極，以用于通過用戶的皮膚、聲音檢測、眼睛視網(wǎng)膜檢測來檢測用戶的生物電信號，以便識別用戶/輪廓等。

頭戴式顯示器102的上述部件僅描述為可被包括在頭戴式顯示器102中的示例性部件。在本發(fā)明的各種實施方案中，頭戴式顯示器102可以或可不包括各種上述部件中的一些。出于促進(jìn)如本文所述的本發(fā)明的方面的目的，頭戴式顯示器102的實施方案可額外包括目前未描述但本領(lǐng)域已知的其他部件。

所屬領(lǐng)域的那些技術(shù)人員將了解，在本發(fā)明的各種實施方案中，上述手持式裝置可與顯示在顯示器上的交互應(yīng)用結(jié)合使用，以提供各種交互功能。本文中描述的示例性實施方案僅以示例的方式提供，而不意圖限制。

在一個實施方案中，本文中所稱的客戶端和/或客戶端裝置可包括頭戴式顯示器(HMD)、終端、個人計算機(jī)、游戲控制臺、平板計算機(jī)、電話、機(jī)頂盒、一體機(jī)、無線裝置、數(shù)字板、獨立裝置、手持式游戲玩打裝置和/或諸如此類。通常，客戶端被配置來接收編碼視頻流、對視頻流進(jìn)行解碼以及將得到的視頻呈現(xiàn)給用戶，例如，游戲的玩家。接收編碼視頻流和/或?qū)σ曨l流進(jìn)行解碼的過程通常包括將個別視頻幀存儲在客戶端的接收緩沖器中。視頻流可在集成到客戶端的顯示器上呈現(xiàn)給用戶，或者在單獨裝置，諸如監(jiān)視器或電視機(jī)上呈現(xiàn)給用戶。

客戶端任選地被配置來支持不止一個游戲玩家。例如，游戲控制臺可被配置來支持兩個、三個、四個或更多的同時玩家(例如，P1、P2……Pn)。這些玩家中的每個可接收或分享視頻流，或者單個視頻流可包括專門針對每個玩家生成的幀的區(qū)域，例如，基于每個玩家的視角生成的幀的區(qū)域。任意數(shù)量的客戶端可以是本地的(例如，在同一位置)，或者在地理上分散。游戲系統(tǒng)中包括的客戶端的數(shù)量可以從一個或兩個廣泛變化到數(shù)千、數(shù)萬或更多。本文中使用的術(shù)語“游戲玩家”是指玩游戲的人，并且術(shù)語“游戲玩打裝置”是指用來玩游戲的裝置。在一些實施方案中，游戲玩打裝置可以指協(xié)作以向用戶傳遞游戲體驗的多個計算裝置。

例如，游戲控制臺和HMD可與視頻服務(wù)器系統(tǒng)協(xié)作，以傳遞通過HMD觀看的游戲。在一個實施方案中，游戲控制臺從視頻服務(wù)器系統(tǒng)接收視頻流，并且游戲控制臺將視頻流或者視頻流的更新轉(zhuǎn)發(fā)到HMD和/或電視機(jī)，以用于呈現(xiàn)。

客戶端還可以(但不需要)包括被配置來更改接收到的視頻的系統(tǒng)。例如，客戶端可被配置來執(zhí)行進(jìn)一步呈現(xiàn)、將一個視頻圖像覆蓋在另一視頻圖像上、修剪視頻圖像和/或諸如此類。例如，客戶端可被配置來接收各種類型的視頻幀，諸如I幀、P幀和B幀，以及將這些幀處理成圖像，以顯示給用戶。在一些實施方案中，客戶端的成員被配置來對視頻流執(zhí)行進(jìn)一步呈現(xiàn)、陰影、轉(zhuǎn)換成3-D、轉(zhuǎn)換成2D、失真消除、調(diào)整尺寸或類似操作?？蛻舳说某蓡T任選地被配置來接收一個以上音頻或視頻流。

例如，客戶端的輸入裝置可包括單手游戲控制器、雙手游戲控制器、手勢識別系統(tǒng)、凝視識別系統(tǒng)、語音識別系統(tǒng)、鍵盤、操縱桿、定點裝置、力反饋裝置、運(yùn)動和/或位置感測裝置、鼠標(biāo)、觸摸屏、神經(jīng)接口、相機(jī)、待開發(fā)的輸入裝置，和/或諸如此類。

視頻源可包括呈現(xiàn)邏輯，例如，存儲在計算機(jī)可讀介質(zhì)(諸如存儲設(shè)備)上的硬件、固件和/或軟件。這個呈現(xiàn)邏輯被配置來基于游戲狀態(tài)來創(chuàng)建視頻流的視頻幀。呈現(xiàn)邏輯的全部或部分任選地設(shè)置在一個或多個圖形處理單元(GPU)內(nèi)。呈現(xiàn)邏輯通常包括處理階段，其被配置來確定物體之間的三維空間關(guān)系和/或基于游戲狀態(tài)和視角來施加適當(dāng)?shù)募y理等。呈現(xiàn)邏輯可產(chǎn)生原始視頻，所述原始視頻被編碼。例如，原始視頻可根據(jù)下列項進(jìn)行編碼：Adobe標(biāo)準(zhǔn)、HTML-5、.wav、H.264、H.263、On2、VP6、VC-1、WMA、Huffyuv、Lagarith、MPG-x、Xvid、FFmpeg、x264、VP6-8、realvideo、mp3等等。編碼過程產(chǎn)生視頻流，所述視頻流任選地被封裝，以傳遞到裝置上的解碼器。所述視頻流的特征在于幀大小和幀速率。典型的幀大小包括800x 600、1280x 720(例如，720p)、1024x 768、1080p，但也可使用任何其他幀大小。幀速率是每秒的視頻幀數(shù)量。視頻流可包括不同類型的視頻幀。例如，H.264標(biāo)準(zhǔn)包括“P”幀和“I”幀。I-幀包括刷新顯示裝置上的所有宏塊/像素的信息，而P-幀包括刷新其子集的信息。P-幀的數(shù)據(jù)量通常小于I-幀。本文中使用的術(shù)語“幀大小”是指幀內(nèi)的像素數(shù)量。術(shù)語“幀數(shù)據(jù)量”是指存儲幀所需的字節(jié)數(shù)量。

在一些實施方案中，客戶端可以是通用計算機(jī)、專用計算機(jī)、游戲控制臺、個人計算機(jī)、膝上型計算機(jī)、平板計算機(jī)、移動計算裝置、便攜式游戲裝置、蜂窩電話、機(jī)頂盒、流媒體接口/裝置、智能電視或聯(lián)網(wǎng)顯示器，或者能夠被配置來實現(xiàn)如本文中定義的客戶端的功能的任何其他計算裝置。在一個實施方案中，云游戲服務(wù)器被配置來檢測用戶使用的客戶端裝置的類型，并且提供適合用戶的客戶端裝置的云游戲體驗。例如，可針對用戶的客戶端裝置優(yōu)化圖像設(shè)置、音頻設(shè)置和其他類型的設(shè)置。

圖10示出信息服務(wù)提供商架構(gòu)的一個實施方案。信息服務(wù)提供商(ISP)670將大量信息服務(wù)傳送到在地理上分散并且經(jīng)由網(wǎng)絡(luò)686連接的用戶682。ISP可以只傳送一種類型的服務(wù)，諸如股票價格更新，或者多種服務(wù)，諸如廣播媒體、新聞、體育、游戲等。此外，每個ISP提供的服務(wù)是動態(tài)的，也就是說，可在任何時間點添加或解除服務(wù)。因此，將特定類型的服務(wù)提供到特定個人的ISP可隨著時間的變化而改變。例如，當(dāng)用戶在她的家鄉(xiāng)時，用戶可由該用戶附近的ISP提供服務(wù)，而當(dāng)用戶旅行到不同城市時，用戶可由不同的ISP提供服務(wù)。家鄉(xiāng)ISP會將所需信息和數(shù)據(jù)傳輸?shù)叫翴SP，從而使得用戶信息“跟隨”用戶到新的城市，以使得數(shù)據(jù)更靠近用戶并且更易于訪問。在另一實施方案中，可在管理用戶的信息的主ISP與在主ISP的控制下直接與用戶對接的服務(wù)器ISP之間建立主-服務(wù)器關(guān)系。在另一實施方案中，當(dāng)客戶端在世界范圍內(nèi)移動時，數(shù)據(jù)從一個ISP傳輸?shù)搅硪籌SP，以使得處于服務(wù)用戶的更佳位置的ISP是傳送這些服務(wù)的ISP。

ISP 670包括通過網(wǎng)絡(luò)將基于計算機(jī)的服務(wù)提供到客戶的應(yīng)用服務(wù)提供商(ASP)672。使用ASP模型提供的軟件有時也稱為按需軟件或軟件即服務(wù)(SaaS)。提供對特定應(yīng)用程序(諸如客戶關(guān)系管理)的訪問的簡單形式是通過使用標(biāo)準(zhǔn)協(xié)議，諸如HTTP。應(yīng)用軟件駐留在供應(yīng)商系統(tǒng)上，并且由用戶通過web瀏覽器使用HTML、通過供應(yīng)商提供的專用客戶端軟件或諸如瘦客戶端之類的其他遠(yuǎn)程接口訪問。

在廣泛的地理區(qū)域上傳遞的服務(wù)通常使用云計算。云計算是在互聯(lián)網(wǎng)上將動態(tài)可擴(kuò)展和通常虛擬化的資源提供作為服務(wù)的計算方式。用戶不需要成為支持他們的“云”中的技術(shù)基礎(chǔ)設(shè)施的專家。云計算可以分成不同服務(wù)，諸如基礎(chǔ)設(shè)施即服務(wù)(IaaS)、平臺即服務(wù)(PaaS)，以及軟件即服務(wù)(SaaS)。云計算服務(wù)通常提供從web瀏覽器訪問的在線常見商業(yè)應(yīng)用，而軟件和數(shù)據(jù)存儲在服務(wù)器上?；谌绾卧谟嬎銠C(jī)網(wǎng)絡(luò)圖解中描繪互聯(lián)網(wǎng)以及互聯(lián)網(wǎng)如何成為它隱藏的復(fù)雜基礎(chǔ)設(shè)施的抽象概念，術(shù)語云用作互聯(lián)網(wǎng)的隱喻(例如，使用服務(wù)器、存儲設(shè)備和邏輯)。

此外，ISP 670包括由游戲客戶端用來玩單玩家和多玩家視頻游戲的游戲處理服務(wù)器(GPS)674。通過互聯(lián)網(wǎng)玩的多數(shù)視頻游戲都經(jīng)由到游戲服務(wù)器的連接進(jìn)行操作。通常，游戲使用收集來自玩家的數(shù)據(jù)并且將它分配到其他玩家的專用服務(wù)器應(yīng)用。這比對等布置更高效且有效，但需要單獨的服務(wù)器來主控服務(wù)器應(yīng)用。在另一實施方案中，GPS在玩家之間建立通信，并且他們相應(yīng)的游戲玩打裝置在不依賴于集中GPS的情況下交換信息。

專用GPS是獨立于客戶端運(yùn)行的服務(wù)器。此類服務(wù)器通常在位于數(shù)據(jù)中心的專用硬件上運(yùn)行，從而提供更大的帶寬和專用處理能力。專用服務(wù)器是主控用于多數(shù)基于PC的多玩家游戲的游戲服務(wù)器的優(yōu)選方法。大型多玩家在線游戲在通常由擁有游戲標(biāo)題的軟件公司主控的專用服務(wù)器上運(yùn)行，從而允許他們控制和更新內(nèi)容。

廣播處理服務(wù)器(BPS)676將音頻或視頻信號分布到聽眾。廣播到極窄范圍的聽眾有時稱為窄播。廣播分布的最后一程是信號如何抵達(dá)聽者或觀眾，并且它可在空中與廣播站或TV站一樣到達(dá)天線和接收器，或者可經(jīng)由站或直接從網(wǎng)絡(luò)通過有線TV或有線廣播(或“無線電纜”)到達(dá)?；ヂ?lián)網(wǎng)也可將廣播或TV帶給接收者，尤其是利用允許分享信號和帶寬的多播。歷史上，廣播被地理區(qū)域定界，諸如全國廣播或區(qū)域廣播。然而，隨著快速互聯(lián)網(wǎng)的普及，由于內(nèi)容可到達(dá)世界上的幾乎任何國家，因此廣播不被地理界定。

存儲服務(wù)提供商(SSP)678提供計算機(jī)存儲空間和相關(guān)管理服務(wù)。SSP也提供定期備份和歸檔。通過供應(yīng)存儲即服務(wù)，用戶可根據(jù)需要訂購更多存儲。另一主要優(yōu)點在于，SSP包括備份服務(wù)，并且如果計算機(jī)的硬盤出故障，用戶將不會丟失他們?nèi)康臄?shù)據(jù)。此外，多個SSP可具有用戶數(shù)據(jù)的全部或部分復(fù)本，從而允許用戶以獨立于用戶所在的地方或用來訪問數(shù)據(jù)的裝置的有效方式訪問數(shù)據(jù)。例如，當(dāng)用戶在移動時，用戶可訪問家用計算機(jī)以及移動電話中的個人文件。

通信提供商380將連接提供到用戶。一種通信提供商是提供對互聯(lián)網(wǎng)的訪問的互聯(lián)網(wǎng)服務(wù)提供商(ISP)。ISP使用適合傳遞互聯(lián)網(wǎng)協(xié)議數(shù)據(jù)報的數(shù)據(jù)傳輸技術(shù)連接其客戶，諸如撥號、DSL、電纜調(diào)制解調(diào)器、光纖、無線或?qū)Ｓ酶咚倩ミB。通信提供商也可提供消息傳送服務(wù)，諸如電子郵件、即時消息以及SMS文本。另一類型的通信提供商是通過提供對互聯(lián)網(wǎng)的直接骨干訪問來出售帶寬或網(wǎng)絡(luò)訪問的網(wǎng)絡(luò)服務(wù)提供商(NSP)。網(wǎng)絡(luò)服務(wù)提供商可由下列構(gòu)成：電信公司、數(shù)據(jù)載體、無線通信提供商、互聯(lián)網(wǎng)服務(wù)提供商、提供高速互聯(lián)網(wǎng)訪問的有線電視運(yùn)營商等。

數(shù)據(jù)交換688將ISP 670內(nèi)部的若干模塊互連，并且經(jīng)由網(wǎng)絡(luò)686將這些模塊連接到用戶682。數(shù)據(jù)交換688可覆蓋ISP 670的所有模塊附近的較小區(qū)域，或者當(dāng)不同模塊在地理上分散時，可覆蓋較大地理區(qū)域。例如，數(shù)據(jù)交換688可包括數(shù)據(jù)中心的柜內(nèi)的快速千兆以太網(wǎng)(或更快)，或者洲際虛擬局域網(wǎng)(VLAN)。

用戶682可通過客戶端裝置684訪問遠(yuǎn)程服務(wù)，所述客戶端裝置包括至少CPU、顯示器和I/O。客戶端裝置可以是PC、移動電話、上網(wǎng)本、平板電腦、游戲系統(tǒng)、PDA等。在一個實施方案中，ISP 670識別客戶端使用的裝置的類型，并且調(diào)整所用的通信方法。在其他情況下，客戶端裝置使用標(biāo)準(zhǔn)通信方法(諸如html)來訪問ISP 670。

本發(fā)明的實施方案可用各種計算機(jī)系統(tǒng)配置實施，包括手持式裝置、微處理器系統(tǒng)、基于微處理器或可編程的消費電子設(shè)備、微型計算機(jī)、主計算機(jī)等。本發(fā)明也可在分布式計算環(huán)境中實踐，其中由通過基于有線的網(wǎng)絡(luò)或無線網(wǎng)絡(luò)鏈接的遠(yuǎn)程處理裝置執(zhí)行任務(wù)。

了解上述實施方案之后，應(yīng)理解，本發(fā)明可利用涉及存儲在計算機(jī)系統(tǒng)中的數(shù)據(jù)的各種計算機(jī)實施的操作。這些操作是需要物理量的物理操縱的那些。形成本發(fā)明的一部分的本文所述的任何操作都是可用的機(jī)器操作。本發(fā)明還涉及用于執(zhí)行這些操作的裝置或設(shè)備。所述設(shè)備可針對所需目的而特別構(gòu)造，或者所述設(shè)備可以是由存儲在計算機(jī)中的計算機(jī)程序選擇性地激活或配置的通用計算機(jī)。具體而言，各種通用機(jī)可用于根據(jù)本文中的教示編寫的計算機(jī)程序，或者更為方便的是，構(gòu)造更專業(yè)的設(shè)備來執(zhí)行所需的操作。

本發(fā)明還可體現(xiàn)為計算機(jī)可讀介質(zhì)上的計算機(jī)可讀代碼。計算機(jī)可讀介質(zhì)是可存儲數(shù)據(jù)的任何數(shù)據(jù)存儲裝置，所述數(shù)據(jù)之后可由計算機(jī)系統(tǒng)讀取。計算機(jī)可讀介質(zhì)的示例包括硬盤驅(qū)動器、網(wǎng)絡(luò)附加存儲(NAS)、只讀存儲器、隨機(jī)存取存儲器、CD-ROM、CD-R、CD-RW、磁帶，以及其他光學(xué)和非光學(xué)數(shù)據(jù)存儲裝置。計算機(jī)可讀介質(zhì)可包括分布在網(wǎng)絡(luò)連接的計算機(jī)系統(tǒng)上的計算機(jī)可讀有形介質(zhì)，從而計算機(jī)可讀代碼被分布式存儲和執(zhí)行。

盡管按照特定順序描述了方法操作，但應(yīng)理解，可在操作之間執(zhí)行其他內(nèi)務(wù)處理操作，或者操作可以調(diào)整成在稍微不同的時間發(fā)生，或可以分布在系統(tǒng)中，所述系統(tǒng)允許處理操作在與處理相關(guān)聯(lián)的各種間隔處發(fā)生，只要覆蓋操作的處理按照所需的方式執(zhí)行即可。

盡管為了清楚理解已在一些細(xì)節(jié)上描述了上述發(fā)明，但應(yīng)明白，某些變化和修改可在所附權(quán)利要求書的范圍內(nèi)實施。因此，呈現(xiàn)的實施方案應(yīng)被視為說明性而非限制性的，且本發(fā)明并不限于本文中給出的細(xì)節(jié)，而是可在所附權(quán)利要求書的范圍和等效物內(nèi)修改。