本公開總體上涉及增強現實（ar）系統和過程。更具體地說，本公開涉及視頻透視（vst）ar中的直接透傳（direct?passthrough）的方法和設備。

背景技術：

1、增強現實（ar）系統可以將由計算機圖形生成的虛擬對象無縫融合到現實世界場景中。光學透視（ost）ar系統是指用戶通過頭戴式設備（hmd）直接查看現實世界場景的ar系統。不幸的是，ost?ar系統面臨許多挑戰，這些挑戰可能會限制其采用。這些挑戰中的一些挑戰包括視野有限、使用空間有限（例如，僅限室內使用）、無法顯示完全不透明的黑色對象、以及使用可能需要投影儀、波導和其他光學元件的復雜光學管道。

技術實現思路

1、解決技術問題的技術方案

2、本公開提供了一種視頻透視（vst）增強現實（ar）中的直接透傳的方法和設備。

3、根據本公開的一個方面，一種方法包括：從具有第一相機視點的第一透視相機獲得第一圖像，并且從具有第二相機視點的第二透視相機獲得第二圖像。該方法還包括：通過將第一映射應用于第一圖像來生成與第一虛擬視點相對應的第一虛擬圖像，其中第一映射基于第一相機視點和與用戶的第一只眼睛相對應的第一虛擬視點的相對位置。該方法還包括：通過將第二映射應用于第二圖像來生成與第二虛擬視點相對應的第二虛擬圖像，其中第二映射基于所述第二相機視點和與用戶的第二只眼睛相對應的第二虛擬視點的相對位置。此外，該方法包括：在ar設備的至少一個顯示面板上將第一虛擬圖像顯示到第一虛擬視點，并且將第二虛擬圖像顯示到第二虛擬視點。

4、根據本公開的一個方面，一種vst?ar設備包括至少一個顯示面板、第一透視相機、第二透視相機和至少一個處理設備。至少一個處理設備被配置為：從具有第一相機視點的第一透視相機獲得第一圖像，并且從具有第二相機視點的第二透視相機獲得第二圖像。至少一個處理設備還被配置為：通過將第一映射應用于第一圖像來生成與第一虛擬視點相對應的第一虛擬圖像，其中第一映射基于第一相機視點和與用戶的第一只眼睛相對應的第一虛擬視點的相對位置。至少一個處理設備還被配置為：：通過將第二映射應用于第二圖像來生成與第二虛擬視點相對應的第二虛擬圖像，其中第二映射基于第二相機視點和與用戶的第二只眼睛相對應的第二虛擬視點的相對位置。此外，至少一個處理設備被配置為：在至少一個顯示面板上將第一虛擬圖像顯示到第一虛擬視點，并且將第二虛擬圖像顯示到第二虛擬視點。

5、根據本公開的一個方面，一種計算機可讀介質包含指令，當執行該指令時，該指令使得至少一個處理器執行該方法。

6、本領域技術人員可以從以下附圖、描述和權利要求中容易地看出其他技術特征。

7、在進行下面的詳細描述之前，闡述貫穿本專利文件所使用的某些詞語和短語的定義可能是有利的。術語“發送”、“接收”和“通信”及其派生詞包括直接通信和間接通信這二者。術語“包括”和“包含”以及其衍生詞，表示包含性的而不是限制。術語“或”是包含性的，意味著和/或。短語“與...相關聯”及其派生詞意味著包括、被包括在內、與...互連、包含、被包含在內、連接到或與...連接、耦接到或與...耦接、可與...通信、與...協作、交織、并置、接近...、綁定到...或與...綁定、具有、具有...的屬性、具有到...的關系或與...的關系等。

8、此外，下文所描述的各種功能可以由一個或多個計算機程序實現或支持，每個計算機程序由計算機可讀程序代碼形成并被實施在計算機可讀介質中。術語“應用”和“程序”指代一個或多個計算機程序、軟件組件、指令集、過程、功能、對象、類、實例、相關數據或其中適于在適當的計算機可讀程序代碼中實現的部分。短語“計算機可讀程序代碼”包括任意類型的計算機代碼，包括源代碼、目標代碼和可執行代碼。短語“計算機可讀介質”包括能夠由計算機訪問的任意類型的介質，諸如只讀存儲器（rom）、隨機訪問存儲器（ram）、硬盤驅動器、壓縮盤（cd）、數字視頻盤（dvd）或任何其他類型的存儲器。“非暫時性”計算機可讀介質不包括傳輸暫時性電信號或其他信號的有線、無線、光學或其他通信鏈路。非暫時性計算機可讀介質包括其中能夠永久存儲數據的介質和其中能夠存儲數據且隨后能夠被重寫的介質，諸如可重寫的光盤或可擦除的存儲器設備。

9、如本文所用，諸如“具有”、“可以具有”、“包括”或“可以包括”特征（如數字、功能、操作或諸如部件之類的組件）的術語和短語表示該特征的存在，并且不排除其他特征的存在。此外，如本文所用，短語“a或b”、“a和/或b中的至少一個”或“a和/或b中的一個或多個”可以包括a和b的所有可能組合。例如，“a或b”、“a和b中的至少一個”和“a或b中的至少一個”可以指示以下所有情形：（1）包括至少一個a、（2）包括至少一個b、或者（3）包括至少一個a和至少一個b。此外，如本文所用，術語“第一”和“第二”可以修飾各種組件，而不管其重要性如何，并且不限制這些組件。這些術語僅用來將組件彼此區分開。例如，第一用戶設備和第二用戶設備可以指示彼此不同的用戶設備，而與設備的重要性或順序無關。第一組件可以表示為第二組件，反之亦然，這不會偏離本公開的范圍。

10、應當理解，當一個元件（例如，第一元件）被稱為（操作性或通信性地）“耦接到”或“連接到”另一元件（例如，第二元件）或者與另一元件（例如，第二元件）“耦接”或“連接”時，它可以直接或通過第三元件耦接或連接到另一個元件。相反，將理解的是，當元件（例如，第一元件）被稱為與另一元件（例如，第二元件）“直接耦合”或“直接連接”或者“直接耦合到”或“直接連接到”另一元件（例如，第二元件）時，沒有其他元件元件（例如，第三元件）介于該元件和另一元件之間。

11、如本文所使用的，取決于場景，短語“被配置（或設置）為”可以與短語“適合于”、“具有……的能力”、“被設計為”、“適于”、“被制造為”或者“能夠……”互換使用。短語“被配置（或設置）為”不是在本質上意味著“在硬件上被專門設計為”。相反，“被配置為”這一短語可能意味著設備可以與另一設備或部件一起執行操作。例如，短語“處理器被配置（或設置）為執行a、b和c”可以表示可以通過執行存儲在存儲器設備中的一個或多個軟件程序來執行操作的通用處理器（例如，cpu或應用處理器）、或者用于執行操作的專用處理器（例如嵌入式處理器）。

12、如本文所用，術語和短語僅用于描述本公開的一些實施例，而不限制本公開其他實施例的范圍。將理解，單數形式“一”、“一個”和“該”包括復數指代，除非上下文另外清楚地說明。本文使用的所有術語和短語（包括技術和科學術語和短語）具有與本公開的實施例所屬領域的普通技術人員通常理解的含義相同的含義。還應理解，諸如在常用詞典中定義的術語和短語等的術語和短語應被解釋為其含義與在相關技術的上下文中的含義相一致，而不應將其解釋為理想的或過于正式的含義，除非本文明確如此定義。在一些情況下，本文定義的術語和短語可以被解釋為排除本公開的實施例。

13、根據本公開的實施例的“電子設備”的示例可以包括以下中的至少一種：智能手機、平板個人電腦（pc）、移動電話、視頻電話、電子書閱讀器、臺式pc、筆記本電腦、上網本電腦、工作站、個人數字助理（pda）、便攜式多媒體播放器（pmp）、mp3播放器、移動醫療設備、相機或可穿戴設備（例如，智能眼鏡、hmd、電子衣服、電子手環、電子項鏈、電子配件、電子紋身、智能鏡或智能手表）。電子設備的其他示例包括智能家電。智能家電的示例可以包括以下中的至少一種：電視、數字視頻光盤（dvd）播放器、音頻播放器、冰箱、空調、清潔器、烤箱、微波爐、洗衣機、烘干機、空氣凈化器、機頂盒、家庭自動化控制面板、安全控制面板、tv盒（例如，samsung?homesync、appletv或google?tv）、智能揚聲器或帶有集成數字助理的揚聲器（例如，samsung?galaxy?home、apple?homepod或amazon?echo）、游戲機（例如，xbox、playstation或nintendo）、電子詞典、電子鑰匙、相機或電子相幀。電子設備的另外的其他示例包括以下項中的至少一個：各種醫療設備（例如，多功能便攜式醫療測量設備（例如，血糖測量設備、心跳測量設備或體溫測量設備）、磁共振血管造影（mra）設備、磁共振成像（mri）設備、計算機斷層掃描（ct）設備、設備成像或超聲設備）、導航設備、全球定位系統（gps）接收器、事件數據記錄儀（edr）、飛行數據記錄儀（fdr）、汽車信息娛樂設備、航海電子設備（例如，航海導航設備或陀螺羅盤）、航空電子設備、安全設備、車輛頭單元、工業或家庭機器人、自動柜員機（atm）、銷售點（pos）設備或物聯網（iot）設備（例如，燈泡、各種傳感器、電表或燃氣表、灑水器、火警、?恒溫調節器、街燈、烤面包機、健身器材、熱水箱、加熱器或燒水壺）。電子設備的其他示例包括以下中的至少部分：家具或建筑物/結構的一部分、電子板、電子簽名接收設備、投影儀和各種測量儀器（例如，用于測量水、電、燃氣或電磁波的設備）。應當注意，根據本公開的各種實施例，電子設備可以是以上列出的設備中的一種或組合。根據本公開的一些實施例，電子設備可以是柔性電子設備。本文公開的電子設備不限于上述設備，并且可以包括現在已知或以后開發的任何其他電子設備。

14、在以下描述中，根據本公開的各種實施例，參照附圖描述電子設備。如本文所使用的，術語“用戶”可以表示使用電子設備的人或另一設備（例如，人工智能電子設備）。

15、貫穿本專利文件可以提供對其他某些詞語和短語的定義。本領域普通技術人員應該理解：在許多情況下（如果不是大多數情況），這樣的定義適用于這樣定義的詞語和短語的先前以及將來的使用。

16、本技術中的描述不應被解讀為暗示任何特定的元素、步驟或功能是必須包括在權利要求范圍中的基本要素。專利主題的范圍僅由權利要求限定。