發明領域

本發明的至少一個實施例涉及三維(3d)可視化系統，并且更具體地，涉及用于輔助用戶在3d可視化系統中放置對象的技術。

背景技術：

多個繪畫軟件應用如今對于個人計算機以及其他處理設備(諸如智能電話、平板等)可用。那些應用中的一些包括用于輔助用戶放置對象的工具或功能，諸如所謂的“咬合”和“粘合”功能。對于咬合功能，當用戶將第一被顯示的對象移動到非?？拷诙伙@示的對象的位置時，軟件自動地進一步移動該第一對象使得第一對象與第二對象接觸。這一功能緩解了用戶非要精準定位這兩個對象的乏味。粘合功能致使兩個對象粘在一起并且允許它們一旦彼此接觸就被一起移動。這些功能一般可通過設置用戶偏好來啟用或禁用。

概述

此處介紹的技術提供了一種對象放置工具，用于輔助用戶在3d可視化環境中(特別是但不一定非得是在沉浸式ar/vr環境中)移動和放置被顯示的全息對象。該工具可被實現為“虛擬磁鐵”，并因此有時在本文中被稱為“磁鐵工具”或簡稱“磁鐵”。該工具輔助用戶拾取源對象(例如，通過虛擬磁鐵)并隨后將該源對象精準地放置在目標對象上。一旦源對象被拾取，該工具幫助用戶預先理解源對象將具體如何被取向、并且在用戶作出將源對象放置在目標對象的動作之前預先理解該源對象將被放置在何處以及該源對象將在目標對象上具體如何被取向。

在某些實施例中，此處介紹的技術包括一種實現在可視化設備中的方法，該可視化設備可以是ar/vr可視化設備，諸如可佩戴(例如，頭戴式)可視化設備。該設備可被配備以跟蹤用戶的凝視方向、識別用戶的手勢和/或識別用戶的語音、以及將這些類型的輸入中的任意一種用于該工具的操作。

在某些實施例中，方法包括在可視化設備的顯示區域上向可視化設備的用戶顯示疊放在3d物理空間的現實世界視圖之上的各個虛擬3d對象。方法可進一步包括保持功能，其中各個虛擬3d對象的第一對象(源對象)被顯示在顯示區域上，使得第一對象看上去要響應于來自用戶的輸入移動通過3d物理空間。在某些實施例或實例中，輸入僅僅是用戶的凝視方向的變化。方法可進一步包括基于檢測到的用戶凝視將各個虛擬3d對象中的第二對象標識為用于咬合功能的目標對象。咬合功能是一種致使第一對象移動到目標對象的表面上的某一位置的操作。

在一些實施例中，咬合功能的目標對象還基于以下來標識：第一對象和候選目標對象之間大小上的相似度；第一對象和候選目標對象之間總體形狀上的相似度；或者第一對象的表面和候選目標對象的表面之間形狀上的相似度；或這類輸入的任意組合。方法可基于例如以下來檢測用戶想要觸發咬合功能：用戶的手勢、口述命令、用戶的凝視或用戶的話語、或這類輸入的任意組合。

在用戶用工具抓取第一對象之前，方法可基于檢測到的用戶凝視，以及在一些實施例或實例中僅僅基于檢測到的用戶凝視，將該第一對象標識為用于保持功能的候選對象(即，可能要被抓取的對象)。方法可顯示第一對象已被標識為用于保持操作的候選的指示，諸如通過在第一對象周圍顯示一個透明的或半透明的線框邊框。為了幫助用戶想像如果/當該對象被拾取時該對象將如何被取向，方法可進一步在邊框的表面上在基于檢測到的用戶的凝視矢量的一位置處顯示一個光標。該光標的位置可以是用于保持功能的潛在拾取(抓取)點。響應于用戶的凝視矢量的變化，光標可跨邊界框的各表面中的任意一個移動。當用戶(例如，通過語音命令或手勢)觸發保持功能以抓取第一對象時，第一對象隨后根據用戶觸發保持功能的時刻光標在邊框體上的位置而被重新取向。

方法可進一步包括響應于標識目標對象，響應于用戶的凝視方向的變化，致使第一對象看上去沿目標對象的表面滑動，或者滑動穿過目標對象的兩個或更多個相鄰(非平行)表面。

根據附圖和詳細描述，該技術的其他方面將顯而易見。

提供本概述以便以簡化的形式介紹以下在詳細描述中進一步描述的一些概念。本概述并不旨在標識所要求保護主題的關鍵特征或必要特征，也不旨在用于限制所要求保護主題的范圍。

附圖簡述

在附圖中的各圖中作為示例而非限制解說了本發明的一個或多個實施例，其中相同的標記指示相似的元素。

圖1例示出了ar/vr頭戴式組件的示例。

圖2是ar/vr頭戴式組件的某些組件的高級框圖。

圖3a至3k示出了透過ar/vr頭戴式組件的用戶的視圖的各種示例。

圖4示出了可由可視化設備執行的用于提供對象放置工具的總的過程的示例。

圖5例示了源對象候選標識和選擇過程的示例。

圖6例示了目標對象標識和咬合點選擇過程的示例。

詳細描述

在該描述中，對“一實施例”、“一個實施例”等的引用意味著描述的特定特征、功能、結構或特性被包括在本文中引入的技術的至少一個實施例中。這樣的短語在本說明書中的出現不一定全部涉及同一實施例。另一方面，所涉及的各實施例也不一定是相互排斥的。

i.系統概覽

對于粗略地將3d對象放在一起，自由放置被顯示在3d可視化環境中的對象可能是非常有用的，然而自由放置承受放置精準度和速度之間的權衡。在3d可視化環境中，軟件輔助的對象放置比在2d環境中要復雜得多。除了其它原因之外，在深度上可視化對象的位置是困難的。作為一個示例，有一種眾所周知的光學錯覺效應，即當保持靜止時，近處的小的物體可能看上去就和遠處的大的物體一樣。因此，擁有一種輔助用戶在3d中放置對象的工具是期望的，但是確定用戶的意圖隨著場景的復雜度的增加而變得越來越困難。因此，此處介紹了一種提供精準和快速放置且既穩定又可預測的對象放置工具。

在某些實施例中，工具像虛擬/全息磁鐵一樣工作，因此該工具可在本說明書中的各處被可互換地稱為“磁鐵工具”、“磁鐵”、“對象放置工具”、“放置工具”、或“工具”。該工具可以被實現在例如可佩戴ar/vr頭戴式組件中，如本文以下所假設的，這僅僅為了方便描述。然而，需要注意，此處介紹的技術也可被應用于其它類型的可視化設備和上下文中，包括傳統個人計算機中的標準lcd顯示器、平板、智能電話等諸如此類，或者允許用戶在顯示器上在3d中移動和定位對象的任何其它設備。

在某些實施例中，工具的操作具有四個階段：1)選擇和拾取源對象；2)移動源對象(也稱“保持對象”)通過空間，同時定位和選擇目標對象；以及3)將源對象放置并定向在目標對象上(稱為“咬合”到目標對象)；以及4)在目標對象上的想要的位置處釋放源對象以致使源對象被粘合到目標對象上的該位置。

ii.工具操作的細節

a.源對象的選擇

在一些實施例中，用戶可通過語音命令(諸如“磁鐵”)或通過使用手勢從顯示的一組圖標中選擇一個特定圖標(例如，虛擬工具箱中的磁鐵圖標)來激活工具。一旦激活，光標可用磁鐵圖像(例如，磁鐵形狀的表面網格)來替代或補充。如果當工具被激活時用戶已經(虛擬地)“保持”全息對象，則說“磁鐵”或作出該手勢可致使已被保持的對象被選擇為源對象，并且用戶可隨后直接前進至目標對象的選擇，這將在以下被討論。

為了確定應當拾取哪個對象(源對象)，在某些實施例中，實現工具的過程執行兩步式光線投射。每一次光線投射包含從用戶處沿用戶的凝視矢量(如可視化系統中的眼睛跟蹤裝備所檢測的)向外持續地投射(虛擬)光線。用戶的凝視矢量可被定義為用戶的當前查看方向。第一光線投射被用于確定哪個對象被標識為最佳候選源對象。基于該確定，過程隨后執行針對完整地包圍該對象的邊界體(諸如邊框)的第二光線投射。這一第二光線投射被用于對光標進行定位和取向使得光標坐落在候選對象的邊界體的一個面上，從而給予用戶對于對象一旦被拾取(被選擇為源對象)后將如何被取向的預覽指示。這些光線投射被持續更新以反映用戶的凝視矢量的變化，直到用戶拾取對象，使其成為源對象(被保持的對象)。用戶可通過例如用手指執行輕扣手勢或通過說預定的命令(諸如“拾取”)來拾取對象。

b.目標對象的選擇

一旦用戶用工具拾取對象，該對象看上去粘合到磁鐵圖像(如果磁鐵圖像被顯示的話，這并不是必需的)，并且源對象(被保持的對象)和磁鐵圖像兩者都被移動和取向，以便大致與用戶的凝視矢量一致，面向外進入到場景中，位于距離用戶的舒服的觀看距離處(不迫使用戶瞇起眼睛來看是期望的)，但是也不會過遠而導致源對象碰到世界中的其它對象。例如，在用戶前方的約1米的視距可能是合適的。然而，源對象、光標以及(如果顯示的)磁鐵圖像可被定位在稍稍低于用戶的凝視矢量以避免它們遮擋場景的其余部分，包括潛在的目標對象。當用戶的凝視矢量變化時，源對象和磁鐵圖像被保持與用戶的凝視矢量(至少水平地)對齊。

在某些實施例中，光線被持續地從光標投射到場景中以向用戶顯示基于用戶當前的凝視矢量哪個對象當前正被選擇為目標對象，例如通過高亮光線擊中的任何一個對象(可能遵從某些選擇準則，如以下將討論的)。這一光線投射可瞄準可看到的目標對象的實際形狀處，以促進與如果使用更簡單的邊框輪廓形狀相比更準確的選擇。例如，在一些實施例中，光線投射僅使光線實際擊中的對象被高亮，而忽視任何粘合行為(即，當兩個或多個對象被粘合在一起的情況)。

在一些實施例中，小于相對于用戶的觀看的某個視距大小(例如，在距離用戶1米的視距下最大2cm的尺寸)的ar對象不被允許成為該工具的目標對象，但是可被拾取作為源對象。例如，全息鉚釘可被拾取并放置在全息火箭上，但是該工具不會將火箭上的其它鉚釘作為目標。場景中未被定為目標的對象可被變為至少部分透明的(例如，以線框格式示出)，使得目標對象更清晰，同時保留周圍對象的上下文。深度“預過濾”可被應用在渲染過程中以僅顯示透明或部分透明對象的前表面。

在某些實施例中，一旦目標對象被選擇，則使源對象“粘”到目標對象，但是源對象可以在目標對象的表面上四處移動。這可通過將目標對象移動到一個分開的物理“層”而光線投射僅投射到該層來實現。此處的構思是這一情形中的任何物理計算(例如光線投射)在修改源對象和目標對象的相對取向時忽視其它對象。

c.咬合目標對象

源對象在目標對象上的優選放置點(即“咬合位置”)可通過球體投影操作來確定。例如，放置點可被確定為從最小的球體投影沿仍然擦過該目標對象的來自光標的光線投影的接觸點。為了實現這點，工具過程可執行對球體半徑的二元搜索，從光線投射(零半徑的球體)開始，然后是確保擊中目標對象的最小半徑的球體。如果最初的光線投射擊中目標對象，則放置過程可在那里結束；否則，過程往下繼續二元搜索至設定的深度，以尋找仍然擊中該目標對象的最小球體。這一球體投射方法可能對于與具有復雜結構和拓撲結構的表面重構(sr)網格和對象交互特別有用。sr網格是表示現實世界邊沿和表面的輪廓的空間中的3d點的集合。這一搜索的效果是允許用戶仍然在目標上四處滑動保持的物體，即便用戶的視角不直接與目標網格相交。

一旦源對象被合適地放置在目標對象上，用戶就能夠輸入預定的輸入來釋放源對象，諸如通過再次執行輕扣手勢或通過說命令(例如“釋放”)。這一動作致使源對象變為在所選擇的放置位置和取向上粘合到目標對象。另外，這致使場景中的其它對象(這些對象在目標對象選擇和放置期間可能已經被變為至少部分透明)被返回到它們正常水平的不透明度(通常是完全不透明)、移動目標對象回到標準物理層、以及重設工具狀態。

iii.可視化系統的示例

在至少一個實施例中，此處介紹的技術包括一種可佩戴可視化設備，該設備提供用于輔助用戶在ar/vr可視化系統中放置虛擬(例如全息)對象的放置工具?？梢暬O備可以是例如被配備以向用戶提供ar/vr體驗的頭戴式組件、眼鏡或護目鏡。圖1示出能夠提供該工具的ar/vr頭戴式組件的一個示例。然而，需要注意，此處介紹的技術可被實現在允許用戶將3d對象放置在3d顯示器上的幾乎任意類型的可視化設備中。所例示的頭戴式組件1包括頭帶2，可通過該頭帶2將頭戴式組件1可移除地安裝在用戶的頭上。頭戴式組件1可簡單地通過頭帶2的剛度和/或通過圖1中未示出的緊固機制來被保持在適當位置。頭帶2附接有一個或多個透明或半透明的透鏡3，該透鏡包括一個或多個透明或半透明的ar/vr顯示設備4，每個顯示設備可覆蓋用戶對他環境的單眼或雙眼視圖的圖像上。ar/vr顯示設備4的細節不與本文介紹的技術密切相關；能夠在用戶環境的實時、現實世界的視圖上覆蓋機器生成的圖像的顯示設備是本領域已知的，并且具有此類能力的任何已知的或方便的機制可被使用。

頭戴式組件1進一步包括：用于輸入來自用戶的語音的麥克風5(例如，用于識別語音命令)；用于向用戶輸出聲音的一個或多個音頻揚聲器6；用于跟蹤用戶頭部在現實世界空間中的位置和定向的一個或多個眼睛跟蹤相機7；由眼睛跟蹤相機7使用的一個或多個照明源8；用于檢測和測量距附近表面的距離的一個或多個深度相機9；用于捕獲用戶環境的標準視頻和/或確定用戶在該環境中的位置的一個或多個面向外瞄準的可見光譜相機10；以及用于控制上述元件中的至少一些并執行相關聯的數據處理功能的電路11。電路11可包括例如一個或多個處理器和一個或多個存儲器。注意，在其他實施例中，上述組件可位于頭戴式組件1上的不同位置處。附加地，一些實施例可省略一些上述組件和/或可包括上文未提及的附加組件。

圖2是根據本文所介紹的技術的一些實施例的ar/vr頭戴式組件20的某些組件的高級框圖。圖2中的頭戴式組件20和各組件可代表圖2中的頭戴式組件1。在圖2中，頭戴式組件20的功能部件包括以下中的每一者的一個或多個實例：處理器21、存儲器22、透明或半透明ar/vr顯示設備23、音頻揚聲器24、深度相機25、眼睛跟蹤相機26、麥克風27、以及通信設備28，并全部通過互連29被(直接地或間接地)耦合在一起?；ミB29可以是或可以包括一個或多個導電跡線、總線、點到點連接、控制器、適配器、無線鏈路和/或其他常規連接設備和/或媒體，其中至少一些可彼此獨立地操作。

處理器21單獨地和/或共同地控制頭戴式組件20的整體操作并執行各種數據處理功能。附加地，處理器21可提供用于生成和顯示上述對象放置工具的計算和數據處理功能中的至少一些。例如，每個處理器21可以是或可以包括一個或多個通用可編程微處理器、數字信號處理器(dsp)、移動應用處理器、微控制器、專用集成電路(asic)、可編程門陣列(pga)等，或此類設備的組合。

將處理器31配置成執行本文介紹的技術方面的數據和指令(代碼)30可被存儲在一個或多個存儲器22中。每個存儲器22可以是或可以包括一個或多個物理存儲設備，其可以是以下形式：隨機存取存儲器(ram)、只讀存儲器(rom)(其可以是可擦除并可編程的)、閃存、微型硬盤驅動器、或其他合適類型的存儲設備、或這樣的設備的組合。

一個或多個通信設備28使得頭戴式組件20能夠從分開的外部處理系統(諸如個人計算機或游戲控制臺)接收數據和/或命令，并向該分開的外部處理系統發送數據和/或命令。例如，每個通信設備28可以是或可以包括通用串行總線(usb)適配器、wi-fi收發器、藍牙或藍牙低能量(ble)收發器、以太網適配器、電纜調制解調器、dsl調制解調器、蜂窩收發器(例如，3g、lte/4g或5g)、基帶處理器等，或其組合。

例如，每個深度相機25可應用飛行時間原理來確定距附近對象的距離。由深度相機25獲取的距離信息被用于(例如，被處理器21)構建用戶環境中各表面的3d網格模型。例如，每個眼睛跟蹤相機26可以是近紅外相機，該近紅外相機基于來自瞳孔和/或角膜閃光的由頭戴式組件上的一個或多個近ir源(諸如圖1中的照明源7)發射的近紅外光的鏡面反射來檢測注視方向。為了能夠檢測到此類反射，頭戴式組件的透鏡(例如，圖1中的透鏡3)的內表面可涂覆有反射ir光但對可見光透明的物質；此類物質是本領域已知的。此方法允許來自ir源的照明從透鏡的內表面反彈到用戶的眼睛，其中它被反射回眼睛跟蹤相機(可能再次經由透鏡的內表面)。

注意，上述組件中的任何一種或全部可在它們的上述功能方面完全自包；然而，在一些實施例中，一個或多個處理器21提供與其他組件相關聯的處理功能中的至少一些。例如，與深度相機25相關聯的用于深度檢測的數據處理中的至少一些可由處理器21執行。類似地，與注視跟蹤相機26相關聯的用于注視跟蹤的數據處理中的至少一些可由處理器21執行。類似地，支持ar/vr顯示器23的圖像處理中的至少一些可由處理器21執行；等等。

iv.工具操作的示例

現在將參考圖3a至3k描述ar/vr頭戴式組件可如何提供對象放置工具的示例。圖3a至3k示出了透過ar/vr頭戴式組件(例如，透過圖1中的透鏡3和顯示設備4)的用戶視圖的各種示例。具體地，圖3a示出了當用戶穿戴頭戴式組件站在家的房間中時，該頭戴式組件的用戶可能具有的視圖的中心部分(由于頁面大小限制，外圍視野在圖中被截除)。透過頭戴式組件的顯示區域，用戶可看到各種現實世界對象，諸如在咖啡桌33周圍的沙發31和椅子32。頭戴式組件還可顯示疊放在現實世界視圖之上的各種全息對象，諸如對象36a、36b、36c、36d以及36e。頭戴式組件還可將一個或多個全息圖標35或其他用戶界面元件顯示在用戶的視野中，以允許用戶能夠使用頭戴式組件的各種功能。例如，用戶界面元素中的一個可以是用于選擇/啟動磁鐵工具的操作的圖標34(或其他等效元素)。

在頭戴式組件可操作的情況下，它使用其深度相機構建用戶的附近(例如，幾米內)的所有表面或至少用戶視野內的所有鄰近的表面的3d網格模型，該3d網格模型包括表面距用戶(即，距頭戴式組件)的距離。通過使用深度檢測(例如，飛行時間)來生成鄰近表面的3d網格模型的技術在本領域中是已知的，而不需要在本文中被描述。因此，圖3a的示例中的3d網格模型將至少對以下各項進行建模：沙發31、椅子32和咖啡桌33的所有可見表面，以及房間的墻、地板和天花板、窗戶，以及諸如安裝在墻上的窗簾、藝術品(未顯示)之類的潛在的甚至更小的特征等等。3d網格模型可被存儲在頭戴式組件上的存儲器中。通過使用3d網格模型和來自視覺跟蹤系統(例如，相機10)的圖像數據，頭戴式組件中的電路(例如，處理器21)可隨時確定房間內用戶的精確位置。3d網格模型可在頻繁的基礎上(諸如每秒幾次)被自動更新。

通過使用頭戴式組件，并且通過使用手勢、語音命令和/或受控制的凝視，用戶可創建和操縱各種3d全息(ar)對象，諸如對象36a、36b、36c、36d以及36e。如所示出的，這些對象被疊放在用戶的現實世界視圖之上。在實際的實現中，用戶可能能夠創建和操縱比那些示出的顯著地復雜的全息對象。

現在假設頭戴式組件的用戶想要移動對象36a并且將其粘合到對象36b的表面。相應地，用戶可激活磁鐵工具來這樣做。例如，用戶可使用手勢來指向并輕扣在磁鐵圖標35上，或者可簡單地說命令，諸如“磁鐵”。如在圖3b中示出的，在一些實施例中，頭戴式組件1可隨后顯示看上去漂浮在用戶的視野中的全息磁鐵圖像41，在用戶視野的靠下部分的中心，并且在用戶凝視的方向上指向。

用戶隨后用磁鐵選擇要拾取的對象，在這一示例中是對象36a。如上文提到的，在一些實施例中，頭戴式組件包括眼睛跟蹤傳感器和電路，用于持續地確定用戶的凝視矢量(在其它實施例中，頭戴式組件可使用不同的技術來確定用戶的凝視矢量，諸如確定3d空間中位于用戶兩只眼睛之間的點以及用戶在該世界中正面向的當前的“前向”方向的頭部跟蹤技術)。當用戶的凝視指向全息對象(諸如對象36a)時(如通過例如從用戶的視角開始的光線投射所確定的)，該對象變為用透明的邊界體(諸如圖3b中示出的邊框42)來高亮。(需要注意，為了簡化解說，除了對象36a和對象36b以外的對象未被示出在圖3b到3j中。)另外，光標(在這一示例中是圓)43出現在邊框42的任意一個當前被來自用戶的視角的光線投射所擊中的表面上。邊框42和光標43一起幫助用戶可視化如果以及當用磁鐵工具拾取對象36a時，對象36a將如何被取向。如圖3c中所示，如果用戶的凝視矢量改變使得投射光線擊中邊框42的一個不同表面，則光標43的位置和外觀將相應改變以出現在該表面上。例如，圖3c示出當用戶的凝視矢量擊中邊框42的上表面時光標43的外觀。此時及使用磁鐵工具的過程的整個剩余部分，磁鐵圖像41可仍然被顯示；然而，為了簡化解說，磁鐵圖像未被示出在圖3c到3k中。

現在假設用戶輸入命令以拾取對象36a，同時將邊框42的上表面定為目標，如圖3c中所示。用戶可通過例如作出預定手勢或通過說預定命令(諸如“拾取”)來這樣做。當該輸入被頭戴式組件檢測到時，該對象(其成為“源對象”或“保持對象”)被立即重新取向，使得邊框42的被定為目標的面和光標43現在面向用戶，如圖3d中所示。在其中全息磁鐵圖像41被顯示的實施例中(參見圖3b)，邊框42的被定為目標的面可在過程中的該時刻被顯示為粘合到磁鐵圖像。源對象36a、光標43以及(如果顯示的)磁鐵圖像41可被定位在稍稍低于用戶的視角以避免它們遮擋潛在的目標對象。當用戶的凝視變化時，源對象36a和磁鐵圖像41被保持與用戶的凝視矢量(至少沿水平軸)對齊，由此給予用戶該源對象正通過用戶的凝視而被用戶保持和搬運的印象。

一旦源對象已被拾取，用戶隨后進行標識目標對象。目標對象可通過光線投射來確定，例如通過從光標43的位置在用戶的凝視的方向上向外投射光線45，如圖3e中所示(然而，需要注意，光線45不一定非得對用戶可見)。在一些實施例中，被從光標43投射的光線擊中并且滿足特定準則的任何對象被選擇為當前目標對象。場景中當前未被定為目標的對象可被變為至少部分透明，使得目標對象更清晰，同時保留對周圍對象的位置的某些視覺指示。深度“預過濾”可被包括在渲染過程中以僅顯示透明或部分透明對象的前表面。

如上文提到的，本示例假設用戶希望將(源)對象36a粘到對象36b上。因此，在拾取源對象36a之后，用戶看著對象36b并且將其定為目標(即，使光線投射與對象36b相交)，如圖3f中所示。當從光標投射的光線與滿足選擇準則的潛在目標對象(諸如對象36b)相交或進入到它的預定距離/角度內時，源對象將看上去咬合到該對象的最近的表面，如圖3g中所示，從而使該對象變為當前目標對象。在一些實施例中，如果從光標投射的光線進入到潛在目標對象的特定閾值距離或角度內，則這一咬合操作將發生，即使光線沒有直接擊中該潛在目標對象。出于這一操作的目的，所有對象被視為對于光線投射不透明，即投射光線將在其擊中的第一個對象處停止。

如上文描述的，源對象在目標對象上的優選放置點可通過球體投影操作來確定。用戶可簡單地通過將其凝視移動到目標對象上的不同點(或甚至稍稍移離該目標對象)來將對象在當前目標對象的表面(或多個表面)上四處移動。這將導致源對象看上去跨目標對象的一個或多個表面滑動。例如，如圖3h中所示，用戶可通過向下和向右移動他的凝視來致使源對象36a沿目標對象36b的表面向下和向右移動。類似地，如圖3i中所示，用戶可通過向上和向坐移動他的凝視來致使源對象36a沿目標對象36b的表面向上和向左移動。如果用戶將其凝視引導離開目標對象達大于某個閾值距離(或角度)和/或達到超過一閾值時間量，則該目標對象可終止被指定為目標。

假設現在用戶希望以圖3i中所示的相對位置將對象36a附連到對象36b。相應地，當對象被如所示地放置時，用戶可輸入合適的輸入，諸如用手作出另一輕叩手勢或者通過說出命令，諸如“釋放”。在這種情況下，源對象36a變為在其當前位置和取向粘合到目標對象36b，并且源對象36a周圍的邊框消失，如圖3j中所示。另外，場景中的其它對象(這些對象在目標對象選擇和放置期間可能已經被變為至少部分透明)被返回到它們正常水平的不透明度(通常是完全不透明)，目標對象36b被移動回到標準物理層，并且重設磁鐵工具狀態(例如，工具變為非激活)。因此，在本示例中，在目標對象36b上釋放源對象36a之后，場景可能對用戶看上去如圖3k中所示的那樣。

v.示例過程流

現在結合圖4到6的說明性過程來進一步描述目標放置工具的操作。圖4示出了可由可視化設備(諸如ar/vr頭戴式組件1)執行的用于提供對象放置工具的總的過程的示例。最初，在步驟401，過程接收選擇放置工具的用戶輸入。該輸入可以是例如手勢或口述命令，或這些的某種組合。作為響應，在步驟402，過程顯示放置工具的圖像，諸如上文描述的磁鐵的圖像。需要注意，在一些實施例中，此處所描述的步驟402和某些其他步驟可被省略。過程隨后在步驟403確定對象是否已被用戶保持。如果當前沒有對象被用戶保持，則過程分支到源對象候選標識和選擇過程406，之后過程前進至目標對象標識和咬合點選擇過程404。如果在步驟403沒有對象已被用戶保持，則過程直接從步驟403前進至目標對象標識和咬合點選擇過程404。在過程404之后，咬合過程405被執行，如以下進一步描述的。

圖5例示了源對象候選標識和選擇過程406的示例。最初，在步驟501，過程從用戶的視角沿用戶的凝視矢量向外投射光線。接著，在步驟502，過程確定光線是否與全息對象相交。如果光線不與任何全息對象相交，則過程循環返回步驟501并且從那里重復。

過程可使用各種準則中的任意一種來確定什么類型的對象是源對象候選(即可被拾取并粘合到另一對象)，諸如對象的大小和/或形狀(例如，相對大的對象可被排除)、對象距離用戶的視距(例如，遠于某個閾值距離的對象可被排除)等，或者這些的某種組合。相應地，如果在步驟502，光線與全息對象相交，則過程前進至步驟503，在此，過程指定光線相交的、滿足源對象候選準則的最接近的全息對象作為候選源對象。在步驟504，過程隨后高亮該候選源對象并且在其周圍顯示邊框(或其它類型的邊界體)。接著，在步驟505，過程從用戶的視角沿用戶的凝視矢量向外投射光線。在步驟506，過程隨后在邊框的與光標相交的面上放置光標并為光標確定取向。接著，在步驟507，過程檢查以確定是否已從用戶處接收到“拾取”命令(或等同的命令)。如果沒有接收到該命令，則過程循環返回步驟501并且從那里重復。如果已接收到“拾取”命令(或等同的命令)，則過程前進至步驟508，在此，過程基于接收到命令時光標在邊框上的位置來計算候選源對象的新的“抓取”位置和取向。過程隨后將該候選源對象指定為源對象，根據計算的抓取位置對其重新定位和重新取向(如例如在圖3d中所示的)，并且可選地將源對象顯示為粘合到工具的圖像。

圖6例示了目標對象標識和咬合點選擇過程404的示例。在所例示的實施例中，存在基本同時發生的兩個子過程(即，該附圖并不意圖指示精準的定時關系)。第一子過程包括步驟601a和602a，而第二子過程包括步驟601b、602b和603到605。在步驟601a，第一子過程與用戶的凝視對齊的(帶有稍稍向下的垂直偏移)在光標位置處、就在用戶的面前(例如，在用戶的面前約1米的視距處)持續顯示工具圖像(例如，磁鐵圖像)和源對象。接著，在步驟602a，第一子過程顯示經修改的場景幾何結構以降低視覺雜亂，例如通過將除了源對象和目標對象之外的所有對象變為透明。

在步驟601b，第二子過程從光標位置沿用戶的凝視矢量向外投射光線。該光線被持續投射，至少到目標對象被選擇為止。在步驟602b，第二子過程隨后確定光線是否與任何全息對象相交。如果光線不與任何全息對象相交，則第二子過程循環返回步驟601b并且從那里重復。

過程404可使用各種準則中的任意一個來確定哪些對象可以是工具的功能的目標對象(即，可讓其它對象粘合到它們)，諸如：對象和源對象之間在大小方面的相似性程度；對象和源對象之間在整體形狀方面的相似性程度；或者對象的特定表面和源對象的特定表面之間在形狀方面的相似性程度；等等或者這些準則的某種組合。另外，這些相同類型的準則可被用于從兩個或更多個候選目標對象中選擇當前目標對象。

相應地，在圖6的示例過程中，如果在步驟602b，光線與對象相交，則第二子過程前進至步驟603，在此，過程指定光線相交的、滿足目標對象候選準則的最接近的對象作為目標對象。接著，在步驟604，第二子過程高亮該目標對象。

表面重構(sr)可被作為用于選擇目標對象的目的的特殊情形來處理。sr指的是使用網格來表示ar/vr顯示環境中的現實世界表面。雖然整個顯示環境的sr可由多個網格組成，但是網格可以在它們重疊處連續(類似的法線/點)。因此，重疊的網格可被當作單個網格來處理。如果sr網格被放置工具操作的操作定為目標，它可被變為在光標附近的局部區域(即并非整個網格)對用戶可見以避免視覺雜亂。

在高亮目標對象之后，第二子過程在步驟605顯示可滑動地粘合到目標對象表面的源對象，一般粘合在投射自光標的光線與目標對象相交的位置。在任意給定時刻源對象被定位在目標對象上的精準位置(即“咬合點”)可通過使用球體投影來確定，如上文所描述的。

總得來說，源對象的最靠近目標對象的表面(排除光標位于其上的表面)被變為粘合到目標對象的表面上的咬合目標位置。如果那兩個表面都是平坦的，則這些表面可被簡單地粘合在一起并且變為共面的。然而，如果這兩個表面中的一個或兩個是曲面的，則它們可被粘合到彼此，使得它們的法線矢量在接觸的點處是共線的。

在步驟602a和步驟605之后，兩個并發的子過程在步驟606合并，在此，過程404確定是否從用戶處接收到釋放命令。釋放命令可以是例如用手作的輕扣手勢或者口述命令的形式。如果在步驟606處沒有接收到這類命令，則過程循環返回步驟605并且從那里重復。如果已接收到了釋放命令，則在步驟607，過程調用粘合功能從而致使源對象變為粘合到目標對象(如果用戶通過合適的輸入指示撤消的意圖，則這一動作可被撤消)，終止工具圖像的顯示，并且終止可能已被提供的任何場景幾何形狀修改以減少視覺雜亂(例如，將周圍的對象呈現為透明)。

v.改進

各種技術可被應用以改進以上介紹的技術。這些技術中的一些如下：

咬合在對象中心——這一技術可在一旦兩個對象面已咬合在一起后啟用。當源對象的被投影的中心變得靠近潛在的目標對象的被投影的中心時，源對象跳轉成匹配。這允許用戶快速地創建對齊的對象群集。

與定制的樞軸/根點咬合——對象可具有用于控制與其它對象咬合的點的指定的定制樞軸或根位置。例如，考慮始終需要保持直立的恐龍全息影像。通過將定制樞軸/根點定位在恐龍的腳下，腳的底面將始終被用于與其它對象咬合，從而確?？铸埲⒂跋袷冀K保持直立。定制樞軸點的指派可由內容創作者來進行，或者甚至由用戶通過例如使用“圖釘”工具來進行。

與定制咬合目標咬合——當被自動咬合時，目標對象可能包括一個或多個預定咬合目標。例如，恐龍全息影像可具有存儲在其嘴中的預定咬合目標位置和旋轉以使得對于用戶而言容易將食物對象咬合到恐龍的嘴。

組對象的咬合——當對象被分組(“粘合”)到一起時，質量的中心可能改變。當咬合到另一對象時，對象中心可調整以使用該組的質量中心。相反，當被咬合時，單獨的對象對對象測試可使用該組的中心、它們自己的中心、或優選地使用兩者。支持兩者使用戶能夠容易地將源對象與目標對象組或對象組內的某個目標對象的中心對齊。

咬合到世界網格——對象位置或邊緣可被咬合到世界中的固定大小的網格。網格可以是可見的(例如，以線框形式)或不可見的。在不可見情況下，用戶可能知曉該網格，因為所搬運的對象將在網格的咬合點之間跳轉。固定網格大小對于用戶而言是受限的，因為它們不對放置給予精細控制。因此，對于網格技術的一些擴展包括：1)基于搬運的對象大小的自適應網格大?。?)基于世界中的附近對象改變網格大??；3)僅披露搬運的對象附近的線框的部分可見網格(避免視覺雜亂)；以及4)網格被啟用以輔助最初的粗略放置并且當源對象變得靠近另一對象時被自動禁用(以供更精準的對象與對象對齊)。

引力阱——這一技術本質上是每當用戶的視線穩定在某個東西上時就創建“世界”中的點。當用戶的視線穩定時，用戶看著的第一對象上的點變得有粘性，使得每當用戶的視線光標再次經過它時，光標將減速以使得對象的放置變得更容易。

頭部穩定——這是以上提到的引力阱技術的基于用戶的頭部旋轉(例如，如通過跟蹤相機、陀螺儀或諸如此類所測得的)的變體。該技術產生每當用戶的頭部旋轉明顯放緩時穩定基于頭部方向的光標的類似效果。

在執行動作之前要求隨時間的穩定性——這一技術要求用戶在鎖定到某個決策之前隨時間示出該決策的證據。例如，該技術可使盯著兩個對象的中心的用戶避免看到在兩個對象之間快速切換的視像。這可通過要求用戶保持聚焦在對象上達至少預定的時間段(例如半秒鐘)、然后再允許該新對象被高亮、定為目標或以其它方式接收聚焦來實現。

要求用戶在咬合后“擺脫引力”——一旦用戶已將兩個對象咬合到一起，可視化系統可使得它們稍稍更難以擺脫咬合。這可通過例如角度測試(例如，用戶是否已看向偏離其凝視矢量大于5度)或通過將投射到對象的表面中的用戶的視線與一個不可見環進行評估來實現。

基于過去的咬合行為預測用戶意圖——例如，重復地咬合并且隨后立即嘗試擺脫引力的用戶可能正嘗試避免咬合行為。當這類行為被系統觀測到時，系統可暫時減小咬合半徑或禁用該機制。

以上描述的機器實現的操作可由通過軟件和/或固件來編程/配置的可編程電路，或者完全由專用電路，或者由這樣的形式的組合來實現。這樣的專用電路(如果有的話)可采用例如一個或多個專用集成電路(asic)、可編程邏輯設備(pld)、現場可編程門陣列(fpga)、片上系統(soc)等的形式。

用于實現本文中引入的技術的軟件或固件可被存儲在機器可讀存儲介質上，并可由一個或多個通用或專用可編程微處理器來執行。如本文中所使用的術語“機器可讀介質”包括可存儲機器(機器可以是例如計算機、網絡設備、蜂窩電話、個人數字助理(pda)、制造工具、具有一個或多個處理器的任意設備等)可訪問的形式的信息的任何機制。例如，機器可訪問介質包括可記錄/不可記錄介質(例如，只讀存儲器(rom)；隨機存取存儲器(ram)；磁盤存儲介質、光學存儲介質；閃存設備等)等。

如此處所使用的術語“邏輯”表示：a)專用硬接線電路，諸如一個或多個專用集成電路(asic)、可編程邏輯器件(pld)、場可編程門陣列(fpga)、或其它類似器件；b)用軟件和/或固件編程的可編程電路，諸如一個或多個可編程通用微處理器、數字信號處理器(dsp)和/或微控制器、片上系統(soc)、或其它類似器件；或c)在a)和b)中提到的形式的組合。

vi.某些實施例的示例

本文中引入的技術的某些實施例被概括在以下被編號的示例中：

1.一種操作可視化設備的方法，所述方法包括：在所述可視化設備的顯示區域上向所述可視化設備的用戶顯示疊放在三維(3d)物理空間的現實世界視圖之上的多個虛擬三維3d對象；執行保持功能，所述保持功能包括將所述多個虛擬3d對象中的第一對象顯示在所述顯示區域上，使得所述第一對象看上去要響應于來自所述用戶的第一輸入移動通過所述3d物理空間；以及基于檢測到的所述用戶的凝視將所述多個虛擬3d對象中的第二對象標識為咬合功能的目標對象，所述咬合功能是致使所述第一對象移動到所述目標對象的表面上的一位置的操作。

2.一種如示例1所述的方法，其中所述第一輸入包括所述用戶的凝視方向的改變。

3.如示例1或示例2所述的方法，其中標識所述目標對象進一步基于以下的至少之一：所述第一對象和候選目標對象之間大小方面的相似性；所述第一對象和候選目標對象之間總體形狀方面的相似性；所述第一對象的表面和候選目標對象的表面之間形狀方面的相似性。

4.如示例1至3中任一項所述的方法，進一步包括：基于以下的至少之一，檢測用戶想要觸發所述咬合操作：所述用戶的姿勢、所述用戶的凝視或所述用戶的話語；以及通過在所述可視化設備的顯示區域上顯示所述第一對象使得所述第一對象看上去移動到所述目標對象的表面上的目標位置來執行所述咬合操作。

5.如示例1至4中任一項所述的方法，進一步包括：通過執行球體投射操作來為所述咬合功能確定所述目標對象上的目標位置。

6.如示例1至5中任一項所述的方法，進一步包括：響應于標識所述目標對象，響應于所述用戶的凝視方向的變化，致使所述第一對象看上去沿所述目標對象的表面滑動。

7.如示例1至6中任一項所述的方法，進一步包括：響應于所述用戶的凝視方向的變化，致使所述第一對象看上去跨所述目標對象的多個相鄰的、非平行表面滑動。

8.如示例1至7中任一項所述的方法，進一步包括，在執行所述保持功能之前：基于所述用戶的凝視將所述第一對象標識為所述保持功能的候選對象；以及向所述用戶顯示所述第一對象已被標識為所述保持操作的候選對象的指示。

9.如示例1至8中任一項所述的方法，進一步包括：向所述用戶顯示所述第一對象的邊界體，所述邊界體包圍所述第一對象并且具有多個透明或半透明的平坦表面；在所述邊界體的表面上在基于所述用戶的凝視方向的一位置處向所述用戶顯示光標，所述光標的位置表示所述保持功能的潛在拾取點；響應于所述用戶的凝視方向的改變，致使所述光標對于所述用戶看上去跨所述邊界體的兩個或更多個表面移動；以及響應于用于觸發所述保持功能的用戶輸入，發起所述保持功能并根據所述光標在所述邊界體上的當前位置對所述第一對象重新取向。

10.一種可視化設備，包括：具有顯示區域的顯示設備；跟蹤所述用戶的凝視方向的眼睛跟蹤子系統；以及操作地耦合到所述顯示設備和所述眼睛跟蹤子系統的處理器電路，并且被配置成致使所述可視化設備：致使所述顯示區域向所述用戶顯示增強現實環境，所述增強現實環境包括多個虛擬三維(3d)對象以及3d物理空間的現實世界視圖；從所述眼睛跟蹤子系統接收指示所述用戶的凝視方向的輸入；以及基于所述用戶的凝視方向確定用戶選擇所述虛擬3d對象中的一個作為咬合功能的目標對象的期望，所述咬合功能是致使所述被保持對象移動到所述目標對象的表面上的一位置的操作。

11.如示例10所述的可視化設備，其中確定所述用戶將所述虛擬3d對象中的所述的那個定為咬合功能的目標的期望進一步基于以下的至少之一：所述被保持對象和候選目標對象之間在大小方面的相似性；所述被保持對象和候選目標對象之間總體形狀方面的相似性；或者所述被保持對象的表面和候選目標對象的表面之間形狀方面的相似性。

12.如示例10或示例11所述的可視化設備，其中所述處理器電路被進一步配置成執行保持功能，所述保持功能包括顯示所述被保持的對象，使得所述被保持的對象對于所述用戶看上去響應于來自所述用戶的第一輸入而被搬運通過所述3d物理空間。

13.一種如示例10到12中的任一項所述的可視化設備，其中所述第一輸入包括所述用戶的凝視方向的改變。

14.一種如示例10到13中的任一項所述的可視化設備，其中所述處理器電路被進一步配置成基于以下的至少之一來檢測用戶想要觸發所述咬合操作：所述用戶的姿勢、所述用戶的凝視或所述用戶的話語。

15.一種如示例10到14中的任一項所述的可視化設備，其中所述處理器電路被進一步配置成通過執行球體投影操作來為所述咬合功能確定所述目標對象上的目標位置。

16.一種如示例10到15中的任一項所述的可視化設備，其中所述處理器電路被進一步配置成響應于標識所述目標對象，響應于所述用戶的凝視方向的變化，致使所述被保持對象看上去沿所述目標對象的表面滑動。

17.如示例10至16中任一項所述的可視化設備，其中所述處理器電路被進一步配置成，在執行所述保持功能之前：

基于所述用戶的凝視將所述多個虛擬3d對象中的第一對象標識為所述保持功能的候選對象；

致使所述顯示設備向所述用戶顯示所述候選對象的邊界體，所述邊界體具有多個透明或半透明的平坦表面；

致使所述顯示設備在所述邊界體的表面上在基于所述用戶的凝視方向的一位置處向所述用戶顯示光標，所述光標的位置表示候選對象上針對所述保持功能的潛在拾取點；

響應于所述用戶的凝視方向的改變，致使所述光標對于所述用戶看上去跨所述邊界體的兩個或更多個表面移動；以及

響應于用于觸發所述保持功能的用戶輸入，發起所述保持功能并根據所述光標在所述邊界體上的當前位置對所述候選對象重新取向，使得所述候選對象變成所述被保持對象。

18.一種頭戴式可視化設備，包括：頭部配件，所述可視化設備通過所述頭部配件安裝到用戶的頭部；耦合到所述頭部配件并且具有顯示區域的顯示設備；跟蹤所述用戶的凝視方向的眼睛跟蹤子系統；以及操作地耦合到所述顯示設備和所述眼睛跟蹤子系統的處理器，并且被配置成致使所述可視化設備：

致使所述顯示設備在所述顯示區域上將多個虛擬三維(3d)對象疊放3d物理空間的現實世界實時視圖上；執行保持功能，所述保持功能包括將所述多個虛擬3d對象中的第一對象顯示在所述顯示區域上，使得所述第一對象看上去要響應于來自所述用戶的第一輸入被搬運通過所述3d物理空間，其中所述第一輸入包括所述用戶的凝視方向的改變；以及基于檢測到的所述用戶的凝視被標識為咬合功能的目標對象的所述多個虛擬3d對象中的第二對象，所述咬合功能是致使所述第一對象移動到所述目標對象的表面上的一位置的操作。

19.一種如示例18所述的頭戴式可視化設備，其中標識所述目標對象進一步基于以下的至少之一：所述第一對象和候選目標對象之間大小方面的相似性；所述第一對象和候選目標對象之間總體形狀方面的相似性；或者所述第一對象的表面和候選目標對象的表面之間形狀方面的相似性。

20.如示例18或19所述的頭戴式可視化設備，其中所述處理器被進一步配置成，在執行所述保持功能之前：基于所述用戶的凝視將所述多個虛擬3d對象中的第一對象標識為所述保持功能的候選對象；致使所述顯示設備向所述用戶顯示所述第一對象的邊界體，所述邊界體具有多個透明或半透明的平坦表面；致使所述顯示設備在所述邊界體的表面上在基于所述用戶的凝視方向的一位置處向所述用戶顯示光標，所述光標的位置表示所述第一對象上用于所述保持功能的潛在拾取點；響應于所述用戶的凝視方向的改變，致使所述光標對于所述用戶看上去跨所述邊界體的兩個或更多個表面移動；以及響應于用于觸發所述保持功能的用戶輸入，發起所述保持功能并根據所述光標在所述邊界體上的當前位置對所述第一對象重新取向。

21.一種可視化設備，包括：用于在所述可視化設備的顯示區域上向所述可視化設備的用戶顯示疊放在三維(3d)物理空間的現實世界視圖之上的多個虛擬3d對象的裝置；用于執行保持功能的裝置，所述保持功能包括將所述多個虛擬3d對象中的第一對象顯示在所述顯示區域上，使得所述第一對象看上去要響應于來自所述用戶的第一輸入移動通過所述3d物理空間；以及用于基于檢測到的所述用戶的凝視將所述多個虛擬3d對象中的第二對象標識為咬合功能的目標對象的裝置，所述咬合功能是致使所述第一對象移動到所述目標對象的表面上的一位置的操作。

2.如示例1所述的可視化設備，其中所述第一輸入包括所述用戶的凝視方向的改變。

3.如示例1或示例2所述的可視化設備，其中標識所述目標對象進一步基于以下的至少之一：所述第一對象和候選目標對象之間大小方面的相似性；所述第一對象和候選目標對象之間總體形狀方面的相似性；所述第一對象的表面和候選目標對象的表面之間形狀方面的相似性。

4.如示例1至3中任一項所述的可視化設備，進一步包括：用于基于以下的至少之一，檢測用戶想要觸發所述咬合操作的裝置：所述用戶的姿勢、所述用戶的凝視或所述用戶的話語；以及通過在所述可視化設備的顯示區域上顯示所述第一對象使得所述第一對象看上去移動到所述目標對象的表面上的目標位置來執行所述咬合操作。

5.如示例1至4中任一項所述的可視化設備，進一步包括：用于通過執行球體投射操作來為所述咬合功能確定所述目標對象上的目標位置的裝置。

6.如示例1至5中任一項所述的可視化設備，進一步包括：用于響應于標識所述目標對象，響應于所述用戶的凝視方向的變化，致使所述第一對象看上去沿所述目標對象的表面滑動的裝置。

7.如示例1至6中任一項所述的可視化設備，進一步包括：用于響應于所述用戶的凝視方向的變化，致使所述第一對象看上去跨所述目標對象的多個相鄰的、非平行表面滑動的裝置。

8.如示例1至7中任一項所述的可視化設備，進一步包括：用于在執行所述保持功能之前基于所述用戶的凝視將所述第一對象標識為所述保持功能的候選對象的裝置；以及用于向所述用戶顯示所述第一對象已被標識為所述保持操作的候選對象的指示的裝置。

9.如示例1至8中任一項所述的可視化設備，進一步包括：用于向所述用戶顯示所述第一對象的邊界體的裝置，所述邊界體包圍所述第一對象并且具有多個透明或半透明的平坦表面；用于在所述邊界體的表面上在基于所述用戶的凝視方向的一位置處向所述用戶顯示光標的裝置，所述光標的位置表示所述保持功能的潛在拾取點；用于響應于所述用戶的凝視方向的改變，致使所述光標對于所述用戶看上去跨所述邊界體的兩個或更多個表面移動的裝置；以及用于響應于用于觸發所述保持功能的用戶輸入，發起所述保持功能并根據所述光標在所述邊界體上的當前位置對所述第一對象重新取向的裝置。

如本領域普通技術人員顯而意見的，以上描述的特征和功能中的任意或全部可彼此組合，除了被以其它方式在上文中言明或者任何這樣的實施例可能因為其功能或結構而不兼容。除了與物理可能性相違背，設想了(1)本文描述的方法/步驟可以任意順序和/或以任意組合來執行，并且(2)各個實施例的組件可以任意方式組合。

盡管用結構特征和/或動作專用的語言描述了本主題，但可以理解，所附權利要求書中定義的主題不必限于上述具體特征或動作。相反，上述特定特征和動作是作為實現權利要求書的示例而公開的，并且其他等價特征和動作旨在處于權利要求書的范圍內。