背景技術：

1、擴展現實(xr)系統諸如混合現實(mr)或增強現實(ar)系統將計算機生成的信息(稱為虛擬內容)與真實世界圖像或真實世界視圖相結合，以增強或增加用戶對世界的認識。因此，可利用xr系統為多個應用提供交互式用戶體驗，諸如將虛擬內容添加到觀看者所處環境的實時視圖中的應用、與虛擬訓練環境交互的應用、游戲應用、遠程控制無人機或其他機械系統的應用、觀看數字媒體內容的應用、與因特網交互的應用等。

技術實現思路

1、描述了用于在設備(例如，頭戴式設備(hmd)，包括但不限于在擴展現實(xr)應用和系統中使用的hmd)的冷啟動之后用于凝視交互的合成凝視登記的方法和裝置的各種實施方案。hmd可包括可穿戴設備，諸如頭戴式耳機、頭盔、護目鏡或眼鏡。xr系統可包括hmd，該hmd可包括一個或多個相機，該一個或多個相機可用于捕獲用戶環境的靜態圖像或視頻幀。該hmd可包括定位在眼睛前方的透鏡，穿戴者可透過這些透鏡觀看環境。在xr系統中，虛擬內容可顯示在這些透鏡上或投影到這些透鏡上，以使虛擬內容對穿戴者可見，同時仍能夠透過這些透鏡觀看真實環境。

2、在至少一些系統中，hmd可包括凝視跟蹤技術。在示例凝視跟蹤系統中，一個或多個紅外(ir)光源朝向用戶的眼睛發射ir光。ir光的一部分從眼睛反射并由眼睛跟蹤相機捕獲。由眼睛跟蹤相機捕獲的圖像可被輸入到閃光和瞳孔檢測過程，該閃光和瞳孔檢測過程例如由hmd的控制器的一個或多個處理器實現。該過程的結果被傳遞到凝視估計過程(該凝視估計過程例如由控制器的一個或多個處理器實現)以估計用戶的當前凝視點。這種凝視跟蹤方法可被稱為pccr(瞳孔中心角膜反射)跟蹤。

3、在此類系統中，在初始校準或登記過程期間，可根據如上所述捕獲的用戶眼睛的一個或多個圖像生成眼睛的多維個性化模型。在設備的使用期間，可以在各種算法中(例如，在凝視估計過程中)使用該個性化眼睛模型。該個性化眼睛模型可以包括信息諸如角膜表面模型、虹膜和瞳孔模型、眼睛中心、入射光瞳、瞳孔軸或光軸(穿過幾何眼睛中心和入射光瞳的矢量)以及光軸與視軸之間的卡帕(kappa)角。

4、然而，個性化眼睛模型可以是隱私敏感信息和安全敏感信息，并且因此當用戶沒有登錄到設備時，可以作為加密數據存儲。因此，在設備的冷啟動之后，由于安全和隱私的考慮，包括個性化眼睛模型的凝視登記數據是不可訪問的，直到用戶使用密碼或其他安全登錄方法登錄，在此之后，安全數據可以被加密。然而，輸入密碼以登錄可經由基于凝視的界面來執行。因此，為了在登錄之前針對凝視交互來校準設備，由于個性化眼睛模型不可用，所以需要隱私不敏感的凝視校準模型來啟用或改進用于用戶登錄的基于凝視的密碼交互。可以被稱為屏幕空間模型的該凝視校準模型可以在使用合成凝視的凝視登記過程中被估計。

5、在生成屏幕空間模型的登記方法的實施方案中，n維個性化眼睛模型被用于在真實眼睛姿態gg處生成合成凝視特征。然后，使用平均眼睛模型(例如，從眼睛的多個示例的特征生成的眼睛模型，其可以未加密地存儲在設備上，因為其不是隱私敏感的或安全敏感的)從合成凝視特征估計對應的合成凝視姿態gs。然后在gg和gs之間應用線性回歸以生成凝視校正函數，該凝視校正函數可以是二維屏幕空間模型。凝視校正函數基本上包含表示顯示器處的受測眼睛的合成凝視gs與顯示器處的平均眼睛模型的真實凝視gg之間的差異的數據。

6、凝視校正函數不包含用戶的安全敏感信息和隱私敏感信息。此外，由于該方法將超維空間(n維個性化眼睛模型)折疊成兩個維度(凝視校正函數)，個性化眼睛模型不能從凝視校正函數中恢復，并且因此凝視校正函數可以未加密地存儲，并且可在登錄之前的設備冷啟動期間使用。

7、為了生成凝視校正函數，用戶不必查看真實眼睛點來產生生成模型所需的眼睛特征。個性化眼睛模型可以用于生成映射到顯示屏上的眼睛姿態gg。可以使用平均眼睛模型從合成凝視特征生成對應的眼睛姿態gs。然后使用線性回歸來確定gg和gs之間的差異，這生成基于回歸的模型(凝視校正函數)。

8、在登記過程中生成凝視校正函數之后，在設備冷啟動時，凝視校正函數可以被訪問(因為其被未加密地存儲)并且與平均眼睛模型一起使用以在登錄之前改善基于凝視的交互，例如密碼輸入。在成功登錄之后，個性化眼睛模型可以被解密并且用于基于凝視的交互和其他基于凝視的功能。

9、在一些實施方案中，系統可以檢測到凝視校正函數可能需要更新或補充。例如，系統可以檢測到用戶正在不同地佩戴設備，或者正在佩戴隱形眼鏡，或者已經向設備添加額外的透鏡(例如，處方透鏡)。在這些情況下，可以生成新的凝視校正函數(需注意，也可以相應地更新個性化眼睛模型，并且可以使用更新的眼睛模型來生成凝視校正函數)。舊的凝視校正函數可以由新的模型代替，或者另選地，可以存儲兩個模型。因此，在一些實施方案中，可以存儲多個凝視校正函數以便在冷啟動時進行選擇，并且該系統可以基于一個或多個標準從它們之中選擇一個最佳模型以供使用。

技術特征：

1.一種設備，所述設備包括：

2.根據權利要求1所述的設備，其中為了從所述真實眼睛姿態和所述合成眼睛姿態生成凝視校正函數，將線性回歸技術應用于所述真實眼睛姿態和所述合成眼睛姿態。

3.根據權利要求1所述的設備，其中所述凝視校正函數是二維屏幕空間模型。

4.根據權利要求1所述的設備，其中所述控制器被進一步配置為：

5.根據權利要求4所述的設備，其中所述控制器被進一步配置為在所述設備冷啟動時，讀取所存儲的凝視校正函數并且將所述凝視校正函數應用于平均眼睛模型以執行基于凝視的交互。

6.根據權利要求5所述的設備，其中所述基于凝視的交互包括輸入密碼以登錄到所述設備。

7.根據權利要求6所述的設備，其中所述控制器被進一步配置為在成功登錄之后：

8.根據權利要求6所述的設備，其中所述控制器被進一步配置為在成功登錄之后：

9.根據權利要求1所述的設備，其中所述控制器被進一步配置為：

10.根據權利要求1所述的設備，其中所述設備是擴展現實(xr)系統的頭戴式設備(hmd)。

11.一種方法，所述方法包括：

12.根據權利要求11所述的方法，其中從所述真實眼睛姿態和所述合成眼睛姿態生成凝視校正函數包括將線性回歸技術應用于所述真實眼睛姿態和所述合成眼睛姿態。

13.根據權利要求12所述的方法，還包括：

14.根據權利要求13所述的方法，所述方法還包括在所述設備冷啟動時，將所述凝視校正函數應用于平均眼睛模型以執行基于凝視的交互，其中所述基于凝視的交互包括輸入密碼以登錄到所述設備。

15.根據權利要求14所述的方法，所述方法還包括在成功登錄之后：

16.根據權利要求14所述的方法，所述方法還包括在成功登錄之后：

17.根據權利要求11所述的方法，所述方法還包括：

18.根據權利要求11所述的方法，其中所述控制器、所述顯示器和所述面向眼睛的相機是擴展現實(xr)系統的頭戴式設備(hmd)的部件。

19.一種系統，所述系統包括：

20.根據權利要求19所述的系統，其中所述控制器被進一步配置為在所述hmd冷啟動時，讀取所存儲的凝視校正函數并且將所述凝視校正函數應用于平均眼睛模型以執行基于凝視的交互，其中所述基于凝視的交互包括輸入密碼以登錄到所述設備。

技術總結
使用個性化眼睛模型來在真實眼睛姿態G<subgt;g</subgt;處生成合成凝視特征。使用平均眼睛模型從該合成凝視特征估計對應的合成凝視姿態G<subgt;s</subgt;。在G<subgt;g</subgt;和G<subgt;s</subgt;之間應用線性回歸以生成凝視校正函數。該凝視校正函數表示該顯示器處的受測眼睛的合成凝視G<subgt;s</subgt;與該顯示器處的平均眼睛模型的真實凝視G<subgt;g</subgt;之間的差異，但是不包含安全敏感信息或隱私敏感信息。此外，個性化眼睛模型不能從凝視校正函數恢復，并且因此凝視校正函數能夠被未加密地存儲并且能夠供在登錄之前的設備的冷啟動期間使用。在該設備冷啟動時，凝視校正函數能夠被訪問并且與平均眼睛模型一起使用以改善基于凝視的交互。

技術研發人員：R·海德科朗,高華,秦浩,T·森格勞布
受保護的技術使用者：蘋果公司
技術研發日：
技術公布日：2025/4/24