視頻分析設備、視頻分析方法和注視點顯示系統的制作方法
【專利摘要】視頻獲取單元(310)從與用戶頭部的運動相關聯地移動的第一光源(220)以及具有相對于用戶當作觀測目標的視頻呈現單元(500)不變的位置的第二光源(400)這兩個光源，獲取包括從照射到用戶的眼球之一的每個各自的光反射的光的區域的視頻，所述視頻是與用戶頭部的運動相關聯地移動的圖像捕獲元件(210)進行圖像捕獲的。頭部運動估計單元(320)基于在視頻獲取單元(310)已經獲取的視頻中第二光源(400)的反射光相對于第一光源(220)的反射光的相對位置，估計用戶頭部的運動。
【專利說明】視頻分析設備、視頻分析方法和注視點顯示系統

【技術領域】
[0001] 本發明涉及視頻分析設備、視頻分析方法和注視點顯示系統。

【背景技術】
[0002] 注視點（Point-Of-Gaze ;P0G)的估計技術已經被研究了很長時間，并且應用于涉 及與計算機的對話的許多領域，諸如對計算機的信息輸入、以及觀測用戶對網絡瀏覽器的 關注目標。為了實現高精度注視點估計，考慮到一些情況下的光學折射，執行角膜的曲率中 心以及瞳孔中心的測量。
[0003] 另一方面，在將注視點估計技術應用于諸如例如游戲的應用的情況下，需要可以 通過舒服的操作容易地執行注視點控制，而不是總是精確估計注視點。換句話說，期望在視 線注視在目標上的情況下光標可以與目標精確對準的技術。


【發明內容】

[0004] 要解決的技術問題
[0005] 上述的考慮光學折射來測量角膜的曲率中心和瞳孔中心的注視點估計技術具有 高精度。然而，需要相對高的計算能力，因此可能導致延遲。
[0006] 有鑒于上述問題做出了本發明，并且本發明目的之一在于提供一種技術，其使得 能夠控制注視點而不引入計算成本。
[0007] 解決問題的技術方案
[0008] 為了解決上述問題，本發明的一具體方面是一種視頻分析設備。所述設備包括： 視頻獲取器，獲取通過與用戶頭部運動相關聯地移動的成像元件對一區域成像而獲得的視 頻，所述區域具有從與用戶的頭部的運動相關聯地移動的第一光源以及其相對位置關于作 為用戶的觀測目標的視頻呈現器不變的第二光源這兩個光源照射到用戶的任一眼球的光 束的各自的反射光；以及頭部運動估計器，基于在通過視頻獲取器獲取的視頻中第二光源 的反射光相對于第一光源的反射光的相對位置，估計用戶頭部的運動。
[0009] 本發明的另一方面是一種視頻分析方法。所述方法使得處理器執行以下步驟：獲 取通過與用戶頭部運動相關聯地移動的成像元件對一區域成像而獲得的視頻，所述區域具 有從與用戶的頭部的運動相關聯地移動的第一光源以及其相對位置關于作為用戶的觀測 目標的視頻呈現器不變的第二光源這兩個光源照射到用戶的任一眼球的光束的各自的反 射光束；以及基于在所述視頻中兩個反射光束的相對位置，估計用戶頭部的運動。
[0010] 本發明的另一方面是一種注視點顯示系統。所述系統包括：頭部安裝的成像元件， 其是對用戶的任一眼球成像并與用戶頭部的運動相關聯地移動的成像元件；第一光源，其 是用光照射通過成像元件成像的眼球并與成像元件的運動相關聯地移動的光源；作為用戶 的觀測目標的視頻呈現器；第二光源，其是用光照射通過成像元件成像的眼球并附接到視 頻呈現器的光源。所述系統還包括：頭部運動估計器，基于在通過成像元件的成像獲得的視 頻中第二光源的反射光相對于第一光源的反射光的相對位置，估計用戶頭部的運動；眼球 運動估計器，基于通過成像元件的成像獲得的視頻中的第一光源的反射光的絕對位置，估 計通過成像元件成像的眼球的運動；注視位置獲取器，基于所估計的用戶的頭部的運動和 眼球的運動，獲取用戶的注視位置；以及光標生成器，生成在視頻呈現器的顯示區域中與通 過注視位置獲取器獲取的注視位置相對應的位置處顯示的光標圖像。
[0011] 本發明的另一方面是一種程序，使得計算機實現上述方法的各個步驟。
[0012] 此程序可以作為嵌入在裝置中的固件的一部分而提供，用于執行諸如視頻和音頻 解碼器的硬件資源的基本控制。此固件存儲在裝置的例如ROM(只讀存儲器）中或諸如閃 存的半導體存儲器中。為了提供此固件或更新固件的一部分，可以提供記錄了此程序的計 算機可讀記錄介質，或可以通過通信線路傳輸此程序。
[0013] 作為本發明的各方面，通過在方法、設備、系統、計算機程序、數據結構、記錄介質 等之間轉換本發明的上面的構成元件和表述的任意組合而獲得的也是有效的。
[0014] 發明的有利效果
[0015] 根據本發明，可以提供能夠進行注視點的控制而不引入計算成本的技術。

【專利附圖】

【附圖說明】
[0016] 圖1是示出使用根據實施例的角膜反射的視線跟蹤系統的系統圖。
[0017] 圖2是示出與根據本實施例的方法A-1和A-2中的屏幕上的各個Pgaze對應的 的坐標的圖。
[0018] 圖3是示出根據本實施例的方法C中的P。。^^和h的相對位置的坐標的圖。 [0019] 圖4是示出用于比較根據本實施例的各個方法的性能的實驗系統的圖。
[0020] 圖5是示出根據實施例的每個階段的校準過程和校準結果的圖。
[0021] 圖6是示出當受試者跟蹤屏幕上的九個標記時的估計注視點的圖。
[0022] 圖7是示出當受試者使得光標與十個固定標記逐一重疊時的軌跡的圖。
[0023] 圖8是示出用于評估在游戲使用的情況下根據實施例的各個方法的性能的應用 的圖。
[0024] 圖9是示出在游戲使用的情況下根據實施例的各個方法的性能的評估的結果的 圖。
[0025] 圖10是示出在游戲使用的情況下根據實施例的各個方法的性能的評估的結果的 另一圖。
[0026] 圖11是示意性示出根據實施例的注視點顯示系統的配置的圖。
[0027] 圖12是示意性示出根據實施例的頭部運動估計器和眼球運動估計器的內部配置 的圖。
[0028] 圖13 (a)到（d)是例示第一光源220的反射光的位置P。。^^與第二光源400的反 射光的位置之間的位置關系的圖。
[0029] 圖14是示出根據實施例的注視點顯示系統中的處理流程的流程圖。

【具體實施方式】
[0030] 下面，將基于優選實施例說明本發明。首先，將描述作為實施例的基礎的理論，作 為前提技術，然后，將說明具體實施例。
[0031] (前提技術）
[0032] I ?序語
[0033] 注視點的估計技術已經被研究了很長時間，并且應用于涉及與計算機的對話的許 多領域，諸如對計算機的信息輸入、以及觀測人類對網絡瀏覽器的關注目標。在幾乎所有情 況下，最主要的關注之一是高精度注視點估計。為了實現此目的，考慮到一些情況下的光學 折射，執行角膜的曲率中心以及瞳孔中心的測量。盡管此方法具有非常高的精度，但是需要 相對高的計算能力，并因此導致延遲。在游戲中，最小化輸入數據的延遲是最重要的需求之 一。因此，應當盡可能避免這種復雜的圖像處理。
[0034] 另一方面，當考慮到游戲中視線估計的有效使用時，首要考慮的事情是對于第一 人稱射擊（first person shooter，FPS)的應用。如果可以實現完全精確的視線估計，貝IJ可 以立即應用于此。然而，實際上，由于許多因素，估計的注視點趨于容易從實際的注視點偏 離。在這樣的情況下，將視線對準于目標的重要性在于，可以通過舒服的操作容易地執行注 視點控制，而不是總是精確地估計注視點。換句話說，在視線處于目標上的情況下光標可以 精確對準于目標上的能力是非常重要的。順便提及，從游戲創建的角度，如果頭部的運動和 視線的運動可以分開表達，在某些情況下可以很好地表達真實世界中存在的感覺。與頭部 的運動相關聯地搖攝背景圖像、并且通過視線的運動移動光標的情況是其典型示例。
[0035] II ?相關方法
[0036] 在注視點估計中，通常利用角膜表面上的光源反射。圖1是使用角膜反射的視線 跟蹤系統的系統圖。在此圖中，示出兩個紅外光源。一個存在于屏幕上，另一個安裝于頭 上。在許多研究中，它們中的任一個用于注視點估計。如圖1中的圖像可見，屏幕上的光源 的光強相對高（兩列上排列了三個光源的配置），并且具有相對低輸出功率的光源布置為 緊挨鼻尖。選擇前者的原因在于兩種光源的反射的有效區分，選擇后者的原因在于考慮到 對于眼睛的不利影響。此外，攝像機安裝于頭上，以便用較高分辨率獲得眼睛的圖像。如此 配置，使得可以通過使用標準的USB 2. 0相機并移除紅外遮光片來高效檢測紅外反射。
[0037] 通過使用此系統，可以通過以下表達式（1)表示從角膜反射點到注視點Pgaz6的坐標的映射變換。
[0038] Pgaze = M ? Pcor (1)
[0039] 在表達式（1)中，M是映射變換矩陣。在標準情況下，通過校準處理計算M。在此 處理中，受試者注視屏幕上的若干特定的定點（通常，四角和中心），并且各自測量與其相 關聯的角膜反射點的坐標?；谕ㄟ^表達式（1)表示的此關系，通過使用如下所示的兩個 簡單的視線估計技術仿真視線估計中的頭部運動的影響。在此仿真中，受試者注視遍布整 個屏幕并且以網格方式布置的九個標記，如圖1所示。此外，受試者在每個旋轉方向上將頭 部向左、向右、向上和向下旋轉10度。在表1中示出此仿真中使用的參數。
[0040] 表1仿真參數
[0041]

【權利要求】
1. 一種視頻分析設備，其特征在于，包括： 視頻獲取器，獲取通過與用戶頭部的運動相關聯地移動的成像元件對一區域成像而獲 得的視頻，所述區域具有從與用戶頭部的運動相關聯地移動的第一光源以及其相對位置關 于作為用戶的觀測目標的視頻呈現器不變的第二光源這兩個光源照射到用戶的任一眼球 的光束的各自的反射光；以及 頭部運動估計器，基于在通過視頻獲取器獲取的視頻中第二光源的反射光相對于第一 光源的反射光的相對位置，估計用戶頭部的運動。
2. 如權利要求1所述的視頻分析設備，其特征在于，還包括： 眼球運動估計器，基于通過成像元件的成像獲得的視頻中第一光源的反射光的絕對位 置，估計通過成像元件成像的眼球的運動；以及 注視位置獲取器，基于所估計的用戶頭部的運動和眼球的運動，獲取用戶的注視位置。
3. 如權利要求2所述的視頻分析設備，其特征在于， 所述眼球運動估計器具有： 第一位置坐標獲取器，獲取通過成像元件的成像獲得的視頻中第一光源的反射光的位 置坐標；以及 第一變換器，將通過第一位置坐標獲取器獲取的位置坐標乘以預定第一變換矩陣，以 將所述位置坐標變換為作為用戶的觀測目標的視頻呈現器的顯示區域中的位置坐標；并且 所述第一變換器所使用的第一變換矩陣是當用戶在固定頭部的運動的情況下通過移 動眼球而移動顯示區域中的注視位置時、基于第一光源的反射光的位置坐標和視頻呈現器 的顯示區域中注視位置的絕對位置坐標而預先計算的矩陣。
4. 如權利要求3所述的視頻分析設備，其特征在于， 所述頭部運動估計器具有： 第二位置坐標獲取器，獲取通過成像元件的成像獲得的視頻中第二光源的反射光的位 置坐標； 位置矢量獲取器，獲取其起點是通過第一位置坐標獲取器獲取的位置坐標、其終點是 通過第二位置坐標獲取器獲取的位置坐標的位置矢量；以及 第二變換器，將通過位置矢量獲取器獲取的位置矢量變換為作為用戶的觀測目標的視 頻呈現器的顯示區域中的位置坐標；并且 所述第二變換器通過使用第二變換矩陣將位置矢量變換為視頻呈現器的顯示區域中 的位置坐標，所述第二變換矩陣基于當用戶在固定眼球的運動的情況下通過移動頭部而移 動顯示區域中的注視位置時、通過位置矢量獲取器獲取的位置矢量和視頻呈現器的顯示區 域中注視位置的絕對位置坐標而預先計算。
5. 如權利要求4所述的視頻分析設備，其特征在于， 所述注視位置獲取器將通過第一變換器的變換得到的位置坐標與通過第二變換器的 變換得到的位置坐標相加，以獲取用戶的注視位置。
6. 如權利要求1到5的任一所述的視頻分析設備，其特征在于，所述第二光源附接到作 為用戶的觀測目標的視頻呈現器。
7. -種視頻分析方法，其特征在于，使得處理器執行以下步驟： 獲取通過與用戶頭部的運動相關聯地移動的成像元件對一區域成像而獲得的視頻，所 述區域包括從與用戶頭部的運動相關聯地移動的第一光源以及其相對位置關于作為用戶 的觀測目標的視頻呈現器不變的第二光源這兩個光源照射到用戶的任一眼球的光束的各 自的反射光束；以及 基于在所述視頻中兩個反射光束的相對位置，估計用戶頭部的運動。
8. -種程序，其特征在于，使得計算機實現以下功能： 獲取通過與用戶頭部的運動相關聯地移動的成像元件對一區域成像而獲得的視頻，所 述區域包括從與用戶頭部的運動相關聯地移動的第一光源以及其相對位置關于作為用戶 的觀測目標的視頻呈現器不變的第二光源這兩個光源照射到用戶的任一眼球的光束的各 自的反射光束；以及 將所獲取的視頻中兩個反射光束的相對位置變換為用戶頭部的運動矢量的估計值。
9. 一種注視點顯示系統，其特征在于，包括： 頭部安裝的成像元件，其是對用戶的任一眼球成像并與用戶頭部的運動相關聯地移動 的成像元件； 第一光源，其是用光照射通過成像元件成像的眼球并與成像元件的運動相關聯地移動 的光源； 作為用戶觀測目標的視頻呈現器； 第二光源，其是用光照射通過成像元件成像的眼球并附接到視頻呈現器的光源； 頭部運動估計器，基于在通過成像元件的成像獲得的視頻中第二光源的反射光相對于 第一光源的反射光的相對位置，估計用戶頭部的運動； 眼球運動估計器，在通過成像元件的成像獲得的視頻中第一光源的反射光的絕對位 置，估計通過成像元件成像的眼球的運動； 注視位置獲取器，基于所估計的用戶頭部的運動和眼球的運動，獲取用戶的注視位置； 以及 光標生成器，生成顯示在視頻呈現器的顯示區域中與通過注視位置獲取器獲取的注視 位置相對應的位置處的光標圖像。
【文檔編號】A63F13/20GK104302226SQ201380025947
【公開日】2015年1月21日 申請日期:2013年4月11日 優先權日:2012年5月25日
【發明者】大貫善數 申請人:索尼電腦娛樂公司