用于基于凝視的媒體選擇和編輯的系統和方法
【專利摘要】本文呈現可以在可穿戴裝置中實施的系統。所述系統經設計以允許用戶編輯用所述可穿戴裝置捕獲的媒體圖像。所述系統采用眼睛跟蹤數據來控制各種編輯功能，無論是在捕獲時間之前、在捕獲時間期間或在捕獲時間之后。還呈現用于確定用戶或觀看者可能較多關注媒體圖像的哪些區段或區的方法。所述方法采用眼睛跟蹤數據來對所捕獲媒體指派突出性。在所述系統和所述方法兩者中，眼睛跟蹤數據可以與來自額外傳感器的數據組合以便增強操作。
【專利說明】
用于基于凝視的媒體選擇和編輯的系統和方法
技術領域
[0001]本發明大體上涉及用于監視人眼的設備、系統和方法，例如用于基于眼睛、眼瞼和/或人的單眼或雙眼的其它部分的移動而監視疲勞、有目的地通信和/或控制裝置。此外，本發明更具體來說涉及允許用戶編輯用可穿戴裝置捕獲的媒體圖像的系統和方法。所述系統采用眼睛跟蹤子系統，所述眼睛跟蹤子系統將參考系投影到眼睛上且使投影的參考系與顯示器的第二參考系關聯以用于捕獲用戶的至少一只眼睛的眼睛跟蹤數據來控制各種編輯功能，無論是在捕獲時間之前、捕獲時間期間或在捕獲時間之后。
【背景技術】
[0002]隨著便攜式電子裝置的激增且變得越來越強力且有能力，它們常用的特征已經轉換。隨著口袋大小的裝置從純通信裝置轉變為內容消費裝置，變為內容創建裝置，用戶也已經朝向龐大的內容創建者轉變。估計曾經捕獲的所有照片中的百分之十是在2012年拍攝。類似的創建速率適用于視頻錄像。例如Go-Pro相機和Google眼鏡等頭部安裝式視頻捕獲裝置的出現加速了在用戶的一般視野中捕獲的視頻。很遺憾，此過剩的圖像捕獲尚未提高所創建內容的質量。尤其對于視頻錄像，檢查、處理、編輯和/或導出所關注剪輯所需的時間與所記錄的錄像的量成比例。因此，如果所捕獲的錄像的量增加，那么提取有價值的內容所需的時間量以大致線性型式增加。
[0003]對于本申請內的所有公開和權利要求，將“媒體圖像”定義為視頻圖像和靜止圖像中的至少一者。
[0004]對于任何類型的媒體圖像，內容創建者的典型目標是為特定觀眾產生合意的內容。“合意的”的定義可以基于觀眾而改變。特定關于視頻圖像，用于選擇和編輯視頻圖像的一種方法或一組準則可能適用于一個觀眾，但可能不適用于另一觀眾。此外，在時間上接近其它圖像捕獲的圖像出于不同原因可能是合意的。合意性和相關性的這些各種具體化可以簡單地稱為“突出性”。
[0005]出于任何數目的原因可以將媒體圖像視為突出的:其可以含有著名的事件，其可以包含特定的朋友或親戚，其可以含有其他人在社交媒體渠道中視為關注的事情，其可以是在特定位置捕獲，和/或其可以含有用戶希望捕獲的情感。假定將眼睛跟蹤添加到其它傳感器允許用戶在此過程期間進行某一水平的分析和控制，這在沒有出現眼睛跟蹤的情況下將是不可用的。
[0006]當討論詞語“編輯”既定的范圍時需要謹慎考慮。在典型的照片和視頻應用程序中，“編輯”通常意味著對圖像的操縱，或者在視頻的情況下，還包含將經修整的圖像再布置為更合意的次序的過程。“編輯”多次不包含選擇或標記將對其執行另外步驟的圖像的步驟，即使那些步驟會被正式地視為編輯過程的部分也是如此。然而，為了本申請內的公開和權利要求的目的，“編輯”應包含選擇和標記步驟。此外，在數字媒體創建之前的時期中，所有編輯(包含選擇和標記)必然相當晚于捕獲時間而發生。然而，視頻和靜止相機中現在包含允許編輯過程緊接在捕獲時間之后或“在相機中”發生的特征。本文的公開描述了編輯過程可以如何轉換為包含在捕獲期間或甚至捕獲之前的時間。然而，如此做法在實施本文描述的系統和方法之前尚未實際上可行。
[0007]很遺憾，對于許多用戶，將即時捕獲的視頻圖像轉換為可消費的完成視頻所需的時間承諾是對過程的終端障礙。在遇到此障礙之后存在兩種常見結果。第一個是整個過程被放棄，且不曾有視頻圖像與觀眾共享。第二個常見結果是避開了所有編輯，且極低質量和相關性的圖像與觀眾共享。對于創建者且對于觀眾，這兩個結果都不是合意的。對于創建者，知道太難以將視頻編輯為可呈現的形式后，這可能減少他或她記錄視頻的意愿。對于消費者，觀看差的視頻圖像為他們提供負面增強，且可能使他們在未來不想觀看視頻圖像。
[0008]隨著技術進步，用戶可以攜帶來創建內容的裝置的形狀因數也已經轉換。內容創建裝置曾經不含有其它技術。接著智能電話和平板計算機變得能夠捕獲視頻，在先前不可想象的微型化的時期中展現。現在，頭部安裝式顯示器開始變為可以作為消費型裝置，表明可穿戴技術的轉換，這允許創建內容而不是僅記錄來自傳感器或別處的數據。此外，隱形眼鏡和人工視網膜是對人類視覺系統的可行增強。本文的系統和方法也適用于捕獲視頻、跟蹤眼睛方向和編輯突出視頻的這些模式，且被視為本發明的部分。由于用于通過眼睛跟蹤確定用戶的凝視的必要技術現在可以并入到可穿戴和植入式裝置中，因此眼睛變為用于裝置輸入和編輯的可行工具。

【發明內容】

[0009]雖然從下文呈現的說明書和權利要求書的詳盡閱讀中將得到本發明的最佳理解，但提供本
【發明內容】
以便使讀者了解本申請中描述的系統和方法的一些新的和有用的特征。當然，本
【發明內容】
不希望是本文的系統和方法的所有特征的完整陳述，也不希望以任何方式限制權利要求的廣度，所述權利要求是在本申請的詳細描述的末尾呈現。
[0010]本發明提供可以在可穿戴裝置中實施的系統和方法。所述系統經設計以允許用戶編輯用所述可穿戴裝置捕獲的媒體圖像。所述系統可采用眼睛跟蹤數據來控制各種編輯功能，無論是在捕獲時間之前、在捕獲時間期間或在捕獲時間之后。還呈現用于確定用戶或觀看者可能較多關注媒體圖像的哪些區段或區的方法。所述方法可采用眼睛跟蹤數據來對所捕獲媒體指派突出性。在所述系統和所述方法兩者中，眼睛跟蹤數據可以與來自額外傳感器的數據組合以便增強操作。
[0011]鑒于前述內容，本申請描述用于編輯媒體圖像的設備、系統和方法，其包括:可穿戴裝置;場景相機，其安裝于所述裝置上以使得所述場景相機捕獲用戶的周圍環境的媒體圖像；眼睛跟蹤子系統，其將參考系投影到眼睛上且使所述投影的參考系與顯示器的第二參考系關聯以用于捕獲用戶的至少一只眼睛的眼睛跟蹤數據；以及一個或多個處理器，其與所述場景相機和眼睛跟蹤子系統通信以用于至少部分地基于所述眼睛跟蹤數據而標記由所述場景相機捕獲的媒體圖像。
[0012]在另一實施例中，所述設備、系統和方法可以定量地評估由接近定位的可穿戴裝置確定的視頻圖像中的比較突出性，目的是從不同視點記錄相關事件，包含:多個可穿戴裝置，其經配置以由個別用戶穿戴，每一可穿戴裝置包含:安裝于其上的場景相機，使得所述場景相機捕獲個別用戶的周圍環境的媒體圖像;一個或多個傳感器；以及通信接口；服務器，其用于經由每一可穿戴裝置的通信接口與所述可穿戴裝置通信。
[0013]在再另一實施例中，提供一種用于選擇或編輯來自由用戶穿戴的可穿戴裝置的媒體圖像的方法，包含:使用所述可穿戴裝置上的場景相機捕獲所述用戶的周圍環境的媒體圖像;使用所述可穿戴裝置上的眼睛跟蹤子系統捕獲用戶的至少一只眼睛的眼睛跟蹤數據；以及至少部分地基于從所述眼睛跟蹤數據識別的至少一個眼睛事件的動作而進行選擇和編輯所述媒體圖像中的至少一者。
[0014]此處呈現的本發明的方面和應用在下文中在本發明的附圖和詳細描述中描述。除非具體說明，否則希望說明書和權利要求書中的詞語和短語被賦予其平常、普通且為適用領域的普通技術人員所習慣的意義。本發明人完全了解他們在需要時可以是他們自己的詞典編纂者。本發明人作為其自己的詞典編纂者明確地選擇在說明書和權利要求書中僅使用術語的平常和普通意義，除非他們清楚地另外陳述，且接著進一步明確闡述所述術語的“特殊”定義且解釋其如何不同于平常和普通意義。在沒有應用“特殊”定義的意圖的這些清楚陳述的情況下，本發明人的意圖和希望是將術語的簡單、平常和普通意義應用于說明書和權利要求書的解釋。
【附圖說明】
[0015]通過參考當結合以下說明性附圖考慮時的詳細描述可以得出本發明的更完整理解。在附圖中，相同參考標號貫穿附圖指代相同元件或動作。在附圖中說明本發明的當前示范性實施例，其中:
[0016]圖1是醫院的患者的透視圖，所述患者佩戴用于基于患者的眼睛和/或眼瞼的移動而監視患者的設備的實施例。
[0017]圖2是圖1的實施例的放大透視圖，包含檢測裝置和處理盒。
[0018]圖3是用于基于人的眼睛和/或眼瞼的移動而監視人的另一系統的透視圖。
[0019]圖4是圖3的框架上的相機的細節。
[0020]圖5A到51是可以用圖3的系統監視的若干參數的圖形顯示。
[0021 ]圖6是從圖3的框架上的相機輸出的視頻的細節。
[0022]圖7是示出用于處理來自五元件傳感器陣列的信號的電路的示范性實施例的示意圖。
[0023]圖8A和SB示出并入到飛行員頭盔中的用于監視眼睛移動的設備的另一實施例。
[0024]圖9是可以包含于圖BA和SB的設備中的相機的示意圖。
[0025]圖1OA和1B是圖形圖像，示出了來自多個相機的同時輸出，分別示出了人的眼睛張開和閉合。
[0026]圖1lA到IlC是圖形顯示，示出了正創建以識別瞳孔的周邊以促進監視眼睛移動的橢圓形圖形。
[0027]圖12A和12B是流程圖，示出了用于對穿戴用于監視人眼睛的移動的設備的人進行警覺測試的方法。
[0028]圖13是流程圖，示出了用于基于眼睛的移動而控制計算裝置的方法。
[0029]圖14是用于將光經皮傳輸到眼睛且檢測從眼睛的瞳孔退出的所發射光的設備的前視圖。
[0030]圖15是用于基于人的眼睛和/或眼瞼的移動而監視人的設備的又一實施例的透視圖。
[0031]圖16是示出圖15的設備獲取穿戴設備的人的眼睛的圖像的細節。
[0032]圖17示出可以包含于本文的系統和方法中的系統架構的示范性實施例。
[0033]圖18示出用于本文的系統和方法的架構的示范性實施例。
[0034]圖19是示出可用以選擇和/或編輯媒體圖像的示范性因素的流程圖。
[0035]圖20是示出用于共享媒體圖像的示范性過程的流程圖。
【具體實施方式】
[0036]轉到附圖，圖1示出了床12上的患者10佩戴用于檢測患者10的眼睛和/或眼瞼移動的檢測裝置30。檢測裝置30可以包含本文描述的任何生物傳感器裝置，其可用于監視眼睛的主動移動，例如用于有目的的通信，用于監視非主動眼睛移動，例如睡意或其它條件，和/或用于控制一個或多個電子裝置(未圖示)。檢測裝置30可以耦合到處理盒130，所述處理盒將檢測到的眼睛和/或眼瞼移動轉換為數據流、可理解的消息和/或其它信息，這些可以例如使用視頻顯示器50而傳送到醫療護理提供者40。
[0037]轉到圖2，示出了設備或系統14的示范性實施例，其包含可瞄準的且可聚焦的檢測裝置30，所述裝置可附接到常規的一副眼鏡20。眼鏡20包含附接到框架22的一對透鏡21，所述框架包含在透鏡21之間延伸的橋托24，以及承載耳承26的側部件或邊撐件25，以上全部是常規的。替代地，因為透鏡21可能不是必要的，所以框架22也可能不具有透鏡21。
[0038]檢測裝置30包含用于附接到側部件25中的一者的夾具或其它機構27，以及上面安裝有一個或多個發射體32和傳感器33(示出一個)的可調整臂31。發射體32和傳感器33成預定關系而安裝，使得發射體32可以朝向佩戴眼鏡20的人的眼睛300發射信號，且傳感器33可以檢測從眼睛300和眼瞼302的表面反射的信號。替代地，發射體32和傳感器33可以彼此鄰近而安裝。
[0039]在一個實施例中，發射體32和傳感器33例如在紅外范圍內分別產生和檢測連續或脈動的光，以最小化對佩戴者的正常視覺的分心或干擾。發射體32可以在預定頻率下以脈沖發射光，且傳感器33經配置以檢測處于預定頻率的光脈沖。此脈沖操作可以減少發射體32的能量消耗，和/或可以最小化對其它光源的干擾。
[0040]替代地，可以使用超出可見光譜或在可見光譜內的光(例如紫外光)的其它預定頻率范圍，或者例如無線電波、聲波等其它形式的能量。
[0041 ]處理盒130通過電纜34耦合到檢測裝置30，所述電纜在其中包含一個或多個電線(未圖示)。處理盒130可以包含中央處理單元(CPU)和/或其它電路。處理盒130還可以包含用于控制發射體32和/或傳感器33的控制電路，或者CPU可以包含內部控制電路。
[0042]舉例來說，在一個實施例中，控制電路可以控制發射體32以產生在預定頻率下脈動的閃爍紅外信號，從高達每秒數千個脈沖到低達每秒約4到5個脈沖，例如每秒至少約5到20個脈沖，從而促進短達每次眨眼約200毫秒的無目的或有目的眨眼的檢測。可以控制傳感器33以檢測僅處于對發射體32的閃爍頻率特定的預定頻率的光脈沖。因此，通過將發射體32和傳感器33同步到預定頻率，系統10可以在多種環境條件下使用，且輸出信號大體上不受例如明亮目光、完全黑暗、環境紅外光背景或者在不同閃爍頻率下操作的其它發射體的影響。可以調整閃爍頻率以最大化對每單位時間眨眼次數(例如，每分鐘約十到約二十次眨眼)、每次眨眼的持續時間(例如，約200毫秒到約300毫秒)和/或PERCLOS(即，完全或部分閉合眼瞼的時間百分比)的有效測量，或者最大化系統的效率，同時將功率消耗保持為最小值。
[0043]控制電路和/或處理盒130可以包含手動和/或軟件控制件(未圖示)，用于調整由發射體32發射的光的頻率、焦點或強度，斷開和接通發射體32，調整傳感器33的閾值靈敏度，和/或允許關于從閉合眼瞼的最大紅外反射的自聚焦，如本領域的技術人員將了解。
[0044]另外，處理盒130還可以包含用于對發射體32、傳感器33、CPU和/或處理盒130中的其它組件提供電力的電源。處理盒130可以由常規DC電池供電，例如九伏電池或可再充電的鋰、鎘或氫產生電池，和/或由附接到系統14或建置于系統14內的太陽能電池供電。替代地，適配器(未圖示)可以連接到處理器盒130，例如常規AC適配器或十二伏汽車點煙器適配器。
[0045]替代地，接收器156可以直接耦合到多種裝置(未圖示)，例如無線電或電視控制件、燈、風扇、加熱器、電機、振動觸覺座椅、遙控交通工具、交通工具監視或控制裝置、計算機、打印機、電話、生命線單元、電子玩具或增強性通信系統，以提供人與裝置之間的直接接
□ O
[0046]在額外替代方案中，可以提供一個或多個透鏡或濾光器以用于控制由生物傳感器裝置、個別發射體和/或檢測器發射和/或檢測的光。舉例來說，所發射的光的角度可以用棱鏡或其它透鏡來改變，或者光可以通過狹縫而聚集或聚焦以產生指向眼睛的預定形狀的光束，或由傳感器接收反射光。可以提供透鏡陣列，其可調整以控制所發射的光束的形狀(例如，寬度等)或調整傳感器的靈敏度。透鏡可以與發射體一起封入塑料和類似物中，或者提供為單獨的附件，如本領域的技術人員將了解。
[0047]轉到圖3，示出了用于監視眼睛移動的系統810的又一實施例。一般來說，系統810包含框架812，所述框架可包含橋件814和一對耳支撐件816、一個或多個發射體820、一個或多個傳感器822，和/或一個或多個相機830、840。框架812可以包含一對透鏡(未圖示)，例如處方透鏡、遮陽透鏡或保護透鏡，但它們可以省略。替代地，所述系統可以提供于用戶的頭部可以佩戴的其它裝置上，例如飛行員的氧氣面罩、保護性眼睛護具、患者的呼吸機、水下呼吸器或游泳面罩、頭盔、帽子、頭帶、無頂帽、保護性頭部護具，或在保護頭部和/或面部的封閉套件和類似物(未圖示)內。系統的組件可以提供于裝置上的一般使對用戶的視覺和/或裝置的正常使用的干擾最少的多種位置處。
[0048]如圖示，發射體820的陣列提供于框架812上，例如成垂直陣列820a和水平陣列820b。另外或替代地，發射體820可以用其它配置提供，例如圓形陣列(未圖示)，且可以或可以不包含濾光器和/或漫射器(也未圖示)。在示范性實施例中，發射體820是經配置以發射處于預定頻率的脈沖的紅外發射體，類似于本文別處描述的其它實施例。發射體820可以布置于框架上，使得它們將參考系850投影到用戶面部的包含用戶的一只眼的區上。如圖示，所述參考系包含一對交叉帶850a、850b，這將所述區劃分為四個象限。在示范性實施例中，在主要凝視期間，即當用戶正一般筆直向前看時，所述交叉帶的相交點可以安置于大體上對應于眼睛瞳孔的位置處。替代地，可以提供其它參考系，例如包含垂直和水平分量、角度和徑向分量或者其它正交分量。任選地，甚至保持大體上靜止的一個或兩個參考點可以提供用于確定眼睛的相對移動的足夠參考系，如下文進一步闡釋。
[0049]傳感器822的陣列也可以提供于框架812上，用于檢測來自發射體820的從用戶的眼瞼反射的光。傳感器822可以產生具有識別眼瞼是閉合或是打開的強度的輸出信號，類似于本文別處描述的其它實施例。傳感器822可以鄰近于相應發射體820安置以用于檢測從眼瞼的相應部分反射的光。替代地，傳感器822可以僅以垂直陣列來提供，例如沿著橋件814，用于監視眼瞼閉合的量，類似于本文別處描述的實施例。在又一替代方案中，發射體820和傳感器822可為固態生物傳感器(未圖示)，其在單個裝置中提供發射和感測功能兩者。任選地，例如如果相機830、840提供足夠的信息，那么可以消除發射體820和/或傳感器822，如下文進一步闡釋。
[0050]可以提供電路和/或軟件以用于使用由傳感器陣列產生的信號測量PERCLOS或其它參數。舉例來說，圖7示出了可以用于處理來自五元件陣列的信號以例如獲得PERCLOS測量值或其它警示參數的示范性示意圖。
[0051]返回到圖3，系統810還包含一般朝向用戶的單眼或雙眼定向的一個或多個相機830。每一相機830可以包含光纖束832，所述光纖束包含安裝到或鄰近橋件814(或在框架812上的別處，例如在最小化對用戶視覺的干擾的位置)的第一末端，以及耦合到檢測器838(例如，CCD或CMOS傳感器)的第二末端837，所述檢測器可以將圖像轉換為數字視頻信號。物鏡834可以提供于光纖束832的第一末端上，如圖4中所示，以例如將圖像聚焦到光纖束832上。任選地，光纖束832可以包含一個或多個照明光纖，所述照明光纖可鄰近透鏡834而終止以提供發射體836，也如圖4中所示。照明光纖可以耦合到光源(未圖示)，例如類似于圖9中示出且下文進一步描述的實施例。雖然圖3中示出僅一個相機830(例如，用于監視用戶的左眼)，但將了解，可以對稱配置提供另一相機(未圖示)以用于監視用戶的另一只眼(例如，右眼)，包含類似的組件，例如光纖束、透鏡、發射體和/或檢測器(但任選地，相機可以共享共同的檢測器，如下文進一步闡釋)。
[0052]任選地，可能合意的是具有例如從面對眼睛的不同角度指向每一只眼的多個相機(未圖示)。任選地，這些相機可以包含光纖延伸件、棱鏡透鏡和/或反射鏡(例如，反射紅外光)，透鏡的面對眼睛的側上的不可穿透或阻擋的鏡射表面，和類似物。可以提供這些配件以用于按所需方式對傳輸到相機的眼睛的圖像進行彎曲、轉動、反射或反轉。
[0053]相機830可以經配置以用于檢測由發射體820和/或836發射的光的頻率，例如紅外光或超出可見范圍的其它光。任選地，如果光纖束832包含用于發射體836的一個或多個照明光纖，那么可以消除框架812上的發射體820。在此實施例中，也可能消除傳感器822，且使用相機830來監視用戶眼睛的移動，例如如下文進一步闡釋。任選地，系統810可以包含遠離用戶頭部而定向的第二相機840，例如用以監視用戶的周圍環境，例如在用戶面部正前方的區域。相機840可以包含類似于相機830的組件，例如光纖束841、透鏡(未圖示)和/或發射體(也未圖示)。任選地，相機830可以充分靈敏以在環境照明條件下產生圖像，且可以省略發射體。相機840可以耦合到如圖3中所示的單獨檢測器839，或者可以與相機830共享檢測器838，如下文進一步闡釋。
[0054]耳支撐件816中的一者或兩者可以包含面板818，用于安裝一個或多個組件，例如控制器或處理器，例如示范性處理器842、發射器844、天線845、檢測器838、839和/或電池846。處理器840可以耦合到發射體820、傳感器822和/或相機830、840(例如，到檢測器838、839)以用于控制其操作。發射器844可以耦合到處理器842和/或檢測器838、839以用于接收來自傳感器822和/或相機830、840的輸出信號，例如以將信號發射到遠程位置，如下文描述。替代地，發射器844可以直接耦合到來自傳感器822和/或相機830、840的輸出引線。框架812還可以包含例如在耳支撐件816上的手動控制件(未圖示)，例如以斷開和接通電力，或調整發射體820、傳感器822和/或相機830、840的強度和/或閾值。
[0055]如果需要，則系統810還可以包含位于框架812上的一個或多個額外傳感器，例如生理傳感器，例如用于與用戶的認知、情感和/或行為狀態相關的額外生物生理或神經生理數據的整合及交叉相關。所述傳感器可以耦合到處理器842和/或發射器844，以使得來自傳感器的信號可以被監視、記錄和/或發射到遠程位置。舉例來說，可以提供一個或多個位置傳感器852a、852b，例如用于確定框架812且因此用戶頭部的空間定向。舉例來說，可以提供活動圖形化傳感器(actigraphic sensor)以測量頭部的傾斜或移動，例如監視用戶頭部是否向前下垂或向側面傾斜。可以提供聲學傳感器(例如，麥克風854)用于檢測環境噪聲或由用戶產生的聲音。
[0056]另外，系統810可以包含位于框架812上的一個或多個反饋裝置。這些裝置可以向用戶提供反饋，例如當檢測到預定條件(例如，睡意或無意識的狀態)時警示和/或喚醒用戶。反饋裝置可以耦合到可控制其激活的處理器842。舉例來說，可以在可接觸用戶的位置處(例如，在耳支撐件816上)提供機械振動器裝置860，所述裝置可通過皮膚接觸而提供觸覺振動刺激。可以提供電極(未圖示)，其可產生相對低功率電刺激。可見的白色或有色光發射體，例如一個或多個LED，可以提供于所需位置處，例如橋件814上方。替代地，可以提供例如蜂鳴器或其它警報的音頻裝置862，類似于本文別處描述的其它實施例。在又一替代方案中，可以在框架810上，例如在橋件814上或鄰近于橋件814而提供芳香發射體。
[0057]另外或替代地，可以提供一個或多個反饋裝置，其與框架812分開，但以能夠向用戶提供反饋響應的方式定位。舉例來說，音頻、視覺、觸覺(例如，振動座椅)或嗅覺發射體可以提供于用戶的附近，例如本文別處描述的任何裝置。在又一替代方案中，可以提供熱或冷產生裝置，其能夠對用戶產生熱學刺激，例如遙控風扇或空調單元。
[0058]系統810還可以包含遠離框架812的組件，類似于本文別處描述的其它實施例。舉例來說，系統810可以包含位于遠離框架812的位置的接收器、處理器和/或顯示器(未圖示)，例如在同一房間中、在附近的監視站，或在更遠的位置。接收器可以接收由發射器842發射的信號，包含來自傳感器822、相機830、840或框架812上提供的任何其它傳感器的輸出信號。
[0059]處理器可以耦合到接收器以用于分析來自框架812上的組件的信號，例如以準備所述信號用于圖形顯示。舉例來說，處理器可以準備來自傳感器822和/或相機830、840的信號用于在監視器上顯示，從而允許用戶被他人監視。同時，可以在單個或單獨顯示器上顯示其它參數。舉例來說，圖5A到51示出了指示可位于框架812上的各種傳感器的輸出的信號，所述信號可以沿著共同時間軸顯示或者另外相關到例如用戶眼睛的移動和/或睡意水平。處理器可以結合其它感測到的參數而疊加或另外同時顯示視頻信號，以允許醫生或其它個體監視這些參數且個人地使這些參數相關到用戶的行為。
[0060]可以處理來自相機830的視頻信號以監視各種眼睛參數，例如瞳孔大小、位置(例如在由交叉帶850界定的四個象限內)、眼睛跟蹤移動、眼睛凝視距離和類似參數。舉例來說，因為相機830可能夠檢測由發射體822發射的光，所以相機830可檢測由發射體投影到用戶眼睛的區上的參考系。圖6示出了來自系統中包含的相機的示范性視頻輸出，所述系統具有以垂直布置安置的二十個發射體。
[0061 ]相機可以檢測布置為垂直帶的二十個離散光區。相機還可以檢測“閃耀”點G和/或移動的明亮瞳孔P。因此，可以與閃耀點G相關和/或與垂直帶I到20相關來監視瞳孔的移動。
[0062]因為發射體822固定到框架812，所以參考系850可以相對于用戶保持大體上靜止。因此，處理器可以在相對于參考系850的正交坐標(例如，x-y或角度-半徑)方面確定瞳孔的位置。替代地，如果消除參考系，那么可以相對于用戶眼睛的任何靜止“閃耀”點或其它預定參考點來確定瞳孔的位置。舉例來說，相機830自身可以將光點投影到眼睛上，所述光點可被反射且由相機檢測。此“閃耀”點可以保持大體上靜止，因為相機830固定到框架812，從而提供可用以確定眼睛的后續相對移動的所需參考點。
[0063]返回到圖3，在替代實施例中，相機832、840可以耦合到單個檢測器(未圖示)，類似于圖9中所示的配置。光纖束832、841可以耦合到一個或多個透鏡以用于將來自相機830、840的圖像遞送和/或聚焦到檢測器的相應區上。檢測器可以是C⑶或CMOS芯片，其在橫截面中例如約五與十毫米(5-10mm)之間具有有效成像區域。在示范性實施例中，檢測器的有效成像區域可以是正方形、矩形、圓形或橢圓形，只要存在用于接收來自相機830和相機840的同時圖像的足夠區域即可。圖1OA和1B中示出且下文進一步描述顯示來自相機830、840的同時視頻圖像的示范性輸出。在此替代方案中，通過足夠的分辨率和處理，可能從系統810消除發射體820和/或傳感器822。
[0064]轉到圖8A和SB，示出設備910的另一實施例，用于監視佩戴設備910的個體的眼瞼移動。如本文別處描述，設備910可以用作生物傳感器、通信器和/或控制器，和/或可以包含在系統中，例如用于監視用戶的單眼或雙眼的主動有目的和/或非主動無目的移動。
[0065]如圖示，設備910包含可佩戴于用戶頭部上的頭盔912，以及生物傳感器組合件920。頭盔912可以是標準飛行員頭盔，例如由直升機或噴氣式飛機飛行員使用的那些頭盔，例如包含安裝于其上的一對夜視管或其它護目鏡914。任選地，頭盔912可以包含一個或多個平視顯示器，例如安裝于單眼或雙眼前方或鄰近處的小型平板IXD(未圖示)。
[0066]替代地，頭盔912可以用經配置以佩戴于用戶頭部上的框架或其它裝置代替。舉例來說，圖15示出了設備1010的示范性實施例，其包含框架1012和生物傳感器組合件1020，如本文別處進一步描述。一般來說，框架1012包含橋件1012a、界定開口 1012c的在每一只眼上方或周圍延伸的邊沿1012b，和/或一對耳支撐件1012d，類似于本文描述的其它實施例。框架1012可以包含安裝于開口 1012c內或跨越開口 1012c的一對透鏡(也未圖示)，例如處方透鏡、遮陽透鏡和/或保護透鏡，但它們對于設備1010的操作不是必要的。舉例來說，所述透鏡可以包含藍色或灰色濾光器、偏光透鏡和類似物。在示范性實施例中，可以選擇透鏡以過濾對應于由相機1024檢測到的帶寬的光的預定帶寬，例如以減少由相機1 24獲取的圖像中發生的過飽和、閃耀和類似情況。
[0067]替代地，一個或兩個透鏡可以用顯示器來代替，例如相對小型平板IXD，或者可以包含其上可以投影圖像的區，例如類似于平視顯示器(未圖示)，其可用作模擬器和/或娛樂裝置，如下文進一步闡釋。在另外的替代方案中，本文的設備可以包含可佩戴于用戶頭部上的其它裝置，例如帽子、無邊帽、頭帶、無頂帽、保護性眼睛和頭部護具、面罩、氧氣面罩、呼吸機面罩、水下呼吸器或游泳面罩，和類似物(未圖示)。
[0068]設備910或1010的組件可以提供于頭盔912或框架1012(或其它頭部佩戴裝置)上的多種位置處，以例如在佩戴設備910或1010的同時一般最小化對用戶視覺和/或正常活動的干擾，如本文別處進一步描述。
[0069]如圖8A和8B中所示，生物傳感器組合件920包含例如使用魔術貼(Velcro)、綁帶和/或其它臨時或可移除式連接器(未圖示)安裝于頭盔912的頂部上的相機922。這可允許相機922在不使用時移除。替代地，相機922可以大體上永久連接到頭盔912，直接并入到頭盔912(或其它框架)中，連接到頭部安裝式電視、LCD監視器或其它數字顯示器和類似物，類似于本文描述的其它實施例。
[0070]生物傳感器組合件920還包含一個或多個光纖束924，所述光纖束從相機922延伸到頭盔912的前方以提供用于成像用戶的眼睛的一個或多個“內部相機”。示出一對光纖束924，其從相機922延伸到護目鏡914的相應管。在示范性實施例中，光纖束924可以足夠長以從相機922延伸到護目鏡914，例如在約十二與十八英寸長之間，但替代地，光纖束924可以更長，例如在約二與四英尺長之間，或者更短，這取決于相機922在頭盔910上的位置(或者如果相機922與頭盔910分開地提供)。
[0071]光纖束924的末端926可以永久或可移除地附接到護目鏡914，例如附接到托架916，所述托架連接到護目鏡914或另外從護目鏡914延伸。替代地，光纖束924可以使用夾子、緊固件、粘合劑和類似物(未圖示)臨時或大體上永久固持到護目鏡914上。如圖示，光纖束924的末端926安裝于護目鏡914下方且朝向用戶的眼睛向上成角度。末端926的角度可以是可調整的，例如從約四十五度的基本角度向上或向下約十五度。替代地，光纖束924的末端926可以提供于頭盔912和/或護目鏡914上的其它位置，仍指向用戶的眼睛。
[0072]額外參考圖9，每一光纖束924可以包含光纖圖像導件928，即一束光學成像纖維，以及照明光纖束930，其例如封入收縮管道(未圖示)中，在相機922與光纖束924的末端926之間延伸。每一照明光纖束930可以包含耦合到例如相機922內的光源的一個或多個光纖。舉例來說，相機922可以包含發光二極管(LED)外殼932，所述外殼包含一個或多個LED 934(為了簡單而示出一個)，且照明光纖束930可以耦合到LED外殼932以將光遞送到末端926。
[0073]由光源934發射的光可以在正常人類視覺范圍之外，例如在紅外范圍中，例如具有在約八百四十與八百八十納米(840-880nm)之間的標稱輸出波長，使得所發射的光不會大體上干擾用戶的正常視覺。所述光源可以大體上連續產生光或處于所需頻率的光脈沖，類似于本文別處描述的實施例。舉例來說，控制器(未圖示)可以耦合到光源934以在需要時調整所發射脈沖的頻率、持續時間和/或振幅中的一者或多者。
[0074]替代地，可以提供用于照明用戶的面部和/或單眼或雙眼的其它光源來替代照明光纖束930。舉例來說，類似于本文別處描述的實施例，可以提供一個或多個發射體(未圖示)，例如沿著頭盔912和/或護目鏡914的一個或多個區安置的發射體陣列。
[0075]每一光纖束924的末端926可以包含一個或多個透鏡，例如物鏡936(圖8A中所示)，所述透鏡可以所需方式例如朝向用戶的眼睛而聚焦圖像導件928。每一圖像導件928可以具有向前視線(零度(0°)視野)，且物鏡936可以提供較寬的視野，例如約四十五度(45°)。任選地，通過調整物鏡936，所述視線可以是可調整的，例如在約三十與六十度(30°-60°)之間。此外，物鏡936可以將觀看距離優化到例如約兩英寸(2in.)，從而改善用戶眼睛上的聚焦。因此，圖像導件928可以將用戶眼睛的圖像通過光纖束924載運到相機922。
[0076]如圖9中所示，相機922可以包含一個或多個透鏡，例如放大區段938，用于將來自圖像導件928(和/或相機944)的圖像遞送和/或聚焦到成像裝置940的有效區域942上。成像裝置940可以是提供用于接收圖像的二維有效區域的多種已知裝置，例如CMOS或CCD檢測器。在示范性實施例中，成像裝置940可以是CMOS裝置，例如由Sensovat1n制造的型號cmosSamBa HR-130的裝置，或者由Micron Imaging制造的型號M1-MV13的Fast Camera 13。放大區段938可以經由C型卡口或其它連接(未圖示)機械地配合到相機922。
[0077]在示范性實施例中，每一圖像導件928可能夠提供多達一萬到五萬(10，000到50，000)像素的圖像數據，例如類似于本文別處描述的光纖束，其可投影到成像裝置940的有效區域942上。對于圖8A和SB中所示的設備910，來自兩個光纖束924的圖像投影到單個成像裝置940上，如圖9中所示，即使得來自用戶的每一只眼的圖像占據有效區域942的少于一半。
[0078]任選地，設備910可以包含“外部相機”944，所述相機遠離用戶頭部而定向，例如以監視用戶的周圍環境，類似于本文別處描述的實施例。
[0079]舉例來說，如圖8A中所示，可以提供從相機922延伸的另一光纖束945。如圖示，光纖束945“向前”定向，即大體上與當用戶筆直前視時候在相同的方向上，且終止于微透鏡946。此光纖束945可以相對短和/或大體上剛性的，使得其視野相對于頭盔912是大體上固定的。替代地，外部相機944可以提供于頭盔912和/或護目鏡914上的其它位置處，例如包含柔性光纖束，類似于上文描述的外部相機840。因此，外部相機944可以提供遠離用戶的圖像，例如在用戶面部的筆直前方。
[0080]外部相機944可以或可以不包含一個或多個照明光纖，但可以包含圖像導件，所述圖像導件可以例如經由放大區段938或者單獨地耦合到成像裝置940。因此，來自外部相機944的圖像可以遞送到與從圖像導件928接收的用戶的每一只眼的圖像相同的有效區域942上，類似于本文描述的其它實施例。此配置可以允許或促進時間和/或空間同步，從而允許在外部相機圖像上上覆或疊加內部相機圖像，或者通過“三角測量”或用于眼睛跟蹤目的的其它算法以相對于用戶頭部方向位置識別用戶的眼睛在看著“何處”、“什么”和/或“多久”(凝視的持續時間)。
[0081]因此，相機922可以同時從一個或多個“內部相機”，即從光纖束924以及從外部相機944捕獲圖像。這可以確保由每一裝置捕獲的圖像彼此同步，即在時間上鏈接在一起，使得在特定時間拍攝的一只眼睛的圖像對應于在大體上相同時間拍攝的另一只眼睛的圖像。此外，這些圖像可以與來自其它傳感器(例如，一個或多個生理傳感器)的數據大體上同步，這可以增強監視和/或診斷用戶和/或預測用戶行為的能力。由于此同步，因此可以相對高速率捕獲圖像數據，例如在約五百與七百五十幀/秒或赫茲(500-750HZ)之間。替代地，可以提供單獨的檢測器，其捕獲圖像數據，所述圖像數據可以例如通過接收所述數據的處理器而同步。在此替代方案中，可以使用較慢的捕獲速率，例如在約三十與六十赫茲(30-60HZ)之間，以在捕獲之后通過處理器或其它裝置來促進同步。任選地，相機922和/或相關聯處理器可能夠捕獲相對緩慢的眼度量參數，例如以約十五與六十(15-60)幀/秒之間的速率。
[0082]圖1OA和1B說明來自相機的示范性輸出，所述相機接收來自兩個內部相機2010和一個外部相機2020(或來自對來自單獨相機和/或檢測器的圖像進行編譯的裝置)的同時圖像信號。如圖示，內部相機指向用戶的每一只眼，且外部相機向外指向用戶的周圍環境(即，大體上在用戶面部的筆直前方)。在圖1OA中，用戶的兩只眼睛2010L、2010R是打開的，且外部相機圖像2020示出了在用戶前方的房間的水平視圖。相反，在圖1OB中，用戶的一只眼睛2010L是完全閉合的，且另一只眼睛2010R是部分閉合的，使得眼瞼覆蓋大部分瞳孔。外部相機圖像2020示出了用戶的頭部已經開始向左傾斜且向前下垂。
[0083]返回到圖BA、8B和9，來自相機922(和/或相機944)的圖像可以經由電纜948從設備910傳送(在圖8A中最佳所見)。舉例來說，成像裝置940可以將來自有效區域942的光學圖像轉換為電信號，所述電信號可以經由電纜948載運到一個或多個處理器和/或控制器(未圖示)，類似于本文別處描述的其它實施例。替代地，來自光纖束924和/或外部相機944的圖像可以從設備910載運到一個或多個遠程裝置，例如相機、檢測器和/或處理器(未圖示)，類似于本文描述的其它實施例。在此替代方案中，束924可以在約二與六英尺長之間，例如提供足夠長度以允許用戶正常移動，還保持耦合到遠程裝置。
[0084]替代地或另外，設備910可以包含例如使用藍牙或其它協議的無線發射器(未圖示)，例如短程或長程射頻(RF)發射器，所述發射器可以耦合到相機922。所述發射器可以位于相機922中或頭盔912上的別處。所述發射器可以將表示圖像數據的圖像信號發射到遠程位置處的接收器，類似于本文別處描述的其它實施例。在又一替代方案中，替代于發射器和/或電纜948或除了發射器和/或電纜948之外，設備910可以包含用于存儲圖像數據的存儲器(也未圖示)。舉例來說，數據可以存儲在記錄器裝置中，例如類似于飛機中使用的“黑匣子”記錄器，使得記錄器可以在稍后時間被檢索，例如用于在交通事故、醫療事故和類似情況之后進行分析。
[0085]任選地，設備910可以包含一個或多個控制器(未圖示)，例如在相機922內，和/或在頭盔912上或頭盔912中，用于控制設備910的各種組件。舉例來說，控制器可以耦合到一個或多個LED 934，使得LED 934以預定脈沖或可變脈沖發光，例如改變脈沖的頻率、持續時間和/或振幅中的一者或多者，以例如減少設備910的能量消耗。另外，設備910可以包含一個或多個電源，例如電池和/或電纜，用于對設備910的一個或多個組件提供電力。舉例來說，在相機922中可以提供一個或多個電池(未圖示)以用于對成像裝置940和/SLED 934提供電力。
[0086]轉到圖15，示出了替代的生物傳感器組合件1020，其可以提供于本文描述的任何其它實施例上，和/或可以任選地包含本文描述的其它實施例的任何組件。不同于組合件920，多個光源1030提供于框架1012上的若干位置處。舉例來說，每一光源1030可以包含經配置以用于發射相對窄或寬帶寬的光的發光二極管，例如處于約640到700納米之間的一個或多個波長的紅外光、寬帶可見光(例如，白光)和類似的光。光源1030可以包含例如用于照明用戶的眼睛和/或面部的透鏡、漫射器或其它特征(未圖示)，類似于本文的其它實施例。光源1030可以彼此間隔開，例如在一個或多個垂直陣列中或者在框架1012中的相應開口1012c周圍定位的其它陣列中。
[0087]另外，可以提供個別微相機1024、1046以用于監視用戶的單眼或雙眼，且任選地監視用戶的周圍環境。舉例來說，如圖示，CM0S、(XD或其它檢測器1024可以提供于框架1012上，例如每一開口 1012c下方，此檢測器1024朝向佩戴設備1010的用戶的相應眼睛定向。如圖16中所示，每一檢測器1024可以從框架1012中的相應開口 1012c偏移，以例如使檢測器1024遠離佩戴框架的人的一般視野。舉例來說，如圖示，所述框架可以一般界定延伸穿過開口 1012c的眼睛凝視軸線1013，例如正交于由框架1012—般界定的平面。眼睛凝視軸線1013可以對應于佩戴框架的人在通過開口 1012c筆直前視時的方向。檢測器1024可以安裝到框架1012，使得檢測器1024的中心線成像軸線1025(例如，識別檢測器1024的有效區域的視野的中心)從眼睛凝視軸線1013偏移。在一個實施例中，眼睛凝視軸線1013和中心線成像軸線1025可以例如在調整檢測器1024的定向之前或之后彼此相交，從而界定所述軸線之間的銳角。
[0088]舉例來說，每一檢測器1024可以提供于轉座1026中，所述轉座可允許對檢測器1024的定向的調整。一個或多個透鏡、濾光器和類似物(未圖示)也可以在檢測器1024上方緊固到轉座1026，或例如在其有效區域上方直接緊固到檢測器1024，類似于相機922。
[0089]轉座1026可以圍繞一個或多個軸線是可調整的，例如可圍繞朝向用戶的眼睛或面部定向的樞轉軸線而旋轉，例如對角向上且遠離框架1012，例如中心線成像軸線1025。轉座1026可以允許對檢測器1024的定向的調整，以例如使個別用戶的眼睛在檢測器1024的有效區域內位于中心。轉座1026可以包含緊定螺釘、配合螺紋、軸環和/或其它特征(未圖示)以用于在所需定向上選擇性鎖定轉座1026(且因此檢測器1024)，還允許在需要時釋放和調整轉座1026。
[0090]檢測器1024可以包含用于將圖像聚焦到檢測器1024的有效區域上的透鏡(未圖示)。任選地，濾光器(未圖示)可以提供于檢測器1024上，例如用于從由檢測器1024獲得的圖像過濾掉不需要的波長的光。舉例來說，所述濾光器可以減小強度或完全移除原本在檢測器1024的有效區域上接收的可見光和/或紫外光，所述光可原本產生圖像上的閃耀或其它不需要的假象，可使檢測器1024飽和，及類似情況。
[0091]另外或替代地，有色透鏡可以提供于框架1012上以過濾掉不需要的帶寬的外部光，所述光可原本產生眼睛的圖像上的閃耀或其它假象，如本文別處描述。舉例來說，所述透鏡可以在使用期間靜止地或動態地減小光強度或移除所需波長的光，所述光可原本造成瞳孔、眼瞼或正監視的眼睛的其它結構的不需要的反應。在進一步替代方案中，檢測器1024可以經配置以僅用于捕獲所需帶寬的光內的圖像，例如在約640到700納米之間的波長的紅外光。
[0092]另外，一個或多個外部相機1046、1047可以提供于框架1012上，用于獲取佩戴設備1010的人的周圍環境的圖像。如圖示，第一檢測器1046安裝到框架1012的橋件1012a且遠離用戶而定向，類似于先前實施例。檢測器1046可以固定地安裝到框架1012，或者可以是可調整的，例如包含轉座、可彎曲尖端和類似物，類似于本文的其它檢測器或相機。
[0093]任選地，例如除了檢測器1046之外或替代于檢測器1046，一對檢測器1047可以例如提供于邊沿1012b的左側和右側上。舉例來說，左和右檢測器1047可以促進由檢測器1047在三個維度中獲取的圖像中的物體的三角測量或其它識別。
[0094]外部相機1046、1047在需要時可以具有類似或不同的視野、分辨率、焦距或其它特征。舉例來說，不同的外部相機可以具有相對較寬或較窄的視野，可以沿著不同軸線延伸以用于獲取佩戴框架的人周圍的不同區域的圖像，和/或可以包含較高和較低的相對分辨率、焦距和類似物。舉例來說，相對低分辨率、寬角度第一檢測器可以結合相對高分辨率、窄角度第二檢測器而使用，例如使得來自第一檢測器的圖像可以用于一般分析，而來自第二檢測器的圖像可以在需要較高粒度時使用。另外或替代地，第一和第二檢測器可以具有不同的焦距，例如使得一個檢測器比另一檢測器更近地獲取物體或場景的圖像。
[0095]每一檢測器1024、1046可以耦合到個別電纜、一組電線和類似物，使得由相應檢測器1024、1046產生的信號(S卩，對應于在檢測器1024、1046的有效區域上接收的圖像)被傳送離開檢測器1024、1046。舉例來說，如圖15中所示，電纜1048可以從框架1012延伸，其包含耦合到檢測器1024、1046的個別電纜或電線組。電纜1048還可以包含耦合到相應光源1030的個別電纜或電線組。所述個別電纜或電線組可以例如從相應檢測器1024、1046或光源1030沿著邊沿1012b嵌入于框架1012中直到捕獲于電纜1048內，以例如在需要時縮減設備1010的總體輪廓。
[0096]電纜1048可以延伸到與框架1012分離的處理器盒1050，例如類似于本文的其它實施例。舉例來說，處理器盒1050可以包含用于控制光源1030的一個或多個控制器或處理器、用于存儲來自檢測器1024、1046的圖像信號的存儲器，和類似物。另外，處理器盒1050可以包含例如用于操作設備1010的組件的一個或多個電源。替代地，一個或多個處理器、電源和類似物可以提供于框架1012上，類似于本文的其它實施例。任選地，框架1012也可以包含用于發射數據、接收指令和類似操作的一個或多個發射器和/或接收器(未圖示)、一個或多個傳感器(也未圖示)和/或其它組件，類似于本文的其它實施例。
[0097]包含設備910(或1010)的系統可以包含遠離設備910的組件，類似于本文別處描述的其它實施例。舉例來說，參考圖8A和SB的設備910(但相等地應用于設備1010)，系統可以包含位于遠離設備910的位置的一個或多個接收器、處理器和/或顯示器(未圖示)，例如在同一房間中、在附近的監視站或在更遠的位置。接收器可以接收由設備910上的發射器發射的信號，包含來自相機922的圖像信號和/或來自設備910上的其它傳感器的信號。
[0098]處理器可以耦合到接收器以用于分析來自設備910的信號，例如以準備所述信號用于圖形顯示。舉例來說，處理器可以準備來自相機922的視頻信號用于在監視器上顯示，類似于圖1OA和1B中所示的圖像，從而允許用戶由第三方監視，例如醫療專業人員、監督者或其它同事和類似人員。同時，可以在單個監視器上或在單獨的顯示器上顯示其它參數，類似于本文別處描述的其它實施例。處理器可以單獨或結合其它感測到的參數而疊加或另外同時顯示用戶眼睛的視頻信號和/或外部相機圖像，以允許醫生或其它個體監視這些參數且個人地使這些參數相關到用戶的行為。
[0099]另外，轉到圖1lA到11C，處理器可以將顯示器上的圖形疊加到例如視頻圖像上以促進識別和/或監視眼睛300的瞳孔301。如圖示，由于瞳孔301的邊緣與周圍虹膜304之間的對比度，處理器可以近似此邊界，且創建圖形光暈、橢圓或其它圖形306，其可以疊加在單眼或雙眼的圖像數據上(為了簡單而在圖1lA到IlC中示出僅一只眼睛300)。觀測者可以使用此圖形306來促進監視設備910的用戶。
[0100]另外或替代地，處理器可以虛擬地確定所述光暈的大小和/或形狀以促進監視用戶，而不會在顯示器上實際顯示光暈。舉例來說，處理器可以識別瞳孔301的邊緣，且基于所識別邊緣而確定瞳孔301的大小和形狀，而不會實際顯示光暈。因此，處理器可以實時確定光暈306和/或瞳孔301的橫截面積或直徑。另外或替代地，處理器可以使用所述大小和/或形狀來識別光暈306或瞳孔301的中心，從而例如在x-y坐標系中確定光暈306或瞳孔301的中心的坐標。
[0101]另外或替代地，處理器可以自動分析關于瞳孔301(或圖形306)的大小和/或形狀的信息，從而使視頻信號相關以確定人的睡意水平或其它身體和/或精神狀況。此分析可以包含例如隨著時間而監視瞳孔的相對位置、瞳孔的大小和/或瞳孔的偏心率。舉例來說，處理器可以隨著時間而監視瞳孔300的直徑，其可以圖表形式顯示，隨著時間而變存儲在存儲器中，和/或例如實時疊加在眼睛的圖像上。
[0102]舉例來說，圖1lA可示出在環境條件下處于松弛狀態的瞳孔301，例如對應于具有直徑“CU”的圖形306。如圖1lB中所示，如果用戶眨眼或閉合眼睛300，那么瞳孔301可擴大，使得當眼睛300再張開時瞳孔301初始地擴大，如具有直徑“d2”的圖形306表示。處理器可以比較圖形306或瞳孔301自身的直徑的改變以確定在眨眼或其它眼睛閉合之后瞳孔301返回到直徑“CU”的延遲。此延遲或者對可見或不可見光閃爍的反應性損失可至少部分地指示睡意水平、損傷水平(例如，醉酒)和/或醫療事件的開始，包含致命或終點事件，例如由于血氧不足、血糖過低、中風、心肌梗死、毒素、毒藥和類似物所致的腦損傷或腦死亡。
[0103]另外或替代地，處理器可以確定瞳孔的近似偏心率，例如在其被眼瞼302部分地覆蓋時。舉例來說，如圖1lC中所示，當眼瞼302部分地閉合時，疊加在圖像上(或由處理器另外虛擬地確定而不實際顯示)的光暈306可以采用對應于瞳孔301的暴露部分的寬度V’和高度“h”的橢圓形狀。高度“h”可以相關于直徑“CU”，即高度“h”與直徑“CU”的比率可以等于或小于一(h/cU彡I)，作為眼瞼302覆蓋瞳孔301的程度的指示符。舉例來說，一旦瞳孔301被眼瞼302完全覆蓋，此比率便可以從一減小到零。
[0104]類似地，寬度V’也可以相關于直徑“cU”(w/Ah彡I)，作為眼瞼302覆蓋瞳孔301的程度的指示符，例如在眼瞼302開始覆蓋瞳孔301的超過一半時。另外或替代地，高度與寬度的比率(h/w彡I)可例如基于眼瞼302的覆蓋而涉及關于瞳孔301的偏心率的信息。類似地，可以計算和監視瞳孔301的面積(例如，在光暈306內)。可以個別地、共同地和/或連同其它眼度量和/或生理參數一起分析這些參數，以監視、分析和/或預測用戶的未來行為。
[0105]轉到圖12A，示出了用于測試用戶對本文描述的任何設備和系統的警惕性的示范性方法。舉例來說，用戶可以佩戴圖8中所示的設備810，所述設備監視用戶的單眼或雙眼，如上文進一步描述。在步驟2210處，可以在相關狀態下確定用戶眼睛的基礎或參數。舉例來說，可以在環境條件下測量或另外監視瞳孔的松弛直徑。
[0106]在步驟2220處，可以朝向眼睛發射一個或多個光脈沖，這可使眼睛從松弛狀態擴大和/或收縮，例如以與脈動光閃爍的頻率大體上相同的頻率。舉例來說，可以預定順序激活設備810上的一個或多個發射體以使眼睛擴大。隨后，在步驟2230中，可以例如用相機830或傳感器822下意識地或無意識地監視用戶的眼睛，以確定眼睛返回到松弛狀態的反應時間。可以將反應時間與經驗數據庫或其它數據進行比較以確認用戶有意識、醒著和/或活著。如果需要，那么可以重復步驟2220和2230—次或多次，以確認反應時間和/或在需要時提供平均反應時間，以例如避免錯誤否定確定。
[0107]例如在閾值測試期間產生單個光閃爍且監視瞳孔的響應可為足夠的。替代地，可以使用一系列閃爍來監視隨著時間的瞳孔響應，以例如研究趨勢或消除可能從單個閃爍引起的錯誤數據。對于一系列閃爍，脈沖速率應當長于瞳孔在響應于光閃爍而擴大之后自然返回到其松弛狀態所花費的時間，例如至少在約五十與一百毫秒(50-100ms)之間。替代地，例如近紅外光(具有約640到700納米之間的波長)的光脈沖可以指向用戶的眼睛。系統可以檢測瞳孔響應中的節奏波動。這些響應可以來自于基本眼度量響應，可能涉及夜視，例如在黑暗中“看見”或在黑暗中感測紅外光源。
[0108]此瞳孔響應測試也可用以識別錯誤肯定，例如當用戶死亡時，系統也不能檢測到任何眼睛閉合和/或移動。類似地，瞳孔響應測試也可能夠確定用戶是否睡著或無意識。另夕卜，瞳孔響應測試可用以確定用戶是否在酒精、毒品和類似物的影響下，這可影響瞳孔在響應于光閃爍而擴大之后收縮回到其松弛狀態的速率。另外或替代地，取決于眼度量指標與對應科學確定的血中濃度之間的相關，瞳孔響應測試也可用以確定用戶身體中的毒品或酒精的血液濃度或量。
[0109]轉到圖q2B，示出了用于測試閾值警惕性的另一方法。此方法一般涉及在步驟2240處提供刺激，其指示用戶以所需方式有意地移動其眼睛，且在步驟2250處監視眼睛，例如是否存在有意的移動，從而確認用戶已經按所需方式遵循指令且移動其眼睛。本文描述的任何設備可以包含一個或多個刺激裝置，例如揚聲器、燈、振動或其它觸覺裝置。替代地，這些裝置可以遠離用戶而提供，例如在交通工具的儀表板、視頻顯示器和類似物上。
[0110]舉例來說，如果設備上的可見光被激活，則可以指示用戶閉合其眼睛達預定時間。一旦光被激活，系統便可以監視眼睛以確認用戶在預定時間范圍內和/或以預定方式(例如，以預定順序的一次或多次眨眼)作出響應。替代地，可以提供其它刺激替代光閃爍，例如顯示器上(設備上或與設備分開)的可見指令、可聽信號(例如，來自裝置上或裝置附近的揚聲器的口頭命令)、觸覺信號和類似物。在這些實施例中，可以指示用戶執行一系列動作，例如向上或向下看、向左或向右看、以所需順序眨眼、閉合其眼睛直到收到指示、跟隨顯示器上的指針和類似動作。此測試可有用于例如確認在一系列測試期間或在執行各種活動時測試主體是否醒著、知道和/或警覺。
[0111]在另一實施例中，例如本文別處描述的那些設備和系統可用以控制計算機系統，例如類似于計算機鼠標、操縱桿和類似物。舉例來說，參考參見圖3所示和描述的設備810，相機830可用以監視用戶瞳孔的位置以引導和/或激活計算機屏幕或其它顯示器上的鼠標指針。接收來自相機922的圖像數據的處理器可以分析圖像數據以確定檢測器940的有效區域942內瞳孔的相對位置。任選地，一個或多個顯示器可以相對于安置在用戶的單眼或雙眼前方或視野內的框架812固定。舉例來說，平板LCD或其它顯示器(未圖示)可以代替透鏡安裝到框架812。此設備可用于例如在醫療或其它研究設施內的模擬、用于娛樂用途(例如，作為視頻游戲控制臺)和類似情況。
[0112]轉到圖13，示出了用于使用本文描述的任何設備和系統基于檢測到的眼睛移動而控制計算裝置的示范性方法。舉例來說，可使用圖8A中所示的設備910，其包含用于對用戶的單眼或雙眼進行成像的光纖束924。任選地，如下文進一步闡釋，所述設備還可以載運例如鄰近用戶的單眼或雙眼安置的一個或多個外部相機，所述外部相機可沿著用戶的向前視線向外定向。首先，在步驟2310處，可能希望初始化包含此設備的系統，即建立參考系，例如基礎或參考位置、具有正交分量的參考系和類似物。舉例來說，可以指示用戶看著顯示器上的指針或其它預定位置，從而維持用戶的眼睛且因此用戶的瞳孔大體上靜止。處理器可以在用戶眼睛大體上靜止的同時分析來自相機830的圖像數據，以例如確定圖像上對應于參考點或“基礎位置”的瞳孔的位置。舉例來說，指針或基礎位置可以位于用戶瞳孔的大體上筆直前方。任選地，可以指示用戶循序地看著顯示器上的兩個或更多個所識別位置，從而提供用戶眼睛的相對移動的尺度。在此替代方案中，可能需要使用戶看著顯示器的相對拐角，以例如識別相對于顯示器的適當眼睛移動的極限。
[0113]一旦初始化完成，用戶便可以例如相對于指針和/或顯示器的其余部分自由移動其眼睛，例如左和右、上和下。在步驟2320處，系統可以監視眼睛的此移動，即處理器可以分析圖像數據以確定用戶瞳孔距基礎位置的相對位置。舉例來說，如果用戶從基礎位置向上和向右移動他/她的眼睛，即相對于計算機屏幕上的指針向上和向右，那么處理器可以確定此移動。作為響應，在步驟2330處，處理器可以向上和向右移動指針，即從而跟蹤用戶的凝視。當用戶停止移動他/她的眼睛時，處理器可以在一旦指針到達顯示器上用戶當前正看著的位置便停止指針。
[0114]任選地，在步驟2340處，用戶可能夠在一旦指針已移動到顯示器上的所需位置便執行命令，例如類似于激活鼠標上的按鈕。舉例來說，處理器可以監視圖像數據是否有來自用戶的信號，例如成預定順序的一次或多次有目的的眨眼。這可以與預定持續時間的單次眨眼(例如，幾秒長)到較復雜的一系列眨眼(例如，包含用戶的單眼或雙眼)一樣簡單。替代地，所述信號可以是無眨眼的預定周期，例如三、五或更多秒長。當處理器識別出信號時，處理器可以激活命令。舉例來說，用戶可以當眼睛到達顯示器上的圖標、文字命令和類似物時停止移動其眼睛，且處理器可以移動點直到其上覆或另外位于所述圖標或命令處。用戶可以隨后眨眼或動作，如上文闡釋，類似于計算機鼠標上的按鈕的“雙擊”，從而指示處理器完成選定命令或將選定命令傳送到所需目的地。舉例來說，選定命令可以導致執行計算機程序，或者以所需方式激活、去活或另外控制一件設備或其它裝置。因此，系統可用以完成多種任務，從控制耦合到處理器和/或顯示器的計算機裝置到接通或斷開燈開關或交通工具。這些設備和/或系統從而可以提供用于使用計算機免提的方法，即僅使用用戶眼睛的移動。
[0115]舉例來說，在一個應用中，系統可用以操作例如直升機、噴氣式飛機或其它飛機等交通工具，以例如激活或另外控制武器、導航或其它機載系統。在另一應用中，系統可用于視頻游戲或其它模擬中，以例如增強虛擬現實專注。舉例來說，系統可以允許用戶快速導覽通過多個菜單、場景或其它活動，同時使用戶的手自由執行其它功能，例如除了眼睛控制功能之外或與眼睛控制功能同時執行其它活動，這可以允許同時進行更多和/或更復雜的任務。
[0116]另外，可以使用一個或多個外部相機來增強和/或另外促進相對于顯示器上的指針來跟蹤眼睛移動。舉例來說，外部相機可以鄰近至少一只眼睛而提供，例如在距眼睛的預定距離或其它關系處，即朝向顯示器定向。因此，外部相機可以提供顯示器的圖像，例如實時示出指針的移動，所述移動可與用內部相機監視的眼睛的移動同步。處理器可以使用三角測量或其它算法使此數據相關以增強以眼睛移動跟蹤指針的準確性。這可以確保如下準確性:當用戶既定通過對命令上的指針眨眼而執行命令時，既定命令實際上被選定，例如當顯示器示出多個可用命令時。
[0117]在替代實施例中，處理器可以接收和處理來自內部相機的視頻信號以基于內部相機圖像識別眼睛的瞳孔的邊緣，且使用所識別邊緣來近似瞳孔相對于內部相機圖像的參考系的坐標。舉例來說，處理器可以將x-y坐標系指派給內部相機圖像，且使用瞳孔的邊緣來識別瞳孔在此坐標系內的中心。處理器還可以接收和處理來自外部相機的圖像，且使從內部相機圖像獲得的坐標與人的周圍環境的外部相機圖像相關，以近似佩戴裝置的人相對于人的周圍環境正看著的位置。
[0118]舉例來說，顯示器(未圖示)可以耦合到處理器以用于顯示外部相機圖像，且處理器可以在顯示器上示出的外部相機圖像上疊加圖形(例如，一組十字準線、光標和類似物)，以識別人正看著的近似位置。如果顯示器是對佩戴設備的人展示的計算機顯示器，例如在設備外部或并入到框架中，那么所述人可以使用所述圖形在顯示器上導覽。舉例來說，人可以例如通過眨眼或注視預定持續時間而將光標移動到顯示器上示出的對象且“點擊”所述對象，以請求動作，例如請求關于所述對象的識別或額外信息。
[0119]轉到圖14，在另一實施例中，可以提供設備2410用于經皮照明佩戴設備2410的用戶的眼睛300。設備2410可以大體上類似于本文描述的任何實施例，例如圖3中所示的框架812。
[0120]轉到圖17，示出了總體系統架構的示范性實施例，其可用以執行本文描述的任何功能。如圖示，所述系統架構一般包含處理器1035和存儲器1040、硬件抽象層(HAL) 1030和到外部硬件的物理連接1235、操作系統1025、控制件1000，所述控制件處置用于頭部安裝式裝置的中間件服務，下文稱為EF-EyeP。以上中間件服務是軟件層1015，其含有軟件以促進EF-EyeP對象與第三方應用程序的軟件集成。以上中間件服務還是用于第三方硬件集成和調試的一組軟件工具1020，包含例如通過由IEEE 1149.1標準測試存取端口和邊界掃描架構支持的聯合測試行動組(JTAG)的單步法和斷點法等操作。以上工具和集成層是API1010，之后是應用程序1005。
[0121]圖18描繪對象1000的分解，在頂部處的應用程序1100、1105、1110、1115和1116描繪在軟件對象塊1000內運行的各種實用工具。題為EyeC的塊1110表示稱為EyeClips或EC的視頻圖像方面，其一般用以指代可以使用本文描述的系統執行以例如獲取、編輯、操縱和/或處理媒體圖像的方法。
[0122]對于本申請內的所有公開和權利要求，將“媒體圖像”定義為視頻圖像和靜止圖像中的至少一者。對于任何類型的媒體圖像，內容創建者的典型目標是為特定觀眾產生合意的內容。“合意的”的定義可以基于觀眾而改變。特定關于視頻圖像，用于選擇和編輯視頻圖像的一種方法或一組準則可能適用于一個觀眾，但可能不適用于另一觀眾。此外，在時間上接近其它圖像捕獲的圖像出于不同原因可能是合意的。合意性和相關性的這些各種具體化可以簡單地稱為“突出性”。
[0123]出于任何數目的原因可以將媒體圖像視為突出的:其可以含有著名的事件，其可以包含特定的朋友或親戚，其可以含有其他人在社交媒體渠道中視為關注的事情，其可以是在特定位置捕獲，和/或其可以含有用戶希望捕獲的情感。假定將眼睛跟蹤添加到其它傳感器允許用戶在此過程期間進行某一水平的分析和控制，這在沒有出現眼睛跟蹤的情況下將是不可用的。
[0124]當討論詞語“編輯”既定的范圍時需要謹慎考慮。在典型的照片和視頻應用程序中，“編輯”通常意味著對圖像的操縱，或者在視頻的情況下，還包含將經修整的圖像再布置為更合意的次序的過程。“編輯”的動作經常不包含選擇或標記將對其執行另外步驟的圖像的步驟，即使那些步驟會被正式地視為編輯過程的部分也是如此。然而，為了本申請內的本公開和權利要求的目的，“編輯”應包含選擇和標記步驟。此外，在數字媒體創建之前的時期中，所有編輯(包含選擇和標記)必然相當晚于捕獲時間而發生。然而，視頻和靜止相機中現在包含允許編輯過程緊接在捕獲時間之后或“在相機中”發生的特征。本文的公開描述了編輯過程可以如何轉換為包含在捕獲期間或甚至捕獲之前的時間。然而，如此做法在實施本文描述的系統和方法之前尚未實際上可行。
[0125]很遺憾，對于許多用戶，將即時捕獲的視頻圖像轉換為可消費的完成視頻所需的時間承諾是對過程的終端障礙。在遇到此障礙之后存在兩種常見結果。第一個是整個過程被放棄，且不曾有視頻圖像與觀眾共享。第二個常見結果是避開了所有編輯，且極低質量和低相關性的圖像與觀眾共享。對于創建者且對于觀眾，這兩個結果都不是合意的。對于創建者，知道太難以將視頻編輯為可呈現的形式后，這可能減少他或她記錄視頻的意愿。對于消費者，觀看差的視頻圖像為他們提供負面增強，且可能使他們在未來不想觀看視頻圖像。
[0126]隨著技術進步，用戶可以攜帶來創建內容的裝置的形狀因數也已經轉換。內容創建裝置曾經不合有其它技術。接著智能電話和平板計算機變得能夠捕獲視頻，從而在先前不可想象的微型化的時期中展現。現在，頭部安裝式顯示器開始變為可以作為消費型裝置，表明可穿戴技術的轉換，這允許創建內容而不是僅記錄來自傳感器或別處的數據。此外，隱形眼鏡和人工視網膜是對人類視覺系統的可行增強。本文的系統和方法也適用于捕獲視頻、跟蹤眼睛方向和編輯突出視頻的這些模式，且被視為本發明的部分。由于用于通過眼睛跟蹤確定用戶的凝視的必要技術現在可以并入到可穿戴和植入式裝置中，因此眼睛變為用于裝置輸入和編輯的可行工具。
[0127]為了確保將較好的視頻剪輯最終遞送到觀眾而要克服的第一個障礙是選擇或“標記”所關注圖像。通常，這是在第一編輯步驟期間完成。然而，在近年來已經對靜止相機添加允許運行中圖像分級的能力。轉而考慮在可穿戴裝置中允許此能力需要不同的標記方法，但也開放了使用來自一個或多個傳感器的輸入進行標記的可能性。
[0128]用于標記輸入的一種此類傳感器是眼睛跟蹤系統。以捕獲眼睛可以看見的事物的目的記錄視頻，因此自然推斷出在記錄過程期間關于用戶的凝視的信息可有益于標記過程。例如用戶凝視方向、凝視持續時間(“停留”)、瞳孔直徑以及掃視活動等度量僅僅是在記錄事件期間關于用戶的意圖的有價值信息的幾個實例。
[0129]本文的系統和方法的一些實施例可以采用圍繞單眼(一只眼睛)眼睛跟蹤技術設計的眼睛跟蹤子系統，且系統的其它實施例可以采用圍繞雙眼(兩只眼睛)眼睛跟蹤技術設計的眼睛跟蹤子系統。這些實施例對于可穿戴裝置的設計和既定用途是特定的。可穿戴裝置的一些實施例可以采用呈現給用戶的單個顯示器，而其它實施例可以采用呈現給用戶的兩個顯示器。眼睛跟蹤子系統的實施例可能不一定匹配于顯示器配置的實施例。
[0130]本文的眼睛跟蹤子系統的一些實施例可以采用圖像傳感器作為用于子系統的主要輸入，而另外的實施例可以采用能夠產生合適數據以確定用戶凝視的方向的替代傳感器。
[0131]可見，可以與眼睛跟蹤數據一致地使用其它傳感器。舉例來說，用戶可以口頭地放置與陳述詞語“保存”一樣簡單的標簽，或者容易稍后檢索的較復雜的口頭線索，例如朋友的姓名(或圖像中的個體的其它識別符)。組合來自多個傳感器的輸入的較復雜的方法可以包含加速度計數據、位置和/或定向數據、來自相機傳感器的開窗數據、麥克風數據、觸摸傳感器數據等，且那些方法可以包含對來自那些傳感器中的一者或多者的數據的解譯。
[0132]舉例來說，面對場景的相機的傳感器的對應于用戶正凝視的位置的區中的飽和度的快速改變是可以具有高于平均的被保存概率的視頻區段的明顯實例。另外，裝置的麥克風中的快速且持續的改變可以對應于大聲喝彩的人群，且這可以對應于視頻圖像是合意的較高概率。
[0133]清楚且簡單的使用情況涉及用戶有意識地決定剛記錄的視頻是尤其重要的。用戶可能夠提供額外信息以特定關于應當對特定事情的多少進行標記來輔助系統的操作；例如，a)視頻的最后十(10)秒，b)特定的人在媒體圖像中出現多久，和/或c)緊接于用戶對剪輯的端點(或中間點)進行標記之前用戶的凝視指向同一個人或位置多久。較復雜的使用情況涉及具有較復雜的試探法的系統，借助所述試探法將作出其自身對用戶可能認為重要的事件的分析。舉例來說，用戶可以預先指定系統標記其中特定面部出現的任何視頻，或者標記加速度計記錄>0.5G期間的任何視頻，或甚至針對大量傳感器數據的試探法的組合。
[0134]所有這些描述的系統特征經設計以輔助標記的過程，其僅為編輯過程中的第一步驟。下文描述和/或在圖19和20中示出用于進一步改進編輯過程的方法。
[0135]對于可穿戴裝置上流行的寬視野相機，極有可能的是用戶會希望將他或她的完成視頻錄像裁剪到較緊密的窗。在任何給定實例，場景中用戶正看著的位置(“注意點”)具有較高的概率含有他或她在編輯時可能希望裁剪的元素。因此，在基本視頻記錄期間或者在簡單或復雜標記程序期間捕獲注意點信息對編輯過程增值。
[0136]對于雙眼眼睛跟蹤，除了確定視野內的平面(x-y)位置之外，還可針對凝視計算深度(Z)位置。這允許相機聚焦于目標距離，或調整景深以用于較專業的記錄，無論是視頻或是靜止幀拍攝。
[0137]此外，在所記錄視頻的實例期間的掃視活動可以指示就用戶來說的不同關注水平。凝視目標的快速改變可以不僅指示不同的目標關注區域，而且可以用作元數據以指示用戶的精神狀態或正記錄的場景的元素的屬性。另外，可以發現用戶掃視的范圍可以指示在編輯過程期間將裁剪的區域的界限。
[0138]其它常見的視頻編輯功能性包含創建慢動作或快動作剪輯，創建幀的不同區域之間的平滑平移，以及穩定晃動的錄像。所有這些特征可以單獨地通過眼睛跟蹤來增強，或者通過當與如上文論述的面向外部的相機組合時將眼睛跟蹤數據與來自一個或多個其它傳感器的數據組合來增強。
[0139]舉例來說，穩定晃動的視頻經常是通過識別幀之間的類似特征且將鄰近幀正規化以保持那些特征靜止來完成。很遺憾，這也需要裁剪視頻，因為正規化過程從幀的邊緣移除像素。組合眼睛跟蹤數據可以輔助確定穩定化的可接受量，例如如果用戶關注于整個幀，那么可以應用最小水平的穩定化以保留盡可能多的像素。然而，如果用戶僅關注于幀的特定區，那么可以應用最大穩定化以得到最佳的可能圖像。
[0140]任選地，瞳孔擴大和收縮可以用作用戶興奮的指標，以例如確定是否應當將特定剪輯拉伸為慢動作剪輯。另外，可以將進一步的傳感器數據與擴大數據組合以確定用戶的情感狀態，其延伸可以是當分析關注區時將適用于視頻剪輯的不同的一組準則。
[0141]所述系統可經配置以辨識通常關注的事情，例如彩虹、日出、日落和月出。這些對應于其中來自裝置中的羅盤(或其它方向傳感器)的輸入也可以是標記視頻圖像的決策的部分的實例。
[0142]存在其中人群中的大量可穿戴裝置可用于執法組織的實例。考慮其中炸彈引爆和恐慌隨之而來的實例。如果人群中的多個人穿戴著配備有此系統的裝置，那么所有裝置可以用其麥克風同時辨識爆炸的聲音，和/或同時辨識環境光和/或像素飽和度的較大且快速改變。此廣泛的傳感器輸入和分析可以提示所有裝置保存引導到事故的視頻圖像(“失事相機”)，和/或提示它們在事故之后的時間繼續保存視頻圖像。來自所有裝置的這些視頻圖像的收集可以給予執法部門許多角度來掃描人群以找到證據和嫌疑犯。此外，在事故的時刻對麥克風和相機數據的空間分析可以允許執法部門重構在事故之前、期間和之后的時刻。
[0143]可以針對穿戴配備眼睛跟蹤的相機安裝式可穿戴裝置的多個人組合共同凝視數據與所捕獲的視頻。處理由多個可穿戴相機捕獲的視頻以確定相機觀察到共同目標涉及大量的圖像處理。在觀看者觀察到共同元素的傾向下，包含眼睛跟蹤數據可以急劇減少對準過程且降低處理功率。此外，如果意圖是提取共同的人群觀測目標，那么使用眼睛跟蹤數據避免了與上覆較大視野圖像以宣告人群的已知百分比觀察到共同目標相關聯的推測概率性處理。
[0144]可存在其中眼睛跟蹤子系統能夠當用戶凝視相對于指向眼睛的相機而指向特定區時產生較高凝視準確性或者當凝視移動到別處時產生較低準確性的實例。舉例來說，如果跟蹤眼睛的相機定位于眼睛的正前方，那么在用戶眼睛向下看時，睫毛或眼瞼會部分地遮擋在眼睛跟蹤中使用的眼睛的關鍵特征，因此降低所計算凝視的準確性。隨著眼睛移動到某些凝視位置的此降低的準確性在本文稱為“適度降級”，且指示隨著眼睛跟蹤系統的性能降級但不完全失效，可以如此標示降級信息，且當提供到編輯系統時可以被處理為具有降低準確性的折衷數據。
[0145]在此情況下，在從多個傳感器計算突出性時可以用不同的重要性或有效性權重來處理眼睛跟蹤數據。在眼睛跟蹤數據是針對突出性考慮的僅有傳感器數據的情況下，可以界定裕度以使得較低準確性(降級)數據不會造成系統的不合意性能。隨著準確性減小，用戶體驗應為可預測的且一致的，且從此性能的適度降級不會帶來挫折。
[0146]取決于面對眼睛和顯示器的傳感器的幾何形狀，眼睛跟蹤子系統的準確性最高的區可以對應于用戶的視野由系統的顯示器占據的區。然而，隨著顯示器的大小和/或位置在系統的不同實施例中改變，所述區中的眼睛跟蹤子系統的精度可改變。此外，眼睛跟蹤子系統可經設計以在用戶視野的較大的區上具有比由顯示器占據的區更高的精度，但仍自然的是假定將存在眼睛跟蹤子系統的精度將降級的區。在此情況下，所述降級也會是對用戶來說適度的且不突出的。
[0147]與來自音頻傳感器的大笑的聲音組合(或不組合)，所述系統可經配置以將瞇著的眼睛解譯為快樂或微笑的指示。這可以經配置為系統用來對視頻圖像指派突出性的度量。此外，可以根據由瞇眼的開始與結束限定的時間周期或者根據由大笑的開始與結束限定的時間周期來修整視頻圖像。也可以使用由EEG傳感器測量的腦波活動。
[0148]許多可穿戴電子裝置依賴于激進的功率管理方案以便保存電池壽命。這些裝置中的實質上的功率吸收點之一是顯示器，且這些方案經常包含對顯示器操作狀態的激進管理。因此，在捕獲媒體圖像的過程期間可以將裝置顯示器斷電。雖然系統的設計的一些方面可能必要地包含與裝置顯示器的交互以確保所需的控制，但所有系統功能不需要依賴于裝置顯示器被通電以便恰當地起作用。裝置顯示器不需要被通電的情形的一個此類實例可以是基于來自音頻傳感器的輸入將視頻圖像標記為突出的。可仍為合意的是用戶具有系統正如設計那樣操作的反饋，因此系統可以指示裝置的揚聲器(如果配備)輸出與眾不同的音調或可由用戶辨識的其它音頻。
[0149]在另一實施例中，系統可經配置以自動辨識“神奇時刻”，或者具有超過用戶可預期的突出性的媒體圖像。這些神奇時刻可能是第三方關注的，例如其產品在視頻圖像中可能出現在重要時間的公司。此情況的實例可為徒步旅行到山脈中的遙遠山峰的一群朋友。由于這些朋友中的一者或多者穿戴著配備此系統的裝置，因此在所述群組登頂時捕獲視頻圖像。所述群組的一個成員說了讓每個其他人笑的笑話;碰巧在同一時刻，群組的另一成員從他的包里拿出有商標名稱的軟飲料且將其打開。所述軟飲料公司可能另外花費數十萬美元來通過廣告代理來產生所述時刻，因此他們會改為關注于為此用戶的“神奇時刻”償付給所述用戶。
[0150]在再另一實施例中，系統可經配置以辨識用戶的手勢以裁剪媒體圖像。用戶可以具有用他或她的手和手指創建圖片幀的選項，所述系統將把所述圖片幀解譯為媒體圖像應裁剪的矩形區域。此虛擬圖片幀可以由用戶在任何方向上移動，且系統可以跟蹤幀的大小和/或位置以連續調整輸出視頻圖像。
[0151]在又另一實施例中，系統可經配置以接收來自并不實體位于裝置上或連接到裝置的傳感器的輸入。這些傳感器的實例可以包含心率監視器、EEG、脈搏血氧儀，或例如自行車力量計等健身裝置。舉例來說，系統可經編程以自動標記對應于騎車者在他的輸出超過預定水平的任何時間的任何視頻剪輯，因為這些時刻可對應于比賽的興奮時期。
[0152]在另一實施例中，系統可經配置以迎合希望容易地創建指導或指示視頻的用戶。這可以通過組合基于凝視的裁剪與標記來完成，所述標記是通過辨識例如“在下一步驟中”或“我們在此看到什么”或“對此緊密注意”等預先配置的短語來完成。在這些實例中，用戶的觀眾可能關注于確切知道在場景中正看著什么，因此用戶的注意點可以自動上覆到媒體圖像上，或者可以單獨保存以在編輯過程中的稍后時間點上覆。
[0153]在再另一實施例中，系統可經配置以與社交媒體應用程序介接，從而允許對用戶可為透明的動態突出性。舉例來說，如果特定位置由于著名的且有新聞價值的事件而在Twitter上流行，那么系統可以基于用戶可能靠近的任何此類位置而周期性地更新其對突出性的度量和試探法。隨后，如果用戶進入任何此類位置，那么可以對在那里捕獲的媒體圖像指派比它們原本的情況更高的突出性。此過程可以由用戶配置為被拒絕或鼓勵，且此特征的操作對用戶可為明顯的或透明的。
[0154]在另一實施例中，可以定制用于選擇和編輯媒體圖像的方法以適合用戶的特定需要。然而許多時候，用戶可能希望簡單地選擇涵蓋基于來自一或多個傳感器的輸入的多個度量和試探法的預定義模板，所述傳感器并入在系統內或位于遠離系統處。
[0155]在另一實施例中，穿戴者(例如，Mary)可能正在向也穿戴著具有顯示器的配備眼睛跟蹤的裝置的遠處的個人(例如，John)廣播視頻。在John在顯示器上觀察視頻時，他的凝視信息可以經由網絡(例如，電信網絡、因特網和類似物)廣播給Mary以引導Mary的注意和視頻捕獲。此外John可以通過凝視他顯示器上具有相關聯意義的圖標而引導Mary轉動她的頭部，指示他希望在指定方向上移動Mary的視頻捕獲，或者讓Mary向前或向后或向上或向下移動。舉例來說，Mary可以記錄冒險視頻以為John提供同感的觀看，或者她可以記錄新聞或娛樂視頻。提供給Mary的指令可以由多個遠程觀看者/控制器聚集，其聚集的所需方向可以提供給Mary。
[0156]在另一示范性實施例中，本文的系統可以用于凝視控制、頭部安裝式或身體安裝式相機變焦、聚焦、旋轉和/或平移。舉例來說，許多HMD具有面向外部的相機。一些具有高分辨率相機和透鏡。根據另一實施例，可以提供用于耦合集成或可附接配件的系統和方法，所述配件具有電子控制的機械或電子/光學變焦、聚焦或平移能力，所述能力可以用用戶凝視來跟蹤、由用戶凝視控制或者以某種方式響應于用戶凝視。
[0157]控制可以導致光學組件的物理移動和/或將在相機芯片內使用的像素的電子選擇，和/或捕獲目標或所需光的其它方式。此系統可以包含可穿戴裝置，所述裝置具有經安裝以捕獲用戶周圍環境的媒體圖像的場景相機;集成或可附接機構，其為數字可控的以聚焦、變焦、平移或另外控制相機的透鏡或相機系統；眼睛跟蹤系統，其捕獲用戶的至少一只眼睛的眼睛跟蹤數據；以及一個或多個處理器，其與所述數字(電子)可控的機構、場景相機和眼睛跟蹤子系統通信，用于引導控制機構至少部分地基于眼睛跟蹤數據而對場景進行變焦、聚焦或平移。
[0158]所述系統可以解譯眼睛跟蹤數據以基于用戶的眼睛凝視活動而執行圖像捕獲(靜止或視頻)的多種模式。相機的控制可以通過由系統捕獲的個別或復合數據確定，包含以下各項中的一者或多者:2d或3d空間(由單眼或雙眼確定)中的用戶凝視點，凝視持續時間，大體上的掃視活動的樣式，在觀看實體或情形的情境中的掃視活動的樣式(在文字、面部、場景、具有內容的顯示器屏幕、電影、商店顯示器、手術室、軍事演習、安全代理的安全活動、體育活動上的眼睛移動)，掃視的頻率，包含凝視身體部位的個人特定的凝視(眼睛，具有相互的眼睛交互)，服裝等;其它眼度量參數，包含眨眼速率和持續時間，瞳孔擴大，瞇眼，使眼色(有意的眨眼)，可預測的以上元素的預定義組合，經確定為匹配于使用搜集的用戶眼睛的數據確定的突出性活動的組合活動。
[0159]所述系統可以收集多個用戶之間的數據，包含大量的用戶(大數據)，以識別和提取有意活動(例如，由穿戴者明確希望以控制變焦、聚焦或平移的眼睛示意動作)的樣式或無意活動(例如，這些樣式的解譯和/或這些樣式與場景圖像的突出捕獲的關聯以及對相機變焦、平移和聚焦機構的合意控制)的樣式。
[0160]耦合到所捕獲圖像數據的輸出加上關于眼睛活動的元數據的編輯系統是預期的。用戶用編輯系統執行的活動可以被編目錄和/或存儲。任選地，可以包含其它傳感器以捕獲貢獻于相機控制以及上述系統的性能、分析和增強的數據。這些可以包含一個或多個慣性、音頻、生物計量和/或其它傳感器，如本文別處描述。
[0161]可以提供透鏡控制機構作為對頭部安裝式裝置(HMD)的可附接配件，或者可以提供其作為HMD內的集成硬件和軟件解決方案。當作為配件提供時，硬件可以具有額外另外的可更換組件，例如具有可變光學倍率的透鏡。在安裝過程期間可以通過用戶的凝視來校準系統。此校準可以并入有場景相機和/或顯示器，使得配件相機到場景相機的相對位置得以確定。所述校準可以涉及進行中的自動更新。
[0162]可以創建數據模板以通過使用觀看者眼睛、場景、聲音和/或其它輸入的先驗知識而最佳地提取可預測視頻剪輯的實例，以指定剪輯的開始和/或結束點。此先驗知識可以推測方式界定，隨后在視頻記錄環境范圍中的用戶之間收集和精煉。這意味著用戶可以通過足夠的電池電力來接通其相機來用于整個事件;例如棒球比賽。可以剪輯關鍵擊打、跑皇、出局和其它行動并組成為引人入勝的視頻。這些視頻可以手動或自動地私人共享、經由社交媒體共享，或甚至出售給買家或者維持為生活博客庫元素。其它可模板化的視頻可以包含: ?生日宴會:吹滅蠟燭時唱生日歌；
?跟蹤/越野賽跑:父母(帶有HMD)帶著女兒/兒子跑步或者越過終點線；
?橄欖球比賽:四分衛向接收者投出橄欖球，接收者接住球且跑到觸地得分區；
?棒球比賽:投手向擊球手投球，擊球手擊出全皇打，以及其它事件，使得用戶可以記錄整個比賽且可以從用戶的實際視點提取突出事件。此外，可以通過用適當控制的相機設備的自動變焦、聚焦、景深和平移來增強剪輯，如本文別處描述；
?晚餐宴會掃描在晚餐桌上的人:穿戴者環視客人。眼睛剪輯的視頻從用戶掃描末端回到開始，或反之亦然。可以進一步再選擇，例如在祝酒期間；
?在遠景前方的度假的家庭/群組視頻:針對最關注的群組組合提取的視頻或圖像； ?假期；
?特定工作功能；
?頒獎事件；
?慶典。
[0163]當以額外數據置入上下文中時，這些視頻模板可以用關于時間、地點、人、事件、子事件、性能信息等等的補充文字來自動增強。
[0164]在另一實施例中，多個用戶的場景可以包含針對共同位置處的多個用戶記錄的剪輯，由如上文所述的模板信息化，且隨后建置為復合的一組場景拍攝以形成引人入勝的視頻制作(實時地或非實時地)。這些將可能具有穿戴HMD的許多用戶，帶有通過模板、凝視數據和其它感覺輸入而驅動的高質量電子控制相機。視頻饋送和剪輯可以經過凝視同步、地理同步和/或時間同步以產生高質量實時或非實時“眾包”視頻。此外，可以針對實時或非實時用途而捕獲和出售與視頻捕獲組合的來自名人、專業人員或專家的凝視數據的經許可的凝視增強視頻。另一場景是球類比賽，其中場景相機具有從選手的視角廣播的凝視數據。所述視頻可以被上覆選手的凝視方向的指示符(十字線)，或者所述視頻可以通過由選手的凝視(如上文概括)和/或其它傳感器驅動的變焦等等來增強。上覆有十字線的視頻或凝視增強(經變焦增強)的視頻可以實時提供/出售給比賽的觀看者、給選手的教練以用于訓練回顧、給有抱負的學齡體育選手，或者給視頻游戲制作者。這些增強視頻的價值可以延伸到體育和娛樂的廣大范圍的活動、軍事訓練、手術等等。
[0165]EyeClips的另一實施例是用于廣告商的視頻剪輯。廣告商花費大量金錢來創建現實生活、引人入勝的情感情景，所述情景可能含有產品拍攝或與產品拍攝相關。可以激發HMD穿戴者讓他們的相機運行(當被充分供電時)以用于特定活動(激流泛舟、山地騎行、滑雪、跳傘)，意圖是記錄對廣告商有價值的有質量視頻;例如含有Coca Cola罐的剪輯。可以提供用以將選定剪輯傳輸到廣告商以及用于廣告商支付有價值的剪輯的系統。
[0166]另一實施例包含稱為集體意識的事物，一種用以預測個別股票、股票市場方向、國際事件、政治結果、電影結果、劇場結果、實時體育事件預測、健康威脅和其它事情的系統和方法，這些事情可以基于人類觀察、感覺輸入和相關聯可測量的人類反應的某種方式來預測。
[0167]具有如本文所述的感覺捕獲數據的可穿戴計算機實現迄今尚未存在的預測性數據創建。可以請求計算機的穿戴者捕獲特定數據，且可能找出需要圖像、聲音、人類反應和/或其它感覺輸入的特定位置。或者，可以請求穿戴者的許可以允許在無他們參與的情況下個人地捕獲數據或者匿名地聚集和制作數據。通過相關眼睛跟蹤數據、眼度量、生物計量和其它傳感器對視頻捕獲的增生，可以提供利用集體意識或集體潛意識來預測未來事件和結果的系統。舉例來說，佛羅里達柑桔場的勞動工人可能配備具有相機和顯示器的具有眼睛跟蹤功能的可穿戴計算機。可以收集關于他們的收獲行為和觀察的數據以預測即將到來的橙汁的前景。有時候，可以經由顯示信息引導個別工人采取捕獲更有用數據的某些動作，例如更靠近地檢查柑桔，或者響應于詢問他們關于農作物的意見或其它信息的問題。可以監視穿戴具有相機和顯示器的具有眼睛跟蹤功能的可穿戴計算機的白領工人的電視觀看、廣播收聽或網絡瀏覽習慣和/或其對電視廣播(便攜式、配備感覺捕獲的Neilson監視裝置)、廣播節目和/或網絡內容的反應。可從這些數據得出的集體意識也可以被解譯且可驅動可以實時或非實時遞送回到穿戴者的問題、指令和/或動作。
[0168]另一實施例包含使用單眼顯示器上的雙眼眼睛跟蹤來為U1、UX和/或其它增強現實雙眼/單眼跟蹤提供3D增強。以兩個相機進行跟蹤以捕獲三維(3D)凝視數據(除了從單眼提供的平面x-y軸數據之外還具有z軸)提供了三維注意點。系統可以不配備顯示器、配備用于單眼的一個顯示器、用于雙眼的一個顯示器或用于每一只眼的一個顯示器，以用多種方式使用雙眼跟蹤數據。
[0169]當提供兩個顯示器時，對顯示器的選項可以包含每一只眼一個顯示器，無論是部分視野、具有通過顯示器的透明度以及增強現實信息覆蓋的完整視野，或是被外部世界的所有圖像以及在另外不透明顯示器上呈現的任何增強現實覆蓋所遮擋的完整視野。
[0170]使用指向眼睛的兩個相機來獲得雙眼凝視信息，計算凝視信息的處理器可以將信息發送到控制顯示數據的處理器以呈現UI信息的三維覆蓋圖像或“增強現實”(或“AR”)信息/圖像，以在單眼可觀看的單個單眼顯示器、雙眼可觀看的單個單眼顯示器或者雙眼分開地可觀看的兩個單眼顯示器上產生某一量的模擬立體圖像。以此方式，雙眼跟蹤可以實現單個顯示屏幕上的有效三維顯示或三維對話。在用戶匯聚他們的眼睛或發散他們的眼睛時，顯示器可以改變為產生一種維度。當用戶的眼睛都聚焦于距離Z處的項目時，他們經由配偶肌協同移動，即使當用戶使用僅一只眼睛來觀看呈現的場景(可能用優勢眼)時也是如此。用于呈現信息以模仿維度的系統可能對單眼優勢敏感。
[0171]UI在顯示器上呈現未聚焦的元素的圖像，從而激發用戶通過發散或匯聚他們的眼睛來聚焦。如果例如圖像表面上較靠近，且用戶選擇在圖像上聚焦，那么通過在用戶匯聚他的眼睛(以較靠近觀看，如可由雙眼眼睛跟蹤相機測量)或發散(以較遠離觀看)時的恰當反饋，圖像可以相對于彼此而移位，且從而聚焦或散焦。當用戶想要較靠近觀看可能在模糊圖像中不自然地呈現的某物時，如果用戶的眼睛匯聚/發散，那么可以如單眼或雙眼所見而修改圖像。
[0172]另外或替代地，也可以跟蹤瞳孔擴大以確定何時改變場景視圖內的所感知維度。舉例來說，當以單個優勢眼看著遠處的物體時，將在前景中示出的物體可能示出為未聚焦。在用戶移位此優勢眼時，即使對散焦前景圖像的少量(例如0.5度)凝視，也可能將圖像帶到聚焦，從而使用戶的瞳孔反應，以及產生新目標較靠近的感覺。同時，可以修改遠處的圖像以產生較大的距離感知。
[0173]有意/潛意識標記或編輯允許通過以多種方式與顯示器進行交互來對潛在有價值的剪輯的開始和/或結束進行實時有意用戶標記。此標記可以經由與顯示器或不與顯示器的交互而發生。當與顯示器交互時，可能存在用戶與顯示器之間的對話，并入有用戶凝視的視覺菜單，以定格、停留、掃視、屏幕上、屏幕外、開/關屏幕動作來控制顯示器。顯示器可以是不透明的、半透明的或透明的。其可以是部分視野顯示器或完整視野顯示器。所述對話可以輔助用戶推進標記活動、決定是否進行標記、決定標記什么、獲得關于剪輯應當是多久的信息、聚焦于視野內的突出區域、以文字增強剪輯、語音注釋、特殊效果、并入有可能可見或作為元數據可用的其它感覺信息。標記媒體圖像的額外選項可以包含以下各項中的一者或多者:
?標記可以在記錄剪輯之前或之后為非實時的；
?可以用其它輸入或控制來執行標記而不使用顯示器；
?當系統并入有可帶有眼睛跟蹤和/或顯示能力的隱形眼鏡的用戶時，標記可以發生。
[0174]用戶與處理器之間用以控制標記和編輯的對話可以并入有來自EEG或其它生物計量來源的數據收集，且可以經由腦波刺激或感覺反饋對用戶提供反饋。處理以計算編輯剪輯、覆蓋、效果和增強可以本地執行，在分布式用戶處理器之間共享，或者可以在遠程服務器上執行。
[0175]本發明支持其中顯示器在用戶的部分視野、多個部分視野或直到用戶的完整視野內可觀察的操作。顯示器可以從完全透明到上覆于現實世界圖像上的任何圖像的任何亮度等級，從而看穿所述顯示以增強用戶對世界和顯示的觀看。此外，并入有完全以電子方式產生圖像的不透明顯示(通常稱為虛擬現實顯示)的配置可以與補充圖像或視覺控制以及如上文所述上覆的反饋一起使用，且清楚地證明且支持視頻剪輯的開始點的試探法選擇，所述視頻剪輯的結束點由用戶的明確動作來標記。
[0176]為了方便，將本文示出和描述的操作描述為各種互連的功能塊或相異的軟件模塊。然而這不是必要的，且可能存在這些功能塊或模塊等效地聚集到單個邏輯裝置、程序或操作中而具有不明顯界限的情況。在任何情況下，功能塊和軟件模塊或所描述特征可以自身地或者在硬件或軟件中與其它操作組合而實施。這些功能塊清楚地支持以下各者的使用:包含將圖像投影到視網膜上的可穿戴顯示器技術，具有集成、投影或其它顯示的可穿戴隱形眼鏡，以及具有集成眼睛跟蹤能力的可穿戴隱形眼鏡。
[0177]將了解，關于本文的任何實施例示出的元件或組件對于特定實施例是示范性的，且可以在本文公開的其它實施例上或與其組合而使用。雖然本發明容易存在各種修改和替代形式，但其特定實例已經在附圖中示出且在本文詳細描述。然而應理解，本發明將不限于所公開的特定形式或方法，而是相反，本發明將涵蓋屬于所附權利要求書的范圍內的所有修改、等效物和替代方案。
【主權項】
1.一種用于編輯媒體圖像的系統，其包括: 可穿戴裝置； 場景相機，其安裝于所述裝置上以使得所述場景相機捕獲用戶的周圍環境的媒體圖像； 眼睛跟蹤子系統，其將參考系投影到眼睛上且使所述投影的參考系與顯示器的第二參考系關聯以用于捕獲用戶的至少一只眼睛的眼睛跟蹤數據；以及 一個或多個處理器，其與所述場景相機和眼睛跟蹤子系統通信以用于至少部分地基于所述眼睛跟蹤數據而標記由所述場景相機捕獲的媒體圖像。2.根據權利要求1所述的系統，其中所述一個或多個處理器經配置以利用在所述眼睛跟蹤數據中識別的所述用戶的有意或潛意識眼睛移動來標記來自所述場景相機的一個或多個媒體圖像。3.根據權利要求2所述的系統，其中所述一個或多個處理器經配置以用于使標記與來自所述場景相機的媒體圖像關聯，以界定所述媒體圖像內的視頻剪輯的開始點和結束點中的至少一者。4.根據權利要求2所述的系統，其中所述一個或多個處理器經配置以用于至少部分地基于在所述眼睛跟蹤圖像中識別的所述用戶的眼睛移動而確定來自所述場景相機的媒體圖像的突出性值。5.根據權利要求1所述的系統，其進一步包括所述可穿戴裝置上的一個或多個傳感器，所述一個或多個處理器與所述一個或多個傳感器通信以用于至少部分地基于來自所述一個或多個傳感器的傳感器信號而標記由所述場景相機捕獲的媒體圖像。6.根據權利要求5所述的系統，其中所述一個或多個傳感器包括慣性傳感器、圖像傳感器、音頻傳感器、位置傳感器、定向傳感器、光傳感器、生物計量傳感器、手勢傳感器、EEG傳感器中的至少一者，其中這些傳感器可以本地或遠程地耦合。7.根據權利要求5所述的系統，其中所述一個或多個處理器經配置以至少部分地基于所述傳感器信號和所述眼睛跟蹤數據而告知由所述場景相機捕獲的媒體圖像的標記或突出性。8.根據權利要求5所述的系統，其中所述一個或多個處理器經配置以使來自所述一個或多個傳感器的數據與所述媒體圖像和所述眼睛跟蹤數據中的一者或兩者同步以用于使所述數據與所述圖像相關。9.根據權利要求1所述的系統，其進一步包括顯示器，所述顯示器安裝于所述可穿戴裝置上以使得所述顯示器對所述用戶可見。10.根據權利要求9所述的系統，其中所述一個或多個處理器經配置以用于至少部分地基于所述眼睛跟蹤數據而標記由所述場景相機捕獲的媒體圖像而無需激活所述顯示器。11.根據權利要求9所述的系統，其進一步包括在所述顯示器上或鄰近于所述顯示器的一個或多個區或指示符，所述一個或多個處理器經配置以分析所述眼睛跟蹤數據以識別所述用戶何時朝向所述一個或多個區或指示符凝視以使標記與所述媒體圖像關聯。12.根據權利要求1所述的系統，其中所述一個或多個處理器經配置以選擇所述媒體圖像的與所述用戶相關的區段，且通過按所需次序對所述區段進行修整、裁剪、旋轉、平移、變焦和布置中的至少一者來編輯所述媒體圖像的所述區段。13.根據權利要求1所述的系統，其中所述一個或多個處理器耦合到所述眼睛跟蹤子系統以將所述眼睛跟蹤子系統的操作頻率調整為對應于多個操作模式。14.根據權利要求1所述的系統，其中所述系統經設計以接受來自用戶的輸入或經處理數據中的一者或兩者以標記或確定媒體圖像的突出性。15.根據權利要求1所述的系統，其進一步包括用于存儲原始媒體圖像的存儲器，且其中所述一個或多個處理器經配置以非破壞性地編輯所述媒體圖像以使得所述原始媒體圖像可在稍后時間由一個或多個處理器從所述存儲器恢復。16.根據權利要求1所述的系統，其中所述一個或多個處理器經配置以利用所述眼睛跟蹤數據的眼睛跟蹤精度的適度降級。17.根據權利要求1所述的系統，其進一步包括收發器或其它無線通信接口，所述收發器或其它無線通信接口與所述一個或多個處理器通信以將所述媒體圖像傳輸到遠程位置。18.根據權利要求1所述的系統，其進一步包括收發器或其它無線通信接口，所述收發器或其它無線通信接口與所述一個或多個處理器通信以從遠離所述可穿戴裝置的一個或多個傳感器接收數據。19.一種系統，其用以定量地評估由接近定位的可穿戴裝置確定的視頻圖像中的比較突出性，目的是從不同視點記錄相關事件，所述系統包括: 多個可穿戴裝置，其經配置以由個別用戶穿戴，每一可穿戴裝置包含:安裝于其上的場景相機，使得所述場景相機捕獲所述個別用戶的周圍環境的媒體圖像;一個或多個傳感器；通信接口；以及眼睛跟蹤子系統，其將參考系投影到所述用戶的眼睛上且使所述投影的參考系與顯示器的第二參考系關聯，以用于捕獲所述用戶的眼睛的眼睛跟蹤數據；以及 服務器，其用于經由每一可穿戴裝置的通信接口與所述可穿戴裝置通信。20.根據權利要求19所述的系統，其進一步包括每一可穿戴裝置上的一個或多個處理器，用于監視所述一個或多個傳感器以識別閾值事件，借此所述一個或多個處理器經由所述通信接口與其它可穿戴裝置通信以進行以下各項中的至少一者: 確認所述閾值事件已經發生，以及 共享與所述閾值事件相關的媒體圖像。21.根據權利要求19所述的系統，其進一步包括每一可穿戴裝置上的一個或多個處理器，用于監視所述一個或多個傳感器以識別閾值事件，借此所述一個或多個處理器經由所述通信接口與所述服務器通信以進行以下各項中的至少一者:a)確認所述閾值事件已經發生，以及b)共享與所述閾值事件相關的媒體圖像。22.根據權利要求19所述的系統，其進一步包括每一可穿戴裝置上的一個或多個處理器，用于監視所述一個或多個傳感器以識別閾值事件，借此所述一個或多個處理器經由所述通信接口與其它可穿戴裝置且與所述服務器通信以進行以下各項中的至少一者: 確認所述閾值事件已經發生，以及 共享與所述閾值事件相關的媒體圖像。23.根據權利要求19所述的系統，其中每一眼睛跟蹤子系統捕獲所述用戶的眼睛的眼睛跟蹤數據;每一可穿戴裝置包括一個或多個處理器，所述一個或多個處理器與所述場景相機和眼睛跟蹤子系統通信，用于借助所述通信接口與其它可穿戴裝置且與所述服務器通信以將眼睛跟蹤數據并入到所述突出性評估和圖像選擇中。24.—種用于選擇或編輯來自由用戶穿戴的可穿戴裝置的媒體圖像的方法，其包括: 使用所述可穿戴裝置上的場景相機捕獲所述用戶的周圍環境的媒體圖像； 使用眼睛跟蹤子系統捕獲眼睛跟蹤數據，所述眼睛跟蹤子系統將參考系投影到眼睛上且使所述投影的參考系與顯示器的第二參考系關聯以用于捕獲用戶的至少一只眼睛的眼睛跟蹤數據；以及 至少部分地基于從所述眼睛跟蹤數據識別的至少一個眼睛事件的動作而進行選擇和編輯所述媒體圖像中的至少一者。25.根據權利要求23所述的方法，其進一步包括: 基于所述可穿戴裝置上的加速度計而檢測包含事故的閾值事件;且 其中選擇和編輯所述媒體圖像中的至少一者包括在緊接于所述閾值事件的確定之前的預定時間中自動標記所述媒體圖像。26.根據權利要求25所述的方法，其中閾值事件功能性的確定可以超馳其它突出性確定以輔助用于保存完整視野媒體圖像的事故重構努力，即使用戶的定格可能已經另外提示所述系統裁剪所述媒體圖像。27.根據權利要求23所述的方法，其中所述可穿戴裝置辨識媒體圖像內的預定面部。28.根據權利要求23所述的方法，其中所述可穿戴裝置從慣性、圖像、音頻、位置、定向、光、生物計量或手勢傳感器中的一者或多者辨識用戶或系統確定的閾值讀數。29.根據權利要求23所述的方法，其進一步包括: 使用所述可穿戴裝置上的通信接口從遠程位置接收度量或試探法； 其中選擇和編輯所述媒體圖像中的至少一者包括基于所述度量或試探法而對所述媒體圖像的一個或多個片段指派突出性。30.根據權利要求23所述的方法，其進一步包括使用來自社交媒體應用程序的數據作為輸入，作為用戶的媒體圖像中的突出性的部分確定。31.根據權利要求23所述的方法，其進一步包括將媒體圖像裁剪到由用戶的手運動表明的邊界以創建圖片幀。32.根據權利要求23所述的方法，其進一步包括至少部分地基于來自多個傳感器的輸入而對媒體圖像指派突出性，所述輸入例如與大笑的聲音組合的瞇眼、微笑或大笑。33.根據權利要求23所述的方法，其中所述用戶可以選擇在所述可穿戴裝置上的重放期間且在單獨裝置上編輯媒體圖像之前標記所述媒體圖像。34.根據權利要求23所述的方法，其進一步包括將媒體圖像自動裁剪到其中用戶正在定格的區或者所述用戶正在定格的區外部的圖像。35.根據權利要求23所述的方法，其進一步包括將媒體圖像自動裁剪到由用戶的掃視移動限定的區。36.根據權利要求23所述的方法，其進一步包括至少部分地基于用戶的瞳孔直徑而自動調整視頻圖像的重放速度。37.根據權利要求23所述的方法，其進一步包括至少部分地基于來自額外傳感器的數據而自動調整視頻圖像的重放速度，所述用戶的情感狀態可以從所述數據推斷。38.根據權利要求23所述的方法，其中所述可穿戴裝置經配置以通過音頻線索的辨識而簡化指導或指示內容的創建。39.根據權利要求23所述的方法，其中所述可穿戴裝置經配置以進行以下操作中的至少一者:存儲用戶的凝視數據以及用媒體圖像數據上覆用戶的凝視數據。
【文檔編號】G06F3/01GK106030458SQ201480075406
【公開日】2016年10月12日
【申請日】2014年12月31日
【發明人】L·J·馬葛拉夫, E·德雷克
【申請人】愛福露恩斯公司