通過(guò)眼動(dòng)跟蹤技術(shù)進(jìn)行功能鍵操作的方法和裝置制造方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種通過(guò)眼動(dòng)跟蹤技術(shù)進(jìn)行功能鍵操作的方法和裝置，涉及移動(dòng)終端應(yīng)用領(lǐng)域。本發(fā)明利用眼動(dòng)跟蹤技術(shù)，通過(guò)邊緣檢測(cè)方法在人臉圖像中識(shí)別眼部區(qū)域，在眼部區(qū)域中定位出眼球區(qū)域，根據(jù)各幀圖像中定位出的眼球區(qū)域，建立眼部運(yùn)動(dòng)軌跡，將眼部初始位置與移動(dòng)終端屏幕中的預(yù)設(shè)位置相對(duì)應(yīng)，根據(jù)眼部運(yùn)動(dòng)軌跡確定用戶注視的功能鍵，按照用戶注視的功能鍵進(jìn)行相應(yīng)的功能操作，例如電話呼出功能，本發(fā)明不同于傳統(tǒng)撥號(hào)方式，是一種全新的用戶體驗(yàn)，并且撥號(hào)效果不受噪雜環(huán)境的影響，適用于不能發(fā)出聲音的特定人群和上肢行動(dòng)不便的特定人群，提供人道主義便利，增加用戶的黏著性，為運(yùn)營(yíng)商提供差異化營(yíng)銷(xiāo)、發(fā)展和保留用戶資源的有效手段。
【專(zhuān)利說(shuō)明】通過(guò)眼動(dòng)跟蹤技術(shù)進(jìn)行功能鍵操作的方法和裝置

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及移動(dòng)終端應(yīng)用領(lǐng)域，特別涉及一種通過(guò)眼動(dòng)跟蹤技術(shù)進(jìn)行功能鍵操作 的方法和裝置。

【背景技術(shù)】
[0002] 電話撥號(hào)功能是手機(jī)等移動(dòng)終端經(jīng)常使用的基本功能之一。傳統(tǒng)的電話撥號(hào)方式 包括鍵盤(pán)按鍵式撥號(hào)、觸摸菜單式撥號(hào)、語(yǔ)音識(shí)別撥號(hào)等方式。
[0003] 傳統(tǒng)的電話撥號(hào)方式對(duì)于特定場(chǎng)景、或者特定人群來(lái)說(shuō)不能實(shí)使用或效果較差。 例如，語(yǔ)音識(shí)別撥號(hào)方式在噪雜環(huán)境下語(yǔ)音識(shí)別率差，不能發(fā)出聲音的特定人群甚至無(wú)法 使用語(yǔ)音識(shí)別撥號(hào)方式。再例如，對(duì)于上肢殘障人士、自理能力差的老人等特殊人群，無(wú)法 使用鍵盤(pán)按鍵式撥號(hào)或觸摸菜單式撥號(hào)。
[0004] 另外，傳統(tǒng)的電話撥號(hào)方式給用戶千篇一律的體驗(yàn)，感知度較差，用戶黏著性較 差。
[0005] 鑒于以上原因，有必要提出一種實(shí)用的、有特色的通信技術(shù)，可以適用于特定場(chǎng)景 或特定人群，增加戶的黏著性，為運(yùn)營(yíng)商提供差異化營(yíng)銷(xiāo)、發(fā)展和保留用戶資源的有效手 段。


【發(fā)明內(nèi)容】

[0006] 本發(fā)明實(shí)施例所要解決的一個(gè)技術(shù)問(wèn)題是：提出一種實(shí)用的、有特色的電話撥號(hào) 方式。
[0007] 根據(jù)本發(fā)明實(shí)施例的一個(gè)方面，提出一種通過(guò)眼動(dòng)跟蹤技術(shù)進(jìn)行功能鍵操作的方 法，包括：利用移動(dòng)終端的前置攝像頭采集人臉圖像；通過(guò)邊緣檢測(cè)方法在人臉圖像中識(shí) 別眼部區(qū)域；在眼部區(qū)域中定位出眼球區(qū)域；根據(jù)各幀圖像中定位出的眼球區(qū)域，建立眼 部運(yùn)動(dòng)軌跡；將眼部初始位置與移動(dòng)終端屏幕中的預(yù)設(shè)位置相對(duì)應(yīng)，根據(jù)眼部運(yùn)動(dòng)軌跡確 定用戶注視的功能鍵，按照用戶注視的功能鍵進(jìn)行相應(yīng)的功能操作。
[0008] 根據(jù)本發(fā)明實(shí)施例的另一方面，提出一種通過(guò)眼動(dòng)跟蹤技術(shù)進(jìn)行功能鍵操作的裝 置，包括：圖像采集模塊，用于利用移動(dòng)終端的前置攝像頭采集人臉圖像；眼部識(shí)別模塊， 用于通過(guò)邊緣檢測(cè)方法在人臉圖像中識(shí)別眼部區(qū)域；眼球定位模塊，用于在眼部區(qū)域中定 位出眼球區(qū)域；眼部軌跡建立模塊，用于根據(jù)各幀圖像中定位出的眼球區(qū)域，建立眼部運(yùn)動(dòng) 軌跡；通信模塊，用于將眼部初始位置與移動(dòng)終端屏幕中的預(yù)設(shè)位置相對(duì)應(yīng)，根據(jù)眼部運(yùn)動(dòng) 軌跡確定用戶注視的功能鍵，按照用戶注視的功能鍵進(jìn)行相應(yīng)的功能操作。
[0009] 本發(fā)明利用眼動(dòng)跟蹤技術(shù)，通過(guò)邊緣檢測(cè)方法在人臉圖像中識(shí)別眼部區(qū)域，在眼 部區(qū)域中定位出眼球區(qū)域，根據(jù)各幀圖像中定位出的眼球區(qū)域，建立眼部運(yùn)動(dòng)軌跡，將眼 部初始位置與移動(dòng)終端屏幕中的預(yù)設(shè)位置相對(duì)應(yīng)，根據(jù)眼部運(yùn)動(dòng)軌跡確定用戶注視的功能 鍵，按照用戶注視的功能鍵進(jìn)行相應(yīng)的功能操作，例如電話呼出功能，這種使用眼動(dòng)跟蹤技 術(shù)進(jìn)行功能鍵操作的方法不同于傳統(tǒng)撥號(hào)方式，可以為用戶提供全新的體驗(yàn)，并且撥號(hào)效 果不受噪雜環(huán)境的影響，可以適用于不能發(fā)出聲音的特定人群以及上肢行動(dòng)不便的特定人 群，為這些特定人群提供人道主義便利，從而增加用戶的黏著性，為運(yùn)營(yíng)商提供差異化營(yíng) 銷(xiāo)、發(fā)展和保留用戶資源的有效手段。
[0010] 通過(guò)以下參照附圖對(duì)本發(fā)明的示例性實(shí)施例的詳細(xì)描述，本發(fā)明的其它特征及其 優(yōu)點(diǎn)將會(huì)變得清楚。

【專(zhuān)利附圖】

【附圖說(shuō)明】
[0011] 為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn) 有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本 發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可 以根據(jù)這些附圖獲得其他的附圖。
[0012] 圖1為本發(fā)明通過(guò)眼動(dòng)跟蹤技術(shù)進(jìn)行功能鍵操作的方法一個(gè)實(shí)施例的流程示意 圖。
[0013] 圖2為本發(fā)明通過(guò)眼動(dòng)跟蹤技術(shù)進(jìn)行功能鍵操作的方法另一實(shí)施例的流程示意 圖。
[0014] 圖3為本發(fā)明通過(guò)眼動(dòng)跟蹤技術(shù)進(jìn)行功能鍵操作的裝置一個(gè)實(shí)施例的結(jié)構(gòu)示意 圖。
[0015] 圖4為本發(fā)明通過(guò)眼動(dòng)跟蹤技術(shù)進(jìn)行功能鍵操作的裝置另一實(shí)施例的裝置示意 圖。

【具體實(shí)施方式】
[0016] 下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完 整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。以下 對(duì)至少一個(gè)示例性實(shí)施例的描述實(shí)際上僅僅是說(shuō)明性的，決不作為對(duì)本發(fā)明及其應(yīng)用或使 用的任何限制。基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有作出創(chuàng)造性勞動(dòng)前提 下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0017] 近年來(lái)，面部識(shí)別與眼動(dòng)跟蹤技術(shù)不斷發(fā)展，隨著智能手機(jī)的普及，前置攝像頭和 大屏幕已成為移動(dòng)終端的主流配置，因此，本發(fā)明提出一種通過(guò)眼動(dòng)跟蹤技術(shù)進(jìn)行功能鍵 操作的技術(shù)。
[0018] 圖1為本發(fā)明通過(guò)眼動(dòng)跟蹤技術(shù)進(jìn)行功能鍵操作的方法一個(gè)實(shí)施例的流程示意 圖。
[0019] 如圖1所示，本實(shí)施例的通過(guò)眼動(dòng)跟蹤技術(shù)進(jìn)行功能鍵操作的方法包括以下步 驟：
[0020] 步驟S101，利用移動(dòng)終端的前置攝像頭采集人臉圖像；
[0021] 具體地，可以采用人臉特征點(diǎn)識(shí)別算法、神經(jīng)網(wǎng)絡(luò)識(shí)別算法、模版識(shí)別算法、整幅 人臉圖像識(shí)別算法等公知算法來(lái)識(shí)別人臉。
[0022] 步驟S102,通過(guò)邊緣檢測(cè)方法在人臉圖像中識(shí)別眼部區(qū)域；
[0023] -種示例性的實(shí)施方式為：計(jì)算人臉圖像數(shù)據(jù)的亮度梯度；按照模值最大的亮度 梯度的一定比例，確定門(mén)檻下限；以模值最大的亮度梯度對(duì)應(yīng)的像素為開(kāi)始點(diǎn)，逐點(diǎn)跟蹤邊 緣路徑，當(dāng)亮度大于或等于門(mén)檻下限時(shí)一直記錄眼部區(qū)域邊緣位置，直到亮度小于門(mén)檻下 限時(shí)停止記錄。
[0024] 步驟S103,在眼部區(qū)域中定位出眼球區(qū)域；
[0025] -種示例性的實(shí)施方式為：以最高的梯度幅值作為閾值，尋找瞳孔區(qū)域的線段； 以瞳孔為圓心，根據(jù)瞳孔周邊像素的差異定位出眼球區(qū)域。
[0026] 進(jìn)一步地，為了減少干擾，還可以對(duì)識(shí)別出的眼部區(qū)域圖像進(jìn)行濾波；和/或通過(guò) 計(jì)算梯度幅值，確定臉部圖像各點(diǎn)鄰域強(qiáng)度的變化值，將鄰域強(qiáng)度變化值大于預(yù)設(shè)范圍的 點(diǎn)關(guān)顯出來(lái)。
[0027] 步驟S104,根據(jù)各幀圖像中定位出的眼球區(qū)域，建立眼部運(yùn)動(dòng)軌跡；
[0028] 一種示例性的實(shí)施方式為：將眼部區(qū)域圖像縮小為預(yù)設(shè)尺寸；簡(jiǎn)化眼部區(qū)域圖像 的色彩，轉(zhuǎn)換為預(yù)設(shè)級(jí)數(shù)的灰度圖像；從灰度圖像中確定差異點(diǎn)，并記錄差異點(diǎn)的位置信 息，包括差異點(diǎn)的坐標(biāo)、差異點(diǎn)在水平方向和堅(jiān)直方向的距離、以及兩個(gè)差異點(diǎn)之間的夾角 和距離；根據(jù)差異點(diǎn)的位置信息，確定眼部運(yùn)動(dòng)軌跡。
[0029] 步驟S105,將眼部初始位置與移動(dòng)終端屏幕中的預(yù)設(shè)位置相對(duì)應(yīng)，根據(jù)眼部運(yùn)動(dòng) 軌跡確定用戶注視的功能鍵，按照用戶注視的功能鍵進(jìn)行相應(yīng)的功能操作。
[0030] 在按照用戶注視的功能鍵進(jìn)行相應(yīng)的功能操作時(shí)，判斷用戶注視功能鍵的時(shí)間是 否達(dá)到預(yù)設(shè)時(shí)間，如果用戶注視功能鍵的時(shí)間達(dá)到預(yù)設(shè)時(shí)間，再按照用戶注視的功能鍵進(jìn) 行相應(yīng)的功能操作。
[0031] 圖2為本發(fā)明通過(guò)眼動(dòng)跟蹤技術(shù)進(jìn)行功能鍵操作的方法另一實(shí)施例的流程示意 圖。
[0032] 如圖2所示，本實(shí)施例的通過(guò)眼動(dòng)跟蹤技術(shù)進(jìn)行功能鍵操作的方法包括以下步 驟：
[0033] 步驟S201，利用移動(dòng)終端的前置攝像頭采集人臉圖像，并識(shí)別人臉。
[0034] 具體地，可以采用人臉特征點(diǎn)識(shí)別算法、神經(jīng)網(wǎng)絡(luò)識(shí)別算法、模版識(shí)別算法、整幅 人臉圖像識(shí)別算法等公知算法來(lái)識(shí)別人臉。
[0035] 由于人類(lèi)的臉、眼部器官的結(jié)構(gòu)外形都很相似，通過(guò)人臉就能找出眼部大致區(qū)域。 但是，眼輪匝肌等肌肉群運(yùn)動(dòng)導(dǎo)致的眨眼、瞪眼等表情，以及不同的拍攝角度、不同背景光 照條件，以及使用者佩戴口罩、眼鏡、頭發(fā)、胡須等，都會(huì)影響眼球運(yùn)動(dòng)捕捉的效果。因此，本 發(fā)明提出邊緣檢測(cè)法進(jìn)行局部圖像處理，標(biāo)識(shí)出數(shù)字圖像中亮度變化明顯的點(diǎn)，以更好地 反映出眼部運(yùn)動(dòng)的實(shí)際變化。
[0036] 步驟S202,通過(guò)邊緣檢測(cè)方法在人臉中識(shí)別眼部區(qū)域，從而圈出眼部肌肉群對(duì)象 與背景間的交界線。具體可以采用以下步驟實(shí)現(xiàn)：
[0037] (1)計(jì)算人臉圖像數(shù)據(jù)的亮度梯度；
[0038] 具體地，可以通過(guò)亮度變化的一階導(dǎo)數(shù)求導(dǎo)來(lái)獲得亮度梯度，例如可以采用如下 公式計(jì)算：
[0039] Γ (x) =-1/2 X I (x-1) +0 X I (x) +12 X I (x+1)
[0040] 其中，I (x)表示像素點(diǎn)x的亮度，Γ (x)表示像素點(diǎn)x的亮度的一階導(dǎo)數(shù)(或稱(chēng) 亮度梯度)。
[0041] (2)按照模值最大的亮度梯度的一定比例，確定門(mén)檻下限；
[0042] (3)以模值最大的亮度梯度對(duì)應(yīng)的像素為開(kāi)始點(diǎn)，逐點(diǎn)跟蹤邊緣路徑，當(dāng)亮度大于 或等于門(mén)檻下限時(shí)一直記錄眼部區(qū)域邊緣位置，直到亮度小于門(mén)檻下限時(shí)停止記錄。
[0043] 上述邊緣檢測(cè)方法認(rèn)為邊緣是連續(xù)的界線，能夠跟蹤到眼部運(yùn)動(dòng)變化細(xì)節(jié)，而不 會(huì)將圖像中的噪聲點(diǎn)標(biāo)記為邊緣，也不會(huì)將有用信號(hào)過(guò)濾掉。
[0044] 步驟S203,由于識(shí)別眼部區(qū)域過(guò)程中的導(dǎo)數(shù)計(jì)算對(duì)噪聲很敏感，為了改善與噪聲 相關(guān)的邊緣檢測(cè)性能，可以對(duì)識(shí)別出的眼部區(qū)域圖像進(jìn)行濾波，減少實(shí)際拍攝中抖動(dòng)、光線 等因素的干擾，突顯出眼部區(qū)域特征，達(dá)到增強(qiáng)邊緣和降低噪聲的折中；
[0045] 具體的，濾波采用的濾波函數(shù)如下：
[0046]

【權(quán)利要求】
1. 一種通過(guò)眼動(dòng)跟蹤技術(shù)進(jìn)行功能鍵操作的方法，包括： 利用移動(dòng)終端的前置攝像頭采集人臉圖像； 通過(guò)邊緣檢測(cè)方法在人臉圖像中識(shí)別眼部區(qū)域； 在眼部區(qū)域中定位出眼球區(qū)域； 根據(jù)各幀圖像中定位出的眼球區(qū)域，建立眼部運(yùn)動(dòng)軌跡； 將眼部初始位置與移動(dòng)終端屏幕中的預(yù)設(shè)位置相對(duì)應(yīng)，根據(jù)眼部運(yùn)動(dòng)軌跡確定用戶注 視的功能鍵，按照用戶注視的功能鍵進(jìn)行相應(yīng)的功能操作。
2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述通過(guò)邊緣檢測(cè)方法在人臉圖像中識(shí) 別眼部區(qū)域包括： 計(jì)算人臉圖像數(shù)據(jù)的亮度梯度； 按照模值最大的亮度梯度的一定比例，確定門(mén)榲下限； 以模值最大的亮度梯度對(duì)應(yīng)的像素為開(kāi)始點(diǎn)，逐點(diǎn)跟蹤邊緣路徑，當(dāng)亮度大于或等于 門(mén)檻下限時(shí)一直記錄眼部區(qū)域邊緣位置，直到亮度小于門(mén)檻下限時(shí)停止記錄。
3. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述在眼部區(qū)域中定位出眼球區(qū)域包括： 以最高的梯度幅值作為閾值，尋找瞳孔區(qū)域的線段；以瞳孔為圓心，根據(jù)瞳孔周邊像素 的差異定位出眼球區(qū)域。
4. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)各幀圖像中定位出的眼球區(qū)域， 建立眼部運(yùn)動(dòng)軌跡包括： 將眼部區(qū)域圖像縮小為預(yù)設(shè)尺寸； 簡(jiǎn)化眼部區(qū)域圖像的色彩，轉(zhuǎn)換為預(yù)設(shè)級(jí)數(shù)的灰度圖像； 從灰度圖像中確定差異點(diǎn)，并記錄差異點(diǎn)的位置信息，包括差異點(diǎn)的坐標(biāo)、差異點(diǎn)在水 平方向和堅(jiān)直方向的距離、以及兩個(gè)差異點(diǎn)之間的夾角和距離； 根據(jù)差異點(diǎn)的位置信息，確定眼部運(yùn)動(dòng)軌跡。
5. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括： 對(duì)識(shí)別出的眼部區(qū)域圖像進(jìn)行濾波，以減少干擾； 和/或 通過(guò)計(jì)算梯度幅值，確定臉部圖像各點(diǎn)鄰域強(qiáng)度的變化值，將鄰域強(qiáng)度變化值大于預(yù) 設(shè)范圍的點(diǎn)突顯出來(lái)。
6. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述按照用戶注視的功能鍵進(jìn)行相應(yīng)的 功能操作包括： 判斷用戶注視功能鍵的時(shí)間是否達(dá)到預(yù)設(shè)時(shí)間，如果用戶注視功能鍵的時(shí)間達(dá)到預(yù)設(shè) 時(shí)間，再按照用戶注視的功能鍵進(jìn)行相應(yīng)的功能操作。
7. -種通過(guò)眼動(dòng)跟蹤技術(shù)進(jìn)行功能鍵操作的裝置，包括： 圖像采集模塊，用于利用移動(dòng)終端的前置攝像頭采集人臉圖像； 眼部識(shí)別模塊，用于通過(guò)邊緣檢測(cè)方法在人臉圖像中識(shí)別眼部區(qū)域； 眼球定位模塊，用于在眼部區(qū)域中定位出眼球區(qū)域； 眼部軌跡建立模塊，用于根據(jù)各幀圖像中定位出的眼球區(qū)域，建立眼部運(yùn)動(dòng)軌跡； 通信模塊，用于將眼部初始位置與移動(dòng)終端屏幕中的預(yù)設(shè)位置相對(duì)應(yīng)，根據(jù)眼部運(yùn)動(dòng) 軌跡確定用戶注視的功能鍵，按照用戶注視的功能鍵進(jìn)行相應(yīng)的功能操作。
8. 根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述眼部識(shí)別模塊，具體用于： 計(jì)算人臉圖像數(shù)據(jù)的亮度梯度； 按照模值最大的亮度梯度的一定比例，確定門(mén)榲下限； 以模值最大的亮度梯度對(duì)應(yīng)的像素為開(kāi)始點(diǎn)，逐點(diǎn)跟蹤邊緣路徑，當(dāng)亮度大于或等于 門(mén)檻下限時(shí)一直記錄眼部區(qū)域邊緣位置，直到亮度小于門(mén)檻下限時(shí)停止記錄。
9. 根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述眼球定位模塊，具體用于： 以最高的梯度幅值作為閾值，尋找瞳孔區(qū)域的線段；以瞳孔為圓心，根據(jù)瞳孔周邊像素 的差異定位出眼球區(qū)域。
10. 根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述眼部軌跡建立模塊，具體用于： 將眼部區(qū)域圖像縮小為預(yù)設(shè)尺寸； 簡(jiǎn)化眼部區(qū)域圖像的色彩，轉(zhuǎn)換為預(yù)設(shè)級(jí)數(shù)的灰度圖像； 從灰度圖像中確定差異點(diǎn)，并記錄差異點(diǎn)的位置信息，包括差異點(diǎn)的坐標(biāo)、差異點(diǎn)在水 平方向和堅(jiān)直方向的距離、以及兩個(gè)差異點(diǎn)之間的夾角和距離； 根據(jù)差異點(diǎn)的位置信息，確定眼部運(yùn)動(dòng)軌跡。
11. 根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述裝置還包括： 濾波模塊，用于對(duì)識(shí)別出的眼部區(qū)域圖像進(jìn)行濾波，以減少干擾； 和/或 增強(qiáng)模塊，用于通過(guò)計(jì)算梯度幅值，確定臉部圖像各點(diǎn)鄰域強(qiáng)度的變化值，將鄰域強(qiáng)度 變化值大于預(yù)設(shè)范圍的點(diǎn)突顯出來(lái)。
12. 根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述通信模塊在按照用戶注視的功能鍵 進(jìn)行相應(yīng)的功能操作時(shí)具體用于： 判斷用戶注視功能鍵的時(shí)間是否達(dá)到預(yù)設(shè)時(shí)間，如果用戶注視功能鍵的時(shí)間達(dá)到預(yù)設(shè) 時(shí)間，再按照用戶注視的功能鍵進(jìn)行相應(yīng)的功能操作。
【文檔編號(hào)】G06F3/01GK104216508SQ201310211036
【公開(kāi)日】2014年12月17日 申請(qǐng)日期:2013年5月31日 優(yōu)先權(quán)日:2013年5月31日
【發(fā)明者】黃挺, 孫隆 申請(qǐng)人:中國(guó)電信股份有限公司