一種利用眼睛視線來實現密碼輸入的方法及其硬件裝置制造方法
【專利摘要】本發明涉及一種利用眼睛視線來實現密碼輸入的方法及其硬件裝置，該硬件裝置包括攝像單元、顯示器單元以及處理單元，該方法包括以下步驟：由攝像單元拍攝臉部圖像，然后形成積分數值圖像，使用Adaboost遍歷該積分數值圖像并進行聯級檢測以確定包含有使用者眼睛的目標區域，確定該目標區域中左右眼的瞳孔中心以及內眼角點的位置，并根據幾何關系確定視線焦點在該顯示器單元上的具體位置，以完成輸入密碼。本發明的方法相對于現有技術更安全、更快捷方便、輸入準確度更高，而且其所需的硬件配置更簡單，節約了成本。
【專利說明】-種利用眼睛視線來實現密碼輸入的方法及其硬件裝置

【技術領域】
[0001] 本發明涉及模式識別技術以及圖像處理技術，特別地涉及一種計算眼睛視線焦點 來實現密碼輸入的方法及其硬件裝置。

【背景技術】
[0002] 隨著科技的發展，盜竊密碼的技術也在不斷地進步，對傳統物理鍵盤的密碼輸入 方式造成嚴重的安全威脅。但目前傳統物理鍵盤的密碼輸入方式依然占據著主流位置，例 如隨處可見的ATM機仍然采用九宮格的物理鍵盤進行密碼的輸入，安全性較低。于是，亟需 一種保密性高又能大規模推廣的新型密碼輸入方式。
[0003] 眼睛是人類心靈的窗口，通過眼睛來傳遞信息符合自然的交互方式。近年來，計算 設備的性能大幅提高，再加上模式識別算法的精確度有顯著的進展，為眼控密碼輸入的新 型密碼輸入方式提供了技術實現的基礎。
[0004] 中國專利CN 103077338 A公開了一種視線追蹤密碼輸入方法和裝置，包括下列步 驟：一攝影單元對一區域連續擷取影像，該攝影單元所擷取的影像傳送至一運算單元，其中 當一人員接近該攝影單元且該人員的眼睛進入該區域時，該攝影單元連續擷取該人員的該 眼睛的影像，該運算單元判斷該人員的眼睛注視輸入區中的某一位置，將該位置所顯示的 字符作為密碼輸入，該運算單元將該至少兩個輸入的字符與一默認的密碼做比對，若輸入 的字符與默認的密碼相符，則人員通過認證。然而，該發明僅僅公開了由攝像單元拍攝人員 眼睛的影像，以判斷該人員所注視的輸入區的字符，并未具體公開該裝置如何確定人員眼 睛所注視的輸入區的方法，盡管該發明可以通過運算單元將至少兩個輸入字符與默認的密 碼做比對，并由人員通過認證，從而確保密碼輸入的正確性，但是由于上述確認密碼步驟的 存在，使得密碼輸入過程復雜化并且增加了密碼輸入的耗時。
[0005] 中國專利CN 102129554 B公開了一種基于視線跟蹤的密碼輸入控制方法，該密碼 輸入控制方法包括具體包括以下步驟：（1)人臉圖像預處理及人眼特征參數提取：根據人 臉的結構特性進行人臉檢測并在符合人臉結構特性的人臉區域內進行人眼特征參數的提 取；（2)估計當前注視點位置：采用基于相似三角形的雙光源視線跟蹤實現從人眼特征參 數到當前注視點位置的估計；（3)根據注視點位置進行密碼輸入操作控制：根據注視點的 位置，利用時間門限及聲音反饋來控制密碼輸入的操作。然而，這種方法還需要在屏幕的兩 個底角以及例如左上角的三個不同位置設置紅外光源，以確定人員的眼睛瞳孔所注視的當 前視點位置，這不僅增加了密碼輸入的硬件設備，而且將紅外光源設置于特定位置時，需要 保證紅外光源的位置正確，有利于人員眼睛瞳孔的當前視點位置的計算，這樣會使得硬件 配置要求復雜化。


【發明內容】

[0006] 本發明的目的，就是克服現有技術的不足，提供一種更安全、更快捷方便、輸入準 確度更高的利用眼睛視線來實現密碼輸入的方法。
[0007] 本發明的目的還在于提供一種對硬件配置要求更少、結構更簡單的密碼輸入硬件 裝直。
[0008] 為了達到上述目的，采用如下技術方案：
[0009] (1)設置顯示器單元以及攝像單元，該攝像單元位于該顯示器單元以外的任意位 置，并朝向使用者的臉部，該顯示器單元顯示虛擬鍵盤，該使用者注視該虛擬鍵盤上的特定 字符；
[0010] (2)該攝像單元拍攝使用者的臉部圖像，并對該臉部圖像進行顏色空間轉換處理， 以將該臉部圖像從彩色轉換為灰度圖像；
[0011] (3)計算該灰度圖像的各點像素積分數值，以形成積分數值圖像；
[0012] (4)訓練若干個不同的Adaboost分類器，其中該若干個不同的分類器為弱分 類器，該弱分類器根據使用者預設的不同的級別，集合并形成各級強分類器，然后使用 Adaboost遍歷該積分數值圖像并進行級聯檢測，以計算每個具有haar特征的該弱分類器 的特征值，判斷該積分數值圖像是否通過該各級強分類器，從而檢測相對應的該圖像是否 包含使用者的眼睛；
[0013] (5)定義包含使用者的眼睛區域為目標區域，確定該目標區域中左右眼的瞳孔中 心以及內眼角點的位置；
[0014] (6)根據該兩個瞳孔中點以及該兩個內眼角點建立視線模型，根據該視線模型以 及幾何關系，確定視線焦點在該顯示器單元上的具體位置；
[0015] (7)該視線焦點在該虛擬鍵盤的該具體位置上停留特定時間，確定該具體位置所 顯示的字符為使用者需要輸入的密碼值。
[0016] 根據一個實施例，步驟（2)中的將該圖像從彩色轉換為灰度圖像，所采用的計算 公式為： Y = 0. 257 R+0. 564 G+0. 098 B 其中，Y為灰值度，R為紅色分量，G為綠色分量，B為藍色分量。
[0017] 根據一個實施例，步驟（3)中的計算該灰度圖像的各點像素積分數值，當各點像 素積分數值的haar特征為非傾斜矩形，像素點（X，y)位于非零行列時，所采用的計算公式 為： ii (x, y) = ii (χ, y_l)+ii (x-1, y)_ii (x-1, y-l)+p(x_l, y_l) 其中，（x，y)表示該像素點的坐標，ii (x, y)表示該像素點（x，y)的積分值，P(x, y)表 示該像素點（χ，y)的灰度值。
[0018] 根據一個實施例，步驟（3)中的計算該灰度圖像的各點像素積分數值，當各點像 素積分數值的haar特征為傾斜矩陣，像素點（X，y)位于非零行列時，所采用的計算公式 為： ii (x, y) = ii (x-1, y_l)+ii (x+1, y_l)_ii (χ, y_2)+p(x_l, y-l)+p(x-l, y-2) 其中，（x，y)表示該像素點的坐標，ii (x, y)表示該像素點（x，y)的積分值，P(x, y)表 示該像素點（χ，y)的灰度值。
[0019] 根據一個實施例，步驟（4)中Adaboost中的haar特征包括線性特征的haar矩形、 邊緣特征的haar矩形、中心特征的haar矩形和對角線特征的haar矩形，該haar矩形的尺 寸大小根據使用者預設的檢測精度和運算量可調，該haar矩形的特征值采用積分圖的方 式來計算。
[0020] 根據一個實施例，步驟（4)中的該各級強分類器的數量以及每個該強分類器所包 含的弱分類器的數量根據使用者預設的檢測精度和運算量可調。
[0021] 根據一個實施例，步驟（6)中的該視線模型根據幾何關系，將該兩個瞳孔中點與 該兩個內眼角點之間的向量投影在該顯示器單元平面上，以確定該視線焦點在該顯示器單 元上的具體位置。
[0022] 根據一個實施例，保持該圖像的尺寸不變，以設定比例放大遍歷該積分數值圖像 的檢測窗口，以檢測不同使用者的眼睛，選取尺寸最大的使用者的眼睛區域作為目標區域。
[0023] 本發明的目的還可以通過一種利用眼睛視線來實現密碼輸入的硬件裝置來實現， 其包括：攝像單元；顯示器單元；以及處理單元，其中，該攝像單元位于顯示器單元以外的 任意位置，朝向并持續拍攝使用者的臉部，該顯示器單元顯示虛擬鍵盤，該處理單元用于處 理該攝像單元所拍攝的使用者的臉部圖像，以確定使用者的視線焦點在該顯示器單元上的 具體位置。
[0024] 根據一個實施例，該處理單元可以為個人計算機、嵌入式系統或現場可編程門陣 列系統FPGA。
[0025] 與現有技術相比，本發明的有益效果在于：
[0026] 通過本發明的上述方法以及硬件裝置，可以獲得使用者眼睛的圖像，并且通過處 理單元對圖像的處理和計算，建立視線模型，從而估計得出使用者的視線焦點在顯示器單 元上的具體位置，并將對應位置上的字符作為輸入密碼。這種方法以及硬件裝置相對于現 有技術而言，不需要設置紅外光源以對準使用者的瞳孔，并且攝像單元只需要設置在正面 朝向使用者臉部的位置，對圖像的處理、視線模型的建立以及密碼的輸入更多地依靠處理 單元的內置程序來完成。因此，本發明所需的硬件數量更少、結構更簡單，并且無需額外配 置光源，硬件如攝像單元的安裝位置的精確度要求更低，便于使用者安裝；其次，本發明通 過建立視線模型以估計使用者視線焦點所注視的具體位置，其校準步驟以及確認輸入的密 碼步驟更為靈活，節省了使用者輸入密碼的耗時；另外，本發明可以適應不同使用者的眼睛 尺寸以估計其視線焦點所注視的具體位置，適用于任何利用眼睛視線來實現密碼輸入的場 合。

【專利附圖】

【附圖說明】
[0027] 圖1是根據本發明實施例的利用眼睛視線來實現密碼輸入的方法流程圖。
[0028] 圖2是根據本發明實施例的改進Susan算子的檢測模板圖。
[0029] 圖3是根據本發明實施例的建立視線模型示意圖。

【具體實施方式】
[0030] 下面將結合附圖以及具體實施方法來詳細說明本發明，在本發明的示意性實施及 說明用來解釋本發明，但并不作為對本發明的限定。
[0031] 圖1是根據本發明實施例的利用眼睛視線來實現密碼輸入的方法流程圖。在步驟 1中，攝像單元設置在顯示器單元的正上方，并且正面朝向使用者的臉部，顯示器單元，例如 屏幕可以顯示虛擬鍵盤，該虛擬鍵盤的鍵可以是數字、字母和/或特殊符號。當使用者注視 虛擬鍵盤的某個鍵達到一特定時間，處理單元，例如個人計算機嵌入式系統或FPGA系統可 確定該鍵所顯示的字符為對應的輸入密碼。
[0032] 攝像單元拍攝使用者的臉部圖像，然后將圖像傳送至處理單元進行顏色空間轉換 處理，以將該圖像從彩色轉換為灰度圖像，在此轉換過程中采用以下公式： Y = 0. 257 R+0. 564 G+0. 098 B
[0033] 其中，Y是灰度值，R是紅色分量，G是綠色分量，B是藍色分量。
[0034] 計算步驟1所得出的灰度圖像的各點像素積分數值，以形成積分數值圖像。
[0035] 在本實施例中，設置灰度圖像的坐標原點為（0,0),各點像素的坐標為（X, y),當 各點像素積分數值的haar特征為非傾斜矩形，其積分數值根據以下計算方法進行計算：
[0036] 如果像素點（X，y)位于該灰度圖像的第0行的第0列，該像素點的積分數值為： ii (x, y) = p(x-l, y-1)
[0037] 如果像素點（χ，y)位于該灰度圖像的第0行的非零列，該像素點的積分數值為： ii (x, y) = ii (x-1, y)+p(x-l, y-1)
[0038] 如果像素點（x，y)位于該灰度圖像的非零行的第0列，該像素點的積分數值為： ii (x, y) = ii (χ, y-l)+p(x_l, y-1)
[0039] 如果像素點（x，y)位于該灰度圖像的非零行列，該像素點的積分數值為： ii (x, y) = ii (χ, y_l)+ii (x-1, y)_ii (x-1, y-l)+p(x_l, y-1)
[0040] 其中，ii (x, y)表示該像素點（x, y)的積分值，p(x, y)表示該像素點（x, y)的灰 度值。
[0041] 而當各點像素積分數值的haar特征為傾斜矩形，其積分數值根據以下計算方法 進行計算：
[0042] 如果像素點（X，y)位于該灰度圖像的第0行，該像素點的積分數值為： ii (x, y) = 0
[0043] 如果像素點（x，y)位于該灰度圖像的第1行的第0列，該像素點的積分數值為： ii (x, y) = 0
[0044] 如果像素點（x，y)位于該灰度圖像的第1行的非零列，該像素點的積分數值為： ii (x, y) = p (x-1, y-1)
[0045] 如果像素點（x，y)位于該灰度圖像的第0、1行以外的行時，則根據以下情況進行 計算：
[0046] 如果像素點（X，y)位于該灰度圖像的第0列，該像素點的積分數值為： ii (x, y) = ii (x+1, y-1)
[0047] 其中，ii (x, y)表示該像素點（x, y)的積分值，p(x, y)表示該像素點（x, y)的灰 度值。
[0048] 在步驟2中，訓練若干個不同的Adaboost分類器，這些若干個不同的Adaboost 分類器構成弱分類器。各個該弱分類器均具有haar特征，根據使用者的需要，可以設定 Adaboost的遍歷檢測精度和運算量以控制haar特征（haar矩形）的尺寸，由此控制各級強 分類器的數量以及每個強分類器所包含的弱分類器的數量，其中，haar矩形的特征值采用 積分數值圖像的方式來計算。
[0049] 上述haar特征包括線性特征的haar矩形、邊緣特征的haar矩形、中心特征的 haar矩形和對角線特征的haar矩形。
[0050] 在步驟3中，使用Adaboost遍歷該積分數值圖像并進行聯級檢測，其包括以下步 驟：首先，各級強分類器所包含的各個弱分類器均需要對該積分數值圖像進行檢測。在處理 單元中通過一子窗口打開該積分數值圖像，以一強分類器中的一弱分類器遍歷該子窗口的 圖像。通過該弱分類器的haar矩形的頂點坐標，可以在該積分數值圖像上所引導相應位置 的像素點，從而得到該像素點的積分數值，用于計算該弱分類器的haar矩形的特征值Θ。
[0051] 為補償光照的影響，各個弱分類器所設定的閾值都需要添加光照補償。光照補償 可以采用以下公式： th_c = th X S X σ S = [(WIDTH-2) X scale]X [(HEIGHT-2) X scale]

【權利要求】
1. 一種利用眼睛視線來實現密碼輸入的方法，所述方法包括以下步驟： (1) 設置顯示器單元以及攝像單元，所述攝像單元位于所述顯示器單元以外的任意位 置，并朝向使用者的臉部，所述顯示器單元顯示虛擬鍵盤，所述使用者注視所述虛擬鍵盤上 的特定字符； (2) 所述攝像單元拍攝使用者的臉部圖像，并對所述臉部圖像進行顏色空間轉換處理， 以將所述臉部圖像從彩色轉換為灰度圖像； (3) 計算所述灰度圖像的各點像素積分數值，以形成積分數值圖像； (4) 訓練若干個不同的Adaboost分類器，其中所述若干個不同的分類器為弱分類 器，所述弱分類器根據使用者預設的不同的級別，集合并形成各級強分類器，然后使用 Adaboost遍歷所述積分數值圖像并進行級聯檢測，以計算每個具有haar特征的所述弱分 類器的特征值，判斷所述積分數值圖像是否通過所述各級強分類器，從而檢測相對應的所 述臉部圖像是否包含使用者的眼睛； (5) 定義包含使用者眼睛的區域為目標區域，確定所述目標區域中左右眼的瞳孔中心 以及內眼角點的位置； (6) 根據所述兩個瞳孔中點以及所述兩個內眼角點建立視線模型，根據所述視線模型 以及幾何關系，確定視線焦點在所述顯示器單元上的具體位置； (7) 所述視線焦點在所述虛擬鍵盤的所述具體位置上停留特定時間，確定所述具體位 置所顯示的字符為使用者需要輸入的密碼值。
2. 根據權利要求1所述的方法，其特征在于，所述步驟（2)中的將所述圖像從彩色轉換 為灰度圖像，所采用的計算公式為： Y = 0. 257 R+0. 564 G+0. 098 B 其中，Y是灰度值，R是紅色分量，G是綠色分量，B是藍色分量。
3. 根據權利要求1所述的方法，其特征在于，所述步驟（3)中的計算所述灰度圖像的各 點像素積分數值，當各點像素積分數值的haar特征為非傾斜矩形，像素點（X，y)位于非零 行列時，所采用的計算公式為： ii (x, y) = ii (χ, y_l)+ii (x-1, y)_ii (x-1, y-l)+p(x_l, y_l) 其中，（x，y)表示所述像素點的坐標，ii(x，y)表示所述像素點（x，y)的積分值，P(x，y) 表示所述像素點（χ，y)的灰度值。
4. 根據權利要求1所述的方法，其特征在于，所述步驟（3)中的計算所述灰度圖像的各 點像素積分數值，當各點像素積分數值的haar特征為傾斜矩陣，像素點（X，y)位于非零行 列時，所采用的計算公式為： ii (x, y) = ii (x-1, y_l)+ii (x+1, y_l)_ii (χ, y_2)+p(x_l, y-l)+p(x-l, y-2) 其中，（x，y)表示所述像素點的坐標，ii(x，y)表示所述像素點（x，y)的積分值，P(x，y) 表示所述像素點（χ，y)的灰度值。
5. 根據權利要求1所述的方法，其特征在于，所述步驟（4)中Adaboost中的haar特征 包括線性特征的haar矩形、邊緣特征的haar矩形、中心特征的haar矩形和對角線特征的 haar矩形，所述haar矩形的尺寸大小根據使用者預設的檢測精度和運算量可調，所述haar 矩形的特征值采用積分圖的方式來計算。
6. 根據權利要求1所述的方法，其特征在于，所述步驟（4)中的所述各級強分類器的數 量以及每個所述強分類器所包含的弱分類器的數量根據使用者預設的檢測精度和運算量 可調。
7. 根據權利要求1所述的方法，其特征在于，所述步驟￠)中的所述視線模型根據幾 何關系，將所述兩個瞳孔中點與所述兩個內眼角點之間的向量投影在所述顯示器單元平面 上，以確定所述視線焦點在所述顯示器單元上的具體位置。
8. 根據權利要求1所述的方法，進一步包括以下步驟：保持所述圖像的尺寸不變，以設 定比例放大遍歷所述積分數值圖像的檢測窗口，以檢測不同使用者的眼睛，選取尺寸最大 的使用者的眼睛區域作為目標區域。
9. 一種利用眼睛視線來實現密碼輸入的硬件裝置，所述硬件裝置包括： _攝像單兀； -顯示器單元；以及 -處理單元， 其特征在于，所述攝像單元位于顯示器單元以外的任意位置，朝向并持續拍攝使用者 的臉部，所述顯示器單元顯示虛擬鍵盤，所述處理單元用于處理所述攝像單元所拍攝的使 用者的臉部圖像，以確定使用者的視線焦點在所述顯示器單元上的具體位置。
10. 根據權利要求9所述的硬件裝置，其特征在于，所述處理單元可以為個人計算機、 嵌入式系統或現場可編程門陣列系統FPGA。
【文檔編號】G06F21/31GK104156643SQ201410361283
【公開日】2014年11月19日 申請日期:2014年7月25日 優先權日:2014年7月25日
【發明者】龐志勇, 陳弟虎, 張媛 申請人:中山大學