專利名稱：基于soc的視線跟蹤人機(jī)交互方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及SOC (片上系統(tǒng))設(shè)計(jì)技術(shù)，視覺跟蹤算法屬于圖像處理和模式識(shí)別技 術(shù)領(lǐng)域，具體是一種基于SOC的視線跟蹤人機(jī)交互裝置。
背景技術(shù)：
人眼視線在人機(jī)交互中扮演重要角色，它具有直接、自然和雙向等優(yōu)點(diǎn)。目前視 線跟蹤技術(shù)剛起步，未達(dá)到實(shí)用階段，成功的實(shí)用性項(xiàng)目很少并且價(jià)格昂貴，對(duì)硬件的要求 高。視覺跟蹤技術(shù)一般可以分為兩類，接觸式和非接觸式。接觸式的精度高，但用戶須穿戴 特殊器具，這會(huì)給用戶帶來很大的不舒適。非接觸式一般采用基于視頻圖像處理的辦法，通 過分析人眼部分圖像判定視線方向，不對(duì)用戶產(chǎn)生干擾，使用更加方便。基于視線跟蹤的人機(jī)交互裝置，目前研究的主要方向是基于計(jì)算機(jī)平臺(tái)或性能較 高的嵌入式處理器，純軟件運(yùn)行的，但由于其算法計(jì)算復(fù)雜度高，占用系統(tǒng)資源多，不利于 用戶利用此系統(tǒng)在計(jì)算機(jī)上做其他復(fù)雜的操作。鑒于純軟件實(shí)現(xiàn)視線跟蹤算法在人機(jī)交互 裝置上的局限性，可利用硬件邏輯的并行性及流水線操作，將視線跟蹤算法中計(jì)算量較大 部分用硬件實(shí)現(xiàn)，大大提高算法的執(zhí)行效率。經(jīng)對(duì)現(xiàn)有技術(shù)文獻(xiàn)的檢索發(fā)現(xiàn)，尚未有報(bào)道過 有基于SOC的視線跟蹤人機(jī)交互方法及裝置。

發(fā)明內(nèi)容
本發(fā)明克服現(xiàn)有視線跟蹤技術(shù)中的不足，提供基于SOC的視線跟蹤人機(jī)交互方法 及裝置。本發(fā)明通過合理的軟硬件劃分，在SOC平臺(tái)上實(shí)現(xiàn)，把復(fù)雜度較高部分即人眼區(qū)域 檢測(cè)部分用硬件實(shí)現(xiàn)，大大提高算法的執(zhí)行效率。本發(fā)明通過如下技術(shù)方案實(shí)現(xiàn)一種基于SOC的視線跟蹤人機(jī)交互方法，該方法包括如下步驟(1)攝像頭將采集到的數(shù)字圖像輸入到SOC平臺(tái)，采用硬件邏輯模塊實(shí)現(xiàn)基于 haar特征的Adaboost檢測(cè)算法，對(duì)所述數(shù)字圖像進(jìn)行人眼區(qū)域的檢測(cè)；(2)根據(jù)檢測(cè)到的人眼區(qū)域，利用視線方向判別算法，判別出用戶視線，再將用戶 視線方向轉(zhuǎn)化為鼠標(biāo)控制信號(hào)通過USB傳輸給計(jì)算機(jī)，實(shí)現(xiàn)人機(jī)交互。上述的人機(jī)交互方法中，所述硬件邏輯模塊包括如下模塊積分模塊，完成數(shù)字圖像的積分與平方積分的計(jì)算，并將計(jì)算結(jié)果存放在存儲(chǔ)器 上；子窗口掃描模塊，對(duì)整幀數(shù)字圖像子窗口的橫坐標(biāo)和縱坐標(biāo)按設(shè)定步長(zhǎng)進(jìn)行遍歷，得出 待測(cè)子窗口的坐標(biāo)及長(zhǎng)寬；子窗口處理模塊，判定待測(cè)子窗口是否為人眼子窗口 ；子窗口融合模塊，對(duì)判定出的所有人眼子窗口進(jìn)行融合處理，即整合位置相近的 窗口，然后重新調(diào)整人眼窗口位置，確定人眼區(qū)域。上述的人機(jī)交互方法中，所述子窗口處理模塊是根據(jù)采用Modesto CastriΙ η訓(xùn) 練的右眼分類器，運(yùn)用Cascade級(jí)聯(lián)方法實(shí)現(xiàn)子窗口處理，具體步驟包括首先提取右眼分 類器的haar特征參數(shù)；將haar特征參數(shù)具體化，即將haar特征參數(shù)與掃描后的子窗口大小進(jìn)行匹配，再根據(jù)具體化后haar特征參數(shù)中矩形區(qū)域的位置讀取積分模塊計(jì)算出的積分?jǐn)?shù)據(jù)，最后運(yùn)用Cascade級(jí)聯(lián)方法確定人眼子窗口。上述的人機(jī)交互方法中，所述運(yùn)用Cascade級(jí)聯(lián)方法確定人眼子窗口是將多個(gè)右 眼弱分類器加權(quán)組成右眼強(qiáng)分類器，再將20級(jí)右眼強(qiáng)分類器串聯(lián)完成人眼子窗口的確定， 具體步驟包括首先根據(jù)每個(gè)右眼弱分類器中的haar特征參數(shù)及從積分模塊中讀取的積 分?jǐn)?shù)據(jù)，計(jì)算出實(shí)際子窗口的haar特征值，再與當(dāng)前右眼弱分類器的閾值進(jìn)行比較，確定 此右眼弱分類器的權(quán)值，最后將這些右眼弱分類器的權(quán)值進(jìn)行累加，再與右眼強(qiáng)分類器的 閾值做比較，如果大于此閾值，則通過此級(jí)右眼強(qiáng)分類器的驗(yàn)證，進(jìn)入下一級(jí)右眼強(qiáng)分類器 的判別，如果小于此閾值，則認(rèn)為此子窗口為非人眼區(qū)域；當(dāng)子窗口通過20級(jí)右眼強(qiáng)分類 器的驗(yàn)證，則可確定為人眼子窗口。上述的人機(jī)交互方法中，所述視線方向判別算法是根據(jù)位于計(jì)算機(jī)屏幕四個(gè)角上 的四個(gè)LED紅外光源在人眼角膜上形成的四個(gè)反射亮點(diǎn)，即普爾欽斑點(diǎn)，與瞳孔中心之間 的幾何位置關(guān)系計(jì)算視線方向。上述的人機(jī)交互方法中，所述視線方向判別算法具體步驟包括首先采用灰度投 影方法定位瞳孔中心，在以瞳孔中心為中心，在其上下左右30個(gè)像素的區(qū)域內(nèi)搜索普爾欽 斑點(diǎn)，計(jì)算瞳孔中心與所述四個(gè)反射亮點(diǎn)的關(guān)系，確定其視線方向。實(shí)現(xiàn)上述的人機(jī)交互方法的基于SOC的人機(jī)交互裝置，該裝置包括SOC平臺(tái)、用于 采集人眼圖像的攝像頭、計(jì)算機(jī)、安裝在計(jì)算機(jī)顯示屏上四個(gè)角且排列成矩形的四個(gè)LED， SOC平臺(tái)包括人眼區(qū)域檢測(cè)硬件邏輯模塊、處理器和存儲(chǔ)器；所述攝像頭將采集到的數(shù)字 圖像輸入到SOC平臺(tái)上的存儲(chǔ)器；計(jì)算機(jī)通過USB與SOC平臺(tái)連接；人眼區(qū)域檢測(cè)硬件邏輯 模塊完成人眼區(qū)域的檢測(cè)，處理器根據(jù)檢測(cè)出的人眼區(qū)域，結(jié)合視線方向判別算法識(shí)別出 用戶視線方向，將與用戶視線方向?qū)?yīng)的控制信號(hào)轉(zhuǎn)化為鼠標(biāo)控制信號(hào)通過USB傳輸給計(jì) 算機(jī)。上述裝置中，所述計(jì)算機(jī)的顯示屏由兩條對(duì)角線分為四個(gè)區(qū)域，SOC平臺(tái)的處理器 根據(jù)用戶眼睛所注視的區(qū)域，將用戶視線分為上、下、左、右四個(gè)方向，模擬鼠標(biāo)移動(dòng)功能， 作為用戶輸入的控制信息，并通過眨眼動(dòng)作用來確認(rèn)視線控制信息、模擬鼠標(biāo)單擊并輸入 用戶確認(rèn)信息。上述裝置中，所述眨眼動(dòng)作是將1 3秒的眨眼動(dòng)作用來發(fā)出確認(rèn)命令信息。本發(fā)明將基于SOC的視線跟蹤技術(shù)應(yīng)用于人機(jī)交互裝置，填補(bǔ)了我國這方面的空 白。通過連接于SOC平臺(tái)的攝像頭跟蹤人眼注視視線，由于屏幕兩條對(duì)角線可以把屏幕分 成四個(gè)區(qū)域，則將人眼注視這四個(gè)區(qū)域的四種不同視線方向作為用戶發(fā)出的四種控制信 息，同時(shí)將1 3秒的閉眼這個(gè)眨眼動(dòng)作用來發(fā)出確認(rèn)命令信息，再將此平臺(tái)連接到計(jì)算 機(jī)，實(shí)現(xiàn)鼠標(biāo)的基本操作功能。與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(diǎn)與積極效果在于1、對(duì)于計(jì)算復(fù)雜度高的視線跟蹤算法，通過合理的軟硬件劃分，在SOC平臺(tái)上，充 分運(yùn)用硬件邏輯的并行性以及流水線等操作，把整個(gè)系統(tǒng)算法運(yùn)算量大的模塊運(yùn)用硬件邏 輯模塊(即人眼區(qū)域檢測(cè)IP核)實(shí)現(xiàn)，大大提高算法的執(zhí)行效率，解決了純軟件實(shí)現(xiàn)算法 占用系統(tǒng)資源多，效率較低的缺陷。2、采用本發(fā)明的視線跟蹤技術(shù)，實(shí)現(xiàn)了一個(gè)占用資源小，實(shí)時(shí)性高的人機(jī)交互裝置，具體功能有可以用視線實(shí)現(xiàn)計(jì)算機(jī)的基本操作，如打開網(wǎng)頁，電子書的上下翻頁等；可以作為虛擬現(xiàn)實(shí)的人機(jī)交互裝置，在虛擬現(xiàn)實(shí)環(huán)境中，根據(jù)用戶當(dāng)前的注視狀 態(tài)，提供給用戶相應(yīng)注視方位的場(chǎng)景信息，這樣用戶在不同的方位就會(huì)看到不同的場(chǎng)景，達(dá) 到身臨其境的效果。使人與計(jì)算機(jī)間的交互與現(xiàn)實(shí)世界中的交互方式趨于一致，更為簡(jiǎn)單、 自然、高效。


圖1是本發(fā)明實(shí)施方式中的基于SOC的視線跟蹤人機(jī)交互裝置構(gòu)成框圖。圖2是本發(fā)明實(shí)施方式中顯示屏、紅外光源與攝像頭的布置示意圖。圖3是本發(fā)明實(shí)施方式中視線跟蹤方法的流程示意圖。圖4是本發(fā)明實(shí)施方式中人眼區(qū)域檢測(cè)IP核的流程示意圖。圖5是本發(fā)明實(shí)施方式中子窗口處理流水線示意圖。圖6a 圖6c分別是本發(fā)明實(shí)施方式中haar特征的三種示意圖。圖7是本發(fā)明實(shí)施方式中haar特征求法示意圖。圖8是本發(fā)明實(shí)施方式中普爾欽斑點(diǎn)構(gòu)成矩形的對(duì)角線交點(diǎn)示意圖。
具體實(shí)施例方式下面結(jié)合附圖對(duì)本發(fā)明的具體實(shí)施方式
做進(jìn)一步說明。如圖1、圖2所示，基于SOC的視線跟蹤人機(jī)交互裝置，包括SOC平臺(tái)、用于采集人 眼圖像的攝像頭、計(jì)算機(jī)、安裝在計(jì)算機(jī)顯示屏上四個(gè)角且排列成矩形的四個(gè)LED(紅外光 源)，S0C平臺(tái)包括人眼區(qū)域檢測(cè)硬件邏輯模塊(即人眼區(qū)域檢測(cè)IP核)、處理器和存儲(chǔ)器； 所述攝像頭將采集到的數(shù)字圖像輸入到SOC平臺(tái)上的存儲(chǔ)器；計(jì)算機(jī)通過USB與SOC平臺(tái) 連接；人眼區(qū)域檢測(cè)硬件邏輯模塊完成人眼區(qū)域的檢測(cè)，處理器根據(jù)檢測(cè)出的人眼區(qū)域，結(jié) 合視線方向判別算法識(shí)別出用戶視線方向，再根據(jù)用戶視線方向?qū)⑾鄳?yīng)的控制信號(hào)轉(zhuǎn)化為 鼠標(biāo)控制信號(hào)通過USB傳輸給計(jì)算機(jī)。本實(shí)施方式中，紅外光源是安裝在顯示屏四角的四個(gè)LED燈，攝像頭位于屏幕中 心正下方，攝像頭采集的數(shù)字圖像輸入視線跟蹤模塊。紅外光源在人眼角膜表面形成反射 亮點(diǎn)，即普爾欽斑點(diǎn)，并以普爾欽斑點(diǎn)為基準(zhǔn)點(diǎn)計(jì)算人眼視線方向。紅外光源以及攝像頭擺 放位置如圖1所示，四個(gè)紅外LED燈安裝在屏幕四個(gè)角上，攝像頭放置在屏幕中心正下方。 攝像頭采用640X480像素普通攝像頭，為增加攝像頭對(duì)紅外光源的敏感度，把其鏡頭更換 為對(duì)紅外更敏感的鏡頭，同時(shí)為了避免外界自然光源的影響，在鏡頭前加上濾光片。屏幕上 LED燈與圖像中反射亮點(diǎn)的對(duì)應(yīng)，視線與瞳孔中心位置相對(duì)應(yīng)。四個(gè)反射亮點(diǎn)構(gòu)成一個(gè)矩 形，兩條對(duì)角線把矩形分成四個(gè)區(qū)域，瞳孔中心位于哪個(gè)區(qū)域便代表了人眼視線的方向。本發(fā)明的一個(gè)實(shí)施例，如圖3所示，首先通過攝像頭采集用戶圖像，然后根據(jù)人眼 區(qū)域檢測(cè)IP核檢測(cè)圖像中是否存在人眼來判斷當(dāng)前是否有用戶使用該系統(tǒng)，只有檢測(cè)到 人眼后，才進(jìn)行后續(xù)的處理。在檢測(cè)到人眼的基礎(chǔ)上，通過眨眼狀態(tài)判別算法進(jìn)行判別，如 果判別為閉眼，則通過USB線發(fā)送鼠標(biāo)單擊信號(hào)至計(jì)算機(jī)，如果判別為睜眼，則進(jìn)行視線方 向的判別。再將視線方向信息通過USB線發(fā)送至計(jì)算機(jī)。
本實(shí)施方式中，人眼區(qū)域檢測(cè)IP核的內(nèi)部框架如圖4所示。通過基于haar特征 的Adaboost人眼檢測(cè)算法判斷圖像中是否有人眼存在，具體實(shí)施步驟如下步驟圖像積分。圖像積分模塊完成數(shù)字圖像的積分與平方積分的計(jì)算，并也將計(jì) 算結(jié)果存放在SRAM上；步驟二 子窗口掃描。子窗口掃描模塊完成對(duì)整幀圖像子窗口的遍歷。步驟三子窗口處理。子窗口處理模塊完成對(duì)子窗口是否為人眼窗口的判定。步驟四子窗口融合。子窗口融合模塊，對(duì)檢測(cè)到的所有子窗口進(jìn)行整合，除去相 鄰的人眼子窗口，得出人眼位置。其中步驟一的具體實(shí)施步驟為將圖像像素?cái)?shù)據(jù)存放在SOC平臺(tái)上的存儲(chǔ)器(片 夕卜SRAM)中，用一個(gè)寄存器保存行像素灰度累加值。為了加快運(yùn)算速度，在SOC片內(nèi)生成一 個(gè)RAM，用于保存上一行的積分?jǐn)?shù)據(jù)，以減少對(duì)片外SRAM的訪問。每計(jì)算完一個(gè)坐標(biāo)點(diǎn)的積 分?jǐn)?shù)據(jù)，就把這個(gè)數(shù)據(jù)寫入到外部SRAM中，同時(shí)覆蓋掉片內(nèi)RAM相應(yīng)的積分?jǐn)?shù)據(jù)以便下一 次計(jì)算需要。其中步驟二的具體實(shí)施步驟為用一個(gè)狀態(tài)機(jī)實(shí)現(xiàn)對(duì)子窗口的遍歷。首先，對(duì)整幀 數(shù)字圖像子窗口的橫坐標(biāo)和縱坐標(biāo)按設(shè)定步長(zhǎng)進(jìn)行遍歷，之后乘上放大系數(shù)，再次進(jìn)行橫 縱遍歷，得出待測(cè)子窗口的坐標(biāo)及長(zhǎng)寬。其中步驟三的具體實(shí)施步驟為采用Modesto Castrillon訓(xùn)練的右眼分類器 特征，運(yùn)用Cascade級(jí)聯(lián)的方法實(shí)現(xiàn)子窗口處理，具體步驟包括首先提取右眼分類器的 haar特征參數(shù)；將haar特征參數(shù)具體化，即將haar特征參數(shù)與掃描后的子窗口大小進(jìn)行 匹配，再根據(jù)haar特征參數(shù)中矩形區(qū)域的位置讀取積分模塊計(jì)算出的積分?jǐn)?shù)據(jù)，最后運(yùn)用 Cascade級(jí)聯(lián)的方法確定人眼子窗口。為了加快處理速度，將右眼分類器數(shù)據(jù)保存在SOC片 內(nèi)開辟的ROM上。從已發(fā)布的OpenCV 1. O中的.xml文件中讀取出右眼分類器數(shù)據(jù)，保存 為.mif文件格式用于初始化ROM。如圖5所示，應(yīng)用硬件邏輯的并行計(jì)算能力對(duì)于每個(gè)分 類器的判別通過流水線處理設(shè)計(jì)。上述步驟三中所述運(yùn)用Cascade級(jí)聯(lián)方法確定人眼子窗口是指將多個(gè)右眼弱分 類器加權(quán)組成右眼強(qiáng)分類器，再將20級(jí)右眼強(qiáng)分類器串聯(lián)完成人眼區(qū)域的檢測(cè)。本發(fā)明中 各級(jí)級(jí)右眼強(qiáng)分類器各由右眼弱分類器10，10，16，20，16，20，24，30，34，38，38，42，44，48， 48，56，52，58，68，64個(gè)組成。具體步驟包括首先根據(jù)每個(gè)弱分類器中的haar特征參數(shù)及 從積分模塊中讀取的積分?jǐn)?shù)據(jù)，計(jì)算出實(shí)際子窗口的haar特征值，再與當(dāng)前右眼弱分類器 的閾值進(jìn)行比較，確定此右眼弱分類器的權(quán)值，最后將這些右眼弱分類器的權(quán)值進(jìn)行累加， 再與右眼強(qiáng)分類器的閾值做比較，如果大于此閾值，則通過此級(jí)右眼強(qiáng)分類器，可進(jìn)入下一 級(jí)右眼強(qiáng)分類器的判別。否則，則認(rèn)為此子窗口為非人眼區(qū)域。當(dāng)子窗口通過20級(jí)右眼強(qiáng) 分類器的驗(yàn)證，則可確定為人眼子窗口。其中haar特征，也叫矩形特征，它對(duì)一些簡(jiǎn)單的圖形結(jié)構(gòu)，比如邊緣、線段，比較 敏感，能描述特定走向(水平、垂直、中心)的結(jié)構(gòu)，如圖6所示，這些特征表征了圖像的局 部haar特征，其中圖(a)中兩個(gè)的矩形特征分別表征了上下和左右邊界特征，圖(b)的矩 形特征表征了細(xì)線特征，圖(c)的矩形特征表征了對(duì)角線特征。眼睛一些特征能夠由矩形 特征簡(jiǎn)單的描繪，例如，眉毛比眼皮的顏色更深，并呈現(xiàn)上下邊界特征，眼睛邊緣比眼皮的 顏色更深，并呈現(xiàn)左右邊界特征。
如圖6所示，haar特征值的求法為白色矩形區(qū)域內(nèi)的所有像素點(diǎn)的和減去灰色矩形區(qū)域中的所有像素點(diǎn)的和。具體計(jì)算步驟為首先根據(jù)haar特征參數(shù)中的矩形區(qū)域的具 體位置，提取矩形區(qū)域四個(gè)點(diǎn)的積分?jǐn)?shù)據(jù)，則可計(jì)算出所要求矩形區(qū)域的所有像素點(diǎn)的和。 如圖7舉例說明，圖中的矩形為待求圖像，A、B、C、D分別為圖像中的幾個(gè)矩形區(qū)域，積分圖 元素值計(jì)算點(diǎn)“1”的積分值是矩形框A中所有像素的像素值之和。點(diǎn)“2”的積分值所對(duì) 應(yīng)的值為A+C，點(diǎn)“3”的積分值是A+B，點(diǎn)“4”的積分值是A+B+C+D，所以D中所有的像素值 之和可以用4+1-(2+3)計(jì)算。因此圖像中任何矩形中所有像素的值之和都可以通過類似如 上的四個(gè)矩形計(jì)算出，即通過四個(gè)點(diǎn)的積分?jǐn)?shù)據(jù)算出。最后對(duì)右眼分類器中haar特征所指 矩形區(qū)域，進(jìn)行像素和的相減，得出haar特征值。其中步驟四的具體實(shí)施步驟為對(duì)判定出的所有人眼子窗口進(jìn)行融合處理，定位 出人眼位置。由于步驟三確定的人眼子窗口不止一個(gè)，而且人眼子窗口之間互相交叉、包含 等情況，我們可以通過他們的位置、大小的條件把將他們合并，減少重復(fù)窗口出現(xiàn)的情況， 即整合位置相近的窗口，然后重新調(diào)整人眼窗口位置。本實(shí)施方式中，眨眼狀態(tài)判別是通過統(tǒng)計(jì)每幀圖像中二值眼部區(qū)域黑色像素的個(gè) 數(shù)，并與前一幀進(jìn)行比較，利用幀間黑色像素個(gè)數(shù)之間的關(guān)系，來判別是否存在人眼由開轉(zhuǎn) 為閉的眨眼動(dòng)作。具體過程如下設(shè)第i幀圖像為Fi，人眼區(qū)域?yàn)镈i1.統(tǒng)計(jì)Fi中，區(qū)域Di灰度值小于150的像素點(diǎn)數(shù)目Ci ；2.統(tǒng)計(jì)Fi+Ι中，區(qū)域Di灰度值小于150的像素點(diǎn)數(shù)目Ci'；3.若Ci/Ci ‘ > 0.9,則認(rèn)為可能出現(xiàn)閉眼事件；4.若出現(xiàn)可能的閉眼事件后連續(xù)若干幀檢測(cè)不到眼睛，則確定為閉眼。本實(shí)施方式中，視線方向的判定是通過檢測(cè)瞳孔中心與普爾欽斑點(diǎn)的位置，再通 過幾何計(jì)算求瞳孔中心與普爾欽斑點(diǎn)的位置關(guān)系，從而判別視線方向。具體步驟如下步驟一定位瞳孔中心，并利用瞳孔中心位置與普爾欽斑點(diǎn)的關(guān)系，與普爾欽斑點(diǎn) 的幾何特征，搜索出普爾欽斑點(diǎn)。步驟二通過幾何計(jì)算求取瞳孔中心與普爾欽斑點(diǎn)的位置關(guān)系，從而判別視線方 向；其中步驟一的具體實(shí)施步驟為眼睛區(qū)域中，普爾欽斑點(diǎn)具有以下幾何特征1.位于瞳孔周圍，與瞳孔中心距離小于30像素；2.大小為5 20個(gè)像素不等，灰度值在100以上；3.在眼睛區(qū)域，亮點(diǎn)處的灰度值各有一個(gè)極大值，且在理想條件下，四個(gè)普爾欽斑 點(diǎn)處灰度的突變最大；4.四個(gè)普爾欽斑點(diǎn)之間距離在8 18像素范圍內(nèi)，且近似成矩形關(guān)系；因此通過以下步驟來尋找普爾欽斑點(diǎn)(即亮點(diǎn))1.用水平灰度投影和垂直灰度投影法定位瞳孔的中心，以該中心的上下左右各 30個(gè)像素的范圍作為搜索區(qū)域；2.在搜索區(qū)域內(nèi)尋求灰度極值點(diǎn)，即尋找灰度值滿足以下條件的點(diǎn)集G g (x0, y0)≥ max {g (χ, y)}, g (χ0, y0) > 100
其中g(shù)(x0，y0)為(x0，y0)點(diǎn)的灰度值。3.用如下所示的Laplace算子對(duì)點(diǎn)集G中每一個(gè)點(diǎn)與其周圍點(diǎn)進(jìn)行卷積，求出每 個(gè)點(diǎn)g處的微分f。<formula>formula see original document page 9</formula>由于Laplace算子是一種各向同性的微分算子，它的作用是強(qiáng)調(diào)圖像中灰度突變 的區(qū)域，Laplace卷積中值越大，說明該處灰度的突變?cè)酱蟆２捎?X5的Laplace算子，可 以進(jìn)一步避免噪聲干擾；4.對(duì)點(diǎn)集G按其微分值f進(jìn)行排序，選擇f最大的四個(gè)點(diǎn)PO P3，作為候選點(diǎn)；5.檢驗(yàn)PO P3，若能形成矩形，則確定PO P3為四個(gè)普爾欽斑點(diǎn)，否則丟棄當(dāng) 前幀圖像。其中步驟二的具體實(shí)施步驟為根據(jù)物理和幾何方法，可確定屏幕與采集圖像的一一對(duì)應(yīng)關(guān)系，即屏幕四個(gè)角的 LED與人眼圖像中四個(gè)亮點(diǎn)相對(duì)應(yīng)，視線方向與瞳孔中心相對(duì)應(yīng)。因此根據(jù)這個(gè)對(duì)應(yīng)關(guān)系， 就可通過采集的人眼圖像判定視線方向，如圖8所示，設(shè)P0、PU P2、P3為檢測(cè)到的四個(gè)普 爾欽斑點(diǎn)，Q為瞳孔中心，利用定比分點(diǎn)公式求出PO P3的對(duì)角線交點(diǎn)0的坐標(biāo)，連結(jié)0Q， 0P0，0P1，0P2，0P3，0P0 0P3把由點(diǎn)PO P3連接成的矩形分割為四個(gè)區(qū)域，計(jì)算OQ處于 哪個(gè)區(qū)域，便可計(jì)算出視線方向。具體方法如下1.根據(jù)附圖3，用計(jì)算幾何的方法求PO P3的對(duì)角線交點(diǎn)0 :由三角形的面積公式和叉積的定義有<formula>formula see original document page 9</formula>其中^A/;,恥為三角形PtlP1P2的面積，^v3P2為三角形PqP3P2的面積。由定比分點(diǎn)的公式，可以求出0點(diǎn)的χ坐標(biāo)為<formula>formula see original document page 9</formula>同理也可以求出0點(diǎn)的y坐標(biāo)。2.連結(jié)00，0 0，0 1，0 2，0 3，則瞳孔中心0所在的區(qū)域可以根據(jù)下列關(guān)系求出區(qū)域0 :0Q落在OPO與OPl之間，對(duì)應(yīng)視線方向?yàn)椤吧稀眳^(qū)域1 :0Q落在OPl與0P2之間，對(duì)應(yīng)視線方向?yàn)椤坝摇眳^(qū)域2 =OQ落在0P2與0P3之間，對(duì)應(yīng)視線方向?yàn)椤跋隆眳^(qū)域3 =OQ落在0P3與OPO之間，對(duì)應(yīng)視線方向?yàn)椤白蟆北緦?shí)施方式中，用戶視線方向確定后，再將用戶視線方向轉(zhuǎn)化為USB鼠標(biāo)控制信 號(hào)通過USB線傳輸給計(jì)算機(jī)，實(shí)現(xiàn)人機(jī)交互。
權(quán)利要求
一種基于SOC的視線跟蹤人機(jī)交互方法，其特征在于該方法包括如下步驟(1)攝像頭將采集到的數(shù)字圖像輸入到SOC平臺(tái)，采用硬件邏輯模塊實(shí)現(xiàn)基于haar特征的Adaboost檢測(cè)算法，對(duì)所述數(shù)字圖像進(jìn)行人眼區(qū)域的檢測(cè)；(2)根據(jù)檢測(cè)到的人眼區(qū)域，利用視線方向判別算法，判別出用戶視線，再將用戶視線方向轉(zhuǎn)化為鼠標(biāo)控制信號(hào)通過USB傳輸給計(jì)算機(jī)，實(shí)現(xiàn)人機(jī)交互。
2.根據(jù)權(quán)利要求1所述的人機(jī)交互方法，其特征在于所述硬件邏輯模塊包括如下模 塊積分模塊，完成數(shù)字圖像的積分與平方積分的計(jì)算，并將計(jì)算結(jié)果存放在存儲(chǔ)器上；子 窗口掃描模塊，對(duì)整幀數(shù)字圖像子窗口的橫坐標(biāo)和縱坐標(biāo)按設(shè)定步長(zhǎng)進(jìn)行遍歷，得出待測(cè) 子窗口的坐標(biāo)及長(zhǎng)寬；子窗口處理模塊，判定待測(cè)子窗口是否為人眼子窗口 ；子窗口融合模塊，對(duì)判定出的所有人眼子窗口進(jìn)行融合處理，即整合位置相近的窗口， 然后重新調(diào)整人眼窗口位置，確定人眼區(qū)域。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于所述子窗口處理模塊是根據(jù)采用 ModestoCastrillon訓(xùn)練的右眼分類器，運(yùn)用Cascade級(jí)聯(lián)方法實(shí)現(xiàn)子窗口處理，具體步驟 包括首先提取右眼分類器的haar特征參數(shù)；將haar特征參數(shù)具體化，即將haar特征參數(shù) 與掃描后的子窗口大小進(jìn)行匹配，再根據(jù)具體化后haar特征參數(shù)中矩形區(qū)域的位置讀取 積分模塊計(jì)算出的積分?jǐn)?shù)據(jù)，最后運(yùn)用Cascade級(jí)聯(lián)方法確定人眼子窗口。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于所述運(yùn)用Cascade級(jí)聯(lián)方法確定人眼子窗 口是將多個(gè)右眼弱分類器加權(quán)組成右眼強(qiáng)分類器，再將20級(jí)右眼強(qiáng)分類器串聯(lián)完成人眼 子窗口的確定，具體步驟包括首先根據(jù)每個(gè)右眼弱分類器中的haar特征參數(shù)及從積分模 塊中讀取的積分?jǐn)?shù)據(jù)，計(jì)算出實(shí)際子窗口的haar特征值，再與當(dāng)前右眼弱分類器的閾值進(jìn) 行比較，確定此右眼弱分類器的權(quán)值，最后將這些右眼弱分類器的權(quán)值進(jìn)行累加，再與右眼 強(qiáng)分類器的閾值做比較，如果大于此閾值，則通過此級(jí)右眼強(qiáng)分類器的驗(yàn)證，進(jìn)入下一級(jí)右 眼強(qiáng)分類器的判別，如果小于此閾值，則認(rèn)為此子窗口為非人眼區(qū)域；當(dāng)子窗口通過20級(jí) 右眼強(qiáng)分類器的驗(yàn)證，則可確定為人眼子窗口。
5.根據(jù)權(quán)利要求1所述的人機(jī)交互方法，其特征在于所述視線方向判別算法是根據(jù)位 于計(jì)算機(jī)屏幕四個(gè)角上的四個(gè)LED紅外光源在人眼角膜上形成的四個(gè)反射亮點(diǎn)，即普爾欽 斑點(diǎn)，與瞳孔中心之間的幾何位置關(guān)系計(jì)算視線方向。
6.根據(jù)權(quán)利要求4所述的人機(jī)交互方法，其特征在于所述視線方向判別算法具體步驟 包括首先采用灰度投影方法定位瞳孔中心，在以瞳孔中心為中心，在其上下左右30個(gè)像 素的區(qū)域內(nèi)搜索普爾欽斑點(diǎn)，計(jì)算瞳孔中心與所述四個(gè)反射亮點(diǎn)的關(guān)系，確定其視線方向。
7.一種實(shí)現(xiàn)權(quán)利要求1 6任一項(xiàng)所述人機(jī)交互方法的基于SOC的人機(jī)交互裝置，其 特征在于包括SOC平臺(tái)、用于采集人眼圖像的攝像頭、計(jì)算機(jī)、安裝在計(jì)算機(jī)顯示屏上四個(gè) 角且排列成矩形的四個(gè)LED，SOC平臺(tái)包括人眼區(qū)域檢測(cè)硬件邏輯模塊、處理器和存儲(chǔ)器； 所述攝像頭將采集到的數(shù)字圖像輸入到SOC平臺(tái)上的存儲(chǔ)器；計(jì)算機(jī)通過USB與SOC平臺(tái) 連接；人眼區(qū)域檢測(cè)硬件邏輯模塊完成人眼區(qū)域的檢測(cè)，處理器根據(jù)檢測(cè)出的人眼區(qū)域，結(jié) 合視線方向判別算法識(shí)別出用戶視線方向，將與用戶視線方向?qū)?yīng)的控制信號(hào)轉(zhuǎn)化為鼠標(biāo) 控制信號(hào)通過USB傳輸給計(jì)算機(jī)。
8.根據(jù)權(quán)利要求7所述的裝置，其特征在于所述計(jì)算機(jī)的顯示屏由兩條對(duì)角線分為四個(gè)區(qū)域，SOC平臺(tái)的處理器根據(jù)用戶眼睛所注視的區(qū)域，將用戶視線分為上、下、左、右四個(gè) 方向，模擬鼠標(biāo)移動(dòng)功能，作為用戶輸入的控制信息，并通過眨眼動(dòng)作用來確認(rèn)視線控制信 息、模擬鼠標(biāo)單擊并輸入用戶確認(rèn)信息。
9.根據(jù)權(quán)利要求8所述的裝置，其特征在于所述眨眼動(dòng)作是將1 3秒的眨眼動(dòng)作用 來發(fā)出確認(rèn)命令信息。
全文摘要
本發(fā)明中公開了基于SOC的視線跟蹤人機(jī)交互方法及裝置。該方法包括攝像頭將采集到的數(shù)字圖像輸入到SOC平臺(tái)，采用硬件邏輯模塊實(shí)現(xiàn)基于haar特征的Adaboost檢測(cè)算法，對(duì)所述數(shù)字圖像進(jìn)行人眼區(qū)域的檢測(cè)；根據(jù)檢測(cè)到的人眼區(qū)域，利用視線方向判別算法，判別出用戶視線，再將用戶視線方向轉(zhuǎn)化為鼠標(biāo)控制信號(hào)通過USB傳輸給計(jì)算機(jī)，實(shí)現(xiàn)人機(jī)交互。所述裝置包括SOC平臺(tái)、用于采集人眼圖像的攝像頭、計(jì)算機(jī)、安裝在計(jì)算機(jī)顯示屏上四個(gè)角且排列成矩形的四個(gè)LED，SOC平臺(tái)包括人眼區(qū)域檢測(cè)硬件邏輯模塊、處理器和存儲(chǔ)器。本發(fā)明通過硬件實(shí)現(xiàn)人眼區(qū)域檢測(cè)、視線方向判別，最終實(shí)現(xiàn)人機(jī)交互，具有使用方便，準(zhǔn)確度高的優(yōu)點(diǎn)。
文檔編號(hào)G06K9/62GK101813976SQ201010123009
公開日2010年8月25日 申請(qǐng)日期2010年3月9日 優(yōu)先權(quán)日2010年3月9日
發(fā)明者秦華標(biāo), 陳榮華 申請(qǐng)人:華南理工大學(xué)