專利名稱：一種基于瞳孔角膜反射方法的視線追蹤裝置的制作方法
技術領域：
本實用新型屬于人機交互領域，特別是涉及一種基于瞳孔角膜反射方法的視線追
蹤裝置。
背景技術：
視線追蹤是利用機械、電子、光學等各種檢測手段獲取受試者當前"注視方向"的 技術。廣泛應用于人機交互、助殘、虛擬現實、車輛輔助駕駛、人因分析等領域。按照系統構 成和采用的檢測方法視線追蹤技術可以粗略劃分為侵入式和非侵入式兩種。基于數字視頻 分析(Video 0culogr即hic，V0G)的非侵入式視線追蹤技術具有對人干擾小，容易操作和精 度較高的特點，擁有很大的研究發展空間。 V0G視線追蹤技術普遍采用基于主動紅外光照的瞳孔_角膜反射方法。即通過設 置遠離光軸的紅外光源在角膜上形成反射點(普爾欽斑)。提取普爾欽斑中心到瞳孔中心 的矢量作為視線方向參數，然后利用眼球成像模型或映射模型來估計視線方向。因此基于 瞳孔_角膜反射的視線追蹤技術由視線特征參數提取和視線估計模型建立兩部分組成。 瞳孔-角膜反射方法在視線特征參數提取過程中普遍采用亮暗瞳差分方案，即設 置與攝像機鏡頭同軸的內外環近紅外(IR)光源，控制光源交替亮暗，產生亮瞳和暗瞳隔幀 交替出現的視頻序列。利用相鄰幀亮暗瞳圖像的差分使瞳孔信息相對突出，消除背景影響。 便于在整幅臉部圖像中快速捕捉眼睛和在局部眼睛圖像中精細準確的分割瞳孔。亮暗瞳差 分方案一般采用閾值法分割瞳孔。由于頭部及瞳孔的隨機運動和紅外光源的交替亮滅，亮 暗瞳差分圖像除保留瞳孔信息外，不可避免地殘留其它干擾區域。采用閾值法分割差分圖 像，將會產生干擾區塊。 瞳孔-角膜反射方法按系統構成和采用的視線估計模型大致可分為兩種單攝像 機單光源系統和多攝像機多光源系統。 l，單攝像機單光源系統通過檢測普爾欽斑中心到瞳孔中心的平面視線參數，采用 線性和非線性多項式建立視線參數到視線屏幕落點的映射模型。只能在頭部靜止或微動狀 態下檢測視線落點。 2，多攝像機多光源系統通過立體視覺檢測普爾欽斑中心到瞳孔中心的三維視線 參數，采用眼球成像幾何模型將視線參數換算成視線方向。因此可檢測頭部運動狀態下的 視線方向。 單攝像機系統結構簡單，使用簡便，在人因分析等領域有著普遍的應用價值。多攝 像機系統需精確測定計算機屏幕、光源的相對位置關系，系統標定程序復雜，成本相對較高。 在現有技術中，基于瞳孔角膜反射方法的視線追蹤裝置，特別是控制形成亮瞳和 暗瞳及普爾欽斑圖像的光源控制部分，目前并沒有人提出完整而完善的解決方案。

實用新型內容本實用新型的目的，是建立一套基于瞳孔角膜反射方法的視線追蹤裝置，特別是建立控制形成亮瞳和暗瞳及普爾欽斑圖像的光源控制部分，從而為瞳孔角膜反射方法的視 線追蹤提供精準的硬件支持。 本實用新型一種基于瞳孔角膜反射方法的視線追蹤裝置，所述裝置包括有圖像信 號處理部分和光源控制部分，所述圖像信號處理部分包括 濾光片用于接收紅外光源在人臉和人眼的反射，濾除波長880nm以外的光，形成 穩定、清晰的瞳孔和普爾欽斑； CCD攝像機用于攝取人臉和人眼圖像，并將采集信號傳輸至圖像采集卡； 圖像采集卡接收CCD攝像機采集的人臉圖像，并進行AD轉換和預處理； 主機所述圖像采集卡所采集的信號輸入至主機進行圖像處理； 顯示屏將主機通過視線特征參數提取和視線映射模型獲得視線落點，顯示在顯
示屏上。
所述光源控制部分控制形成亮瞳和暗瞳及普爾欽斑圖像，其包括 幀同步卡所述幀同步卡連接至CCD攝像機，并輸出CCD攝像機采樣的同步信號，
該信號輸入單片機系統的光源控制板； 單片機系統光源控制板電路所述單片機系統的光源控制板輸出控制信號，控制 雙環型紅外光源的內環和外環交替亮滅； 雙環型紅外光源由紅外發光二極管組成交替亮滅的內環和外環光源。
上述技術方案可以進一步的改進為所述圖像采集卡為黑白圖像采集卡。
上述技術方案可以進一步的改進為所述單片機系統光源控制板電路采用 STC12C5410AD型單片機為核心處理器件。 本實用新型的有益效果在于通過本裝置的各個環節，能夠在圖像序列中，形成亮 瞳和暗瞳圖像，使瞳孔更加突出并形成穩定的普爾欽斑圖像，便于在視線特征參數提取過 程中有效檢測瞳孔和普爾欽斑，為獲取準確的視線方向創造條件。

圖1是本實用新型系統結構圖。 圖2是本實用新型系統工作流程圖。 圖3、圖4是本實用新型雙環型紅外光源正面圖、側面圖。 圖5亮瞳、暗瞳及普爾欽斑產生原理。 圖6本實用新型單片機系統光源控制板電路示意圖。
具體實施方式
以下結合附圖具體闡述本實用新型的技術方案。 本實用新型包括有圖像信號處理部分和光源控制部分，所述圖像信號處理部分包 括 濾光片用于接收紅外光源在人臉和人眼的反射，濾除波長880nm以外的光，形成 穩定、清晰的瞳孔和普爾欽斑； CCD攝像機用于攝取人臉和人眼圖像，并將采集信號傳輸至圖像采集卡； 圖像采集卡接收CCD攝像機采集的人臉圖像，并進行AD轉換和預處理；本實用新型圖像信號處理部分所述的圖像采集卡為黑白圖像采集卡。采集卡選用黑白圖像采集
卡，適用于工業檢測和科學圖像處理及醫療影像等科研領域。
主機所述圖像采集卡所采集的信號輸入至主機進行圖像處理； 顯示屏將主機通過視線特征參數提取和視線映射模型獲得視線落點，顯示在顯
示屏上。 所述光源控制部分控制形成亮瞳和暗瞳及普爾欽斑圖像，其包括 幀同步卡所述幀同步卡連接至CCD攝像機，并輸出CCD攝像機采樣的同步信號，
該信號輸入單片機系統的光源控制板； 單片機系統光源控制板電路所述單片機系統的光源控制板輸出控制信號，控制 雙環型紅外光源的內環和外環交替亮滅； 雙環型紅外光源由紅外發光二極管組成交替亮滅的內環和外環光源。 本實用新型的雙環型紅外光源由紅外發光二極管組成交替亮滅的內環和外環光
源。紅外發光二極管波長為880nm，組成兩個環形的光源。內環圍繞攝像機鏡頭，為近光軸
光源，點亮后能夠形成人眼的亮瞳現象。外環光源遠離攝像機鏡頭光軸，能夠在人眼角膜上
形成普爾欽斑，如圖3、圖4、圖5所示(眼球上的亮點即為普爾欽斑)。 本實用新型在實現"亮瞳"和"暗瞳"及普爾欽斑時具體通過如下方法實用新型
的單片機系統光源控制板選用STC12C5410AD型單片機作為核心處理器件，用其外部中斷
捕獲幀同步卡提供的圖像幀同步信號。當微處理器捕獲到奇幀同步信號時，單片機1/0 口
輸出信號控制光源外環亮、內環滅；當微處理器捕獲到偶幀同步信號時，I/O 口輸出信號控
制光源內環亮、外環滅。如此交替進行，即可在相鄰兩幀圖像中分別得到用戶的"亮瞳"和
"暗瞳"兩種圖像。 基于STC12C5410AD型單片機的光源控制板電路由單片機、輸入信號隔離、輸入信 號整形、輸出信號隔離、輸出信號驅動電路構成，完成基于幀同步信號的光源控制功能。具 體電路如圖6所示。 本實用新型的工作過程如圖2所示，具體如下 受試者注視屏幕，幀同步卡獲取CCD攝像機采樣的同步信號并輸出給光源控制板 的單片機系統。 單片機系統根據幀同步信號控制雙環型紅外光源交替亮滅，內環光源圍繞攝像頭 光軸，點亮時可產生亮瞳現象。外環光源則遠離攝像頭光軸，在人眼角膜上產生普爾欽斑。 由CCD攝像機獲取人臉和人眼圖像，通過圖像采集卡傳到主機。 主機通過視線特征參數提取和視線映射模型獲得視線落點，顯示在屏幕上。
權利要求一種基于瞳孔角膜反射方法的視線追蹤裝置，所述裝置包括有圖像信號處理部分和光源控制部分，所述圖像信號處理部分包括濾光片接收紅外光源在人臉和人眼的反射，濾除波長880nm以外的光，形成穩定、清晰的瞳孔和普爾欽斑；CCD攝像機攝取人臉和人眼圖像，并將采集信號傳輸至圖像采集卡；圖像采集卡接收CCD攝像機采集的人臉圖像，并進行AD轉換和預處理；主機所述圖像采集卡所采集的信號輸入至主機進行圖像處理；顯示屏將主機通過視線特征參數提取和視線映射模型獲得視線落點，顯示在顯示屏上。其特征在于所述光源控制部分控制形成亮瞳和暗瞳及普爾欽斑圖像，其包括幀同步卡所述幀同步卡連接至CCD攝像機，并輸出CCD攝像機采樣的同步信號，該信號輸入單片機系統的光源控制板；單片機系統光源控制板電路所述單片機系統的光源控制板輸出控制信號，控制雙環型紅外光源的內環和外環交替亮滅；雙環型紅外光源由紅外發光二極管組成交替亮滅的內環和外環光源。
2. 根據權利要求1所述的一種基于瞳孔角膜反射方法的視線追蹤裝置，其特征在于 所述圖像采集卡為黑白圖像采集卡。
3. 根據權利要求1所述的一種基于瞳孔角膜反射方法的視線追蹤裝置，其特征在于所述單片機系統光源控制板電路采用STC12C5410AD型單片機為核心處理器件。
專利摘要本實用新型的目的，是建立一套基于瞳孔角膜反射方法的視線追蹤裝置，特別是建立控制形成亮瞳和暗瞳及普爾欽斑圖像的光源控制部分，從而為瞳孔角膜反射方法的視線追蹤提供精準的硬件支持。所述光源控制部分控制形成亮瞳和暗瞳及普爾欽斑圖像，其包括幀同步卡所述幀同步卡連接至CCD攝像機，并輸出CCD攝像機采樣的同步信號，該信號輸入單片機系統的光源控制板；單片機系統光源控制板電路所述單片機系統的光源控制板輸出控制信號，控制雙環型紅外光源的內環和外環交替亮滅；雙環型紅外光源由紅外發光二極管組成交替亮滅的內環和外環光源。
文檔編號G03B11/04GK201477518SQ2009201758
公開日2010年5月19日 申請日期2009年8月31日 優先權日2009年8月31日
發明者劉洋, 張寒, 張闖, 張鵬翼, 王志良, 遲健男, 顏艷桃 申請人:北京科技大學