基于圖像處理融合心率特征與表情特征實現疲勞駕駛判別的系統的制作方法
【專利摘要】本發明公開了一種基于圖像處理融合心率特征與表情特征疲勞駕駛判別的系統，包括信息采集裝置、信息處理裝置和預警裝置，其特征在于所述信息采集裝置用于采集駕駛人面部圖像序列，并提供給信息處理裝置；所述信息處理裝置用于對采集到的駕駛人面部圖像序列進行處理分析，得到駕駛員的表情特征信息及心率特征信息，并將表情特征和心率特征進行信息融合，用以判別駕駛員是否處于疲勞狀態；預警裝置，用于當駕駛員出現疲勞駕駛時，根據預警策略和疲勞等級向預警提示器發送指令，向駕駛員提示預警。該系統通過圖像處理的方法將心率特征和表情特征結合起來，實現疲勞駕駛判別的算法及車載裝置，提高了疲勞駕駛判別系統的精確度、魯棒性和可靠性。
【專利說明】基于圖像處理融合心率特征與表情特征實現疲勞駕駛判別的系統
【技術領域】
[0001]本發明屬于智能交通【技術領域】，具體涉及一種基于圖像處理融合心率特征與表情特征實現疲勞駕駛判別的系統。
【背景技術】
[0002]隨著汽車數量的日益增多和高速公路的不端延伸，車速越來越快，道路交通安全形勢日益嚴峻，汽車交通事故隨之增多，不僅造成了大量人員傷亡和巨額的經濟損失，而且導致了諸多社會問題。調查顯示，疲勞駕駛是交通安全最重要的隱患之一，駕駛人在疲勞時，對周圍環境的感知能力、行駛判斷能力和對車輛的操控能力都大幅度降低，很容易發生交通事故。隨著人們安全意識的增強和科學技術的進步，駕駛人疲勞駕駛判別技術已成為汽車安全【技術領域】的一個主要發展方向，研究開發高性能的疲勞駕駛判別及預警技術，對改善我國交通安全狀況意義重大。
[0003]駕駛人疲勞狀態的檢測目前有較多研究的方法，按檢測的類別可大致分為基于駕駛人生理信號的檢測、基于駕駛人操作行為的檢測、基于車輛狀態信息的檢測和基于駕駛人生理反應特征的檢測等方法。
[0004]基于生理信號(腦電信號、心電信號等)判別疲勞駕駛的準確性較高，且對所有健康的駕駛員來說，生理信號差異性不大，具有共性，但傳統的生理信號采集方式需要采用接觸式測量，給駕駛人疲勞檢測的實際應用帶來很多不便和局限性。
[0005]駕駛人的操作行為除了與疲勞狀態有關外，還受到個人習慣、行駛速度、道路環境、操作技能的影響，因此需要考慮的干擾因素較多，影響基于駕駛人操作行為(如方向盤操作等)判別疲勞駕駛的精確度。
[0006]利用車輛行駛軌跡變化和車道線偏離等車輛行駛狀態信息也可推測駕駛人的疲勞狀態，但是車輛的行駛狀態也與車輛特性、道路等很多環境因素有關，和駕駛人的駕駛經驗以及駕駛習慣相關性較大，因此基于車輛狀態信息判別疲勞駕駛需要考慮的干擾因素也較多。
[0007]基于駕駛人生理反應特征的疲勞駕駛判別方法是指利用駕駛人的眼睛特性、嘴部運動特征等推斷駕駛人的疲勞狀態，這些信息被認為是反映疲勞的重要特征，眨眼幅度、眨眼頻率、平均閉合時間和打哈欠的動作等都可直接用于檢測疲勞，但由于不同的駕駛員的習慣和特征存在一定的差異，使通過單個面部表情特征來判斷駕駛員狀態的魯棒性不夠高。本發明因此而來。

【發明內容】

[0008]本發明提供一種基于圖像處理融合心率特征與表情特征實現疲勞駕駛判別的系統，該系統解決了現有技術中現有的疲勞駕駛判別系統大都基于單一指標判斷，其結果易受多種干擾因素的影響。由于駕駛員面部特征、生理反應特征、駕駛習慣等的個體差異性，基于某一種表情特征檢測駕駛員疲勞狀態的方法難以保證系統的魯棒性和精確性；基于人體心率及心率變異特征檢測駕駛員疲勞狀態的方法準確性高、魯棒性強，但其傳統的測量方式需要將測量儀等裝置與駕駛員直接接觸，給駕駛員疲勞檢測的實際應用帶來很多不便和局限性。
[0009]為了解決現有技術中的這些問題，本發明提供的技術方案是:
[0010]一種基于圖像處理融合心率特征與表情特征實現疲勞駕駛判別的系統，包括信息采集裝置、信息處理裝置和預警裝置，其特征在于所述信息采集裝置用于采集駕駛人面部圖像序列，并提供給信息處理裝置；所述信息處理裝置用于對采集到的駕駛人面部圖像序列進行處理分析，得到駕駛員的表情特征信息及心率特征信息，并將表情特征和心率特征進行信息融合，用以判別駕駛員是否處于疲勞狀態；預警裝置，用于當駕駛員出現疲勞駕駛時，根據預警策略和疲勞等級向預警提示器發送指令，向駕駛員提示預警。
[0011]優選的技術方案:所述預警提示器選自聲音提示器、LED閃爍提示器、座椅振動提示器、安全帶振動提示器、座椅頂部吹風提示器的一種或者兩種以上的任意組合。
[0012]優選的技術方案:所述系統集成在車載終端內，所述信息采集裝置為帶有紅外LED燈的攝像頭，所述攝像頭安裝在車輛儀表盤上方，以攝像頭能拍攝到駕駛員面對車輛前方時的面部圖像為準。
[0013]優選的技術方案:所述系統還包括與信息處理裝置連接的GPS芯片，所述GPS芯片實時獲取車輛的位置信息，并將位置信息發送給信息處理裝置。
[0014]優選的技術方案:所述信息處理裝置為DSP處理系統，所述DSP處理系統根據采集到的面部圖像序列和地理位置信息分別獲取駕駛員在任一段時間內的心率變異特征信息和駕駛員的面部表情特征信息；根據駕駛員在任一段時間內的心率變異特征信息和駕駛員的面部表情特征信息判斷駕駛員是否處于疲勞駕駛狀態。
[0015]優選的技術方案:所述系統還包括與信息處理裝置連接的數據存儲裝置，所述數據存儲裝置內設置有駕駛員臉部圖像數據庫、位置信息數據庫和中間信息數據庫。
[0016]本發明的另一目的在于提供一種基于圖像處理的疲勞駕駛判別方法，其特征在于所述方法包括以下步驟:
[0017](I)實時駕駛員面部圖像序列，并對駕駛員面部圖像序列進行處理，獲取駕駛員的人臉圖像序列；
[0018](2)采用主動形狀模型方法對人臉圖像進行分析，得到人眼及嘴部位置進而分析眼部和嘴部特征，同時進行面部姿態的估計，然后將面部特征、眼部特征、嘴部特征進行信息融合，得到表情特征信息；
[0019](3)對人臉圖像進行分析獲取駕駛員在一段時間內的心率變異數值；
[0020](4)將表情特征信息和心率變異數值進行融合得到判斷駕駛員疲勞狀態的綜合值；當融合后的疲勞狀態信息超過預定閾值，或某一種特征信息達到了最大極限值時，則判定為疲勞駕駛。
[0021]優選的技術方案:所述方法步驟(I)具體包括以下步驟:
[0022]I)采集到駕駛員的面部圖像后，進行圖像預處理；
[0023]2)利用訓練好的人臉分類器進行人臉檢測，提取人臉圖像特征；
[0024]3)基于主成份分析方法進行人臉識別，獲得人臉識別結果。[0025]優選的技術方案:所述方法步驟(3)具體包括以下步驟:
[0026]I)采用主動形狀模型方法對人臉圖像進行處理，對人臉圖像中眼部、鼻子和嘴部的定位，找出眼睛、鼻子、嘴部邊緣特征點的位置；在適合的高度和寬度范圍內，截取人臉圖像上額頭及左右臉頰3個區域處的圖像；
[0027]2)將人臉圖像上額頭及左右臉頰3個區域看作一幅圖像，記為P，統計一段時間內的圖像序列中截取的多個圖像P的R、G、B值信號并對這些信號進行ICA分析；
[0028]3)對ICA分析得到的第二個分量曲線進行插值、濾波處理后，取其上升沿方向的一階零點，每兩個連續的一階零點對應的兩幀間的時間差即為心率變異數值。
[0029]所述方法步驟(4)中將表情特征信息和心率變異數值進行融合得到判斷駕駛員疲勞狀態的綜合值T，
[0030]
【權利要求】
1.一種基于圖像處理融合心率特征與表情特征實現疲勞駕駛判別的系統，包括信息采集裝置、信息處理裝置和預警裝置，其特征在于所述信息采集裝置用于采集駕駛人面部圖像序列，并提供給信息處理裝置；所述信息處理裝置用于對采集到的駕駛人面部圖像序列進行處理分析，得到駕駛員的表情特征信息及心率特征信息，并將表情特征和心率特征進行信息融合，用以判別駕駛員是否處于疲勞狀態；預警裝置，用于當駕駛員出現疲勞駕駛時，根據預警策略和疲勞等級向預警提示器發送指令，向駕駛員提示預警。
2.根據權利要求1所述的基于圖像處理融合心率特征與表情特征實現疲勞駕駛判別的系統，其特征在于所述預警提示器選自聲音提示器、LED閃爍提示器、座椅振動提示器、安全帶振動提示器、座椅頂部吹風提示器的一種或者兩種以上的任意組合。
3.根據權利要求1所述的基于圖像處理融合心率特征與表情特征實現疲勞駕駛判別的系統，其特征在于所述系統集成在車載終端內，所述信息采集裝置為帶有紅外LED燈的攝像頭，所述攝像頭安裝在車輛儀表盤上方，以攝像頭能拍攝到駕駛員面對車輛前方時的面部圖像為準。
4.根據權利要求1所述的基于圖像處理融合心率特征與表情特征實現疲勞駕駛判別的系統，其特征在于所述系統還包括與信息處理裝置連接的GPS芯片，所述GPS芯片實時獲取車輛的位置信息，并將位置信息發送給信息處理裝置。
5.根據權利要求4所述的基于圖像處理融合心率特征與表情特征實現疲勞駕駛判別的系統，其特征在于所述信息處理裝置為DSP處理系統，所述DSP處理系統根據采集到的面部圖像序列和地理位置信息分別獲取駕駛員在任一段時間內的心率變異特征信息和駕駛員的面部表情特征信息；根據駕駛員在任一段時間內的心率變異特征信息和駕駛員的面部表情特征信息判斷駕駛員是否處于疲勞駕駛狀態。
6.根據權利要求1所述的基于圖像處理融合心率特征與表情特征實現疲勞駕駛判別的系統，其特征在于所述系統還包括與信息處理裝置連接的數據存儲裝置，所述數據存儲裝置內設置有駕駛員臉部圖像數據庫、位置信息數據庫和中間信息數據庫。
7.一種基于圖像處理的疲勞駕駛判別方法，其特征在于所述方法包括以下步驟: (1)實時駕駛員面部圖像序列，并對駕駛員面部圖像序列進行處理，獲取駕駛員的人臉圖像序列； (2)采用主動形狀模型方法對人臉圖像進行分析，得到人眼及嘴部位置進而分析眼部和嘴部特征，同時進行面部姿態的估計，然后將面部特征、眼部特征、嘴部特征進行信息融合，得到表情特征信息； (3)對人臉圖像進行分析獲取駕駛員在一段時間內的心率變異數值； (4)將表情特征信息和心率變異數值進行融合得到判斷駕駛員疲勞狀態的綜合值；當融合后的疲勞狀態信息超過預定閾值，或某一種特征信息達到了最大極限值時，則判定為疲勞駕駛。
8.根據權利要求7所述的基于圖像處理的疲勞駕駛判別方法，其特征在于所述方法步驟(I)具體包括以下步驟: 1)采集到駕駛員的面部圖像后，進行圖像預處理； 2)利用訓練好的人臉分類器進行人臉檢測，提取人臉圖像特征； 3)基于主成份分析方法進行人臉識別，獲得人臉識別結果。
9.根據權利要求7所述的基于圖像處理的疲勞駕駛判別方法，其特征在于所述方法步驟(3)具體包括以下步驟: 1)采用主動形狀模型方法對人臉圖像進行處理，對人臉圖像中眼部、鼻子和嘴部的定位，找出眼睛、鼻子、嘴部邊緣特征點的位置；在適合的高度和寬度范圍內，截取人臉圖像上額頭及左右臉頰3個區域處的圖像； 2)將人臉圖像上額頭及左右臉頰3個區域看作一幅圖像，記為P，統計一段時間內的圖像序列中截取的多個圖像P的R、G、B值信號并對這些信號進行ICA分析； 3)對ICA分析得到的第二個分量曲線進行插值、濾波處理后，取其上升沿方向的一階零點，每兩個連續的一階零點對應的兩幀間的時間差即為心率變異數值。
【文檔編號】G08B21/06GK103714660SQ201310731567
【公開日】2014年4月9日 申請日期:2013年12月26日 優先權日:2013年12月26日
【發明者】張偉, 成波 申請人:蘇州清研微視電子科技有限公司, 清華大學蘇州汽車研究院（吳江）