基于心率變異性非接觸式測量的疲勞駕駛識別系統的制作方法
【專利摘要】本發明公開了一種基于心率變異性非接觸測量的疲勞駕駛識別系統，包括圖像采集裝置、圖像處理裝置和報警裝置，其特征在于所述圖像采集裝置用于實時獲取駕駛人面部圖像，并將采集的駕駛人圖像傳輸給圖像處理裝置；所述圖像處理裝置用于根據駕駛人圖像獲取駕駛人的心率變異性，并根據駕駛人的心率變異性獲取駕駛人的駕駛疲勞狀態；所述報警裝置用于當圖像處理裝置判定駕駛人處于駕駛疲勞狀態時進行報警提示。該系統實現了非接觸式監測識別，進一步提高了疲勞駕駛判別的準確性和實時性。
【專利說明】基于心率變異性非接觸式測量的疲勞駕駛識別系統
【技術領域】
[0001]本發明屬于智能交通【技術領域】，具體涉及一種基于心率變異性非接觸式測量的疲勞駕駛識別系統。
【背景技術】
[0002]駕駛疲勞是指駕駛員在一段時間的駕車之后所產生的反應水平下降，這種下降表現在注意力分散、打瞌睡等，使駕駛操作失誤或完全喪失駕駛能力。當駕駛員處于疲勞狀態時，往往因不能及時回避瞬間出現的意外情況，導致事故的發生。
[0003]目前已有多種方法來對駕駛員的疲勞狀態進行判別。例如，借助車道輔助系統來判別駕駛員疲勞狀態。但當檢測到發生車道不正常改變時事故往往已經發生，且它只適用于路況良好的城市內公路和高速公路；對于路況稍差的非城市化道路，或遇有雨雪霧霾等惡劣天氣情況時，車道不明顯或不存在，以車道輔助系統為基礎的疲勞駕駛判別系統就起不到任何作用。
[0004]還有方案是使用已經在醫學領域得到普及應用的人體心率和呼吸率傳感裝置來獲得人體的心率和呼吸率數據，以此來判斷駕駛員是否處于疲勞狀態。雖然醫學研究早已證明這些信息與人的精神狀態確實存在確定關系，電子技術的發展也使得這些傳感裝置變得更微型化、更便于攜帶，但設置在人體腰腹部或手腕處的這類傳感裝置，還要與疲勞判別裝置連接，對駕駛員來說極為不便。
【發明內容】
[0005]本發明提供一種基于心率變異性非接觸式測量的疲勞駕駛識別系統，目的在于使系統實現非接觸式，并進一步提高了疲勞駕駛判別的準確性和實時性，對疲勞駕駛的危險駕駛行為進行實時警示。
[0006]為了解決現有技術中的這些問題，本發明提供的技術方案是:
[0007]—種基于心率變異性非接觸式測量的疲勞駕駛識別系統，包括圖像采集裝置、圖像處理裝置和報警裝置，其特征在于所述圖像采集裝置用于實時獲取駕駛人面部圖像，并將采集的駕駛人圖像傳輸給圖像處理裝置；所述圖像處理裝置用于根據駕駛人圖像獲取駕駛人的心率變異性，并根據駕駛人的心率變異性獲取駕駛人的駕駛疲勞狀態；所述報警裝置用于當圖像處理裝置判定駕駛人處于駕駛疲勞狀態時進行報警提示。
[0008]優選的技術方案是:所述報警裝置選自以下報警提示器的一種或者兩者以上的任意組合:LED燈、語音報警器、安全帶振動器及座椅振動器。
[0009]優選的技術方案是:所述圖像采集裝置選自攝像頭，攝像頭的輸出端與圖像處理裝置的輸入端連接。
[0010]優選的技術方案是:所述圖像處理裝置為DSP處理系統，DSP處理系統的輸出端與報警裝置的輸入端連接。
[0011]優選的技術方案是:所述圖像采集裝置安裝在車輛儀表盤的上方，以可拍攝到駕駛人面對車輛正前方時的正面人臉圖像為安裝的基準。
[0012]本發明的另一目的在于提供一種基于心率變異性的疲勞駕駛識別方法，其特征在于所述方法包括以下步驟:
[0013](I)采集駕駛人的面部圖像；
[0014](2)根據駕駛人圖像獲取駕駛人的心率變異性，并根據駕駛人的心率變異性獲取駕駛人的駕駛疲勞狀態；
[0015](3)當判定駕駛人處于駕駛疲勞狀態時進行報警提示。
[0016]優選的技術方案是:所述方法步驟(2)根據駕駛人圖像獲取駕駛人的心率變異性按照如下步驟進行:
[0017]I)利用人臉分類器對駕駛人的面部圖像進行人臉定位和器官識別，利用ASM進行臉部器官的定位；
[0018]2)根據定位的器官邊緣定位額頭、左右臉頰三個區域，統計一段時間內三個區域內的R、G、B值信號；
[0019]3)對R、G、B值信號進行ICA分析，對ICA分析結果的第二個分量進行插值、濾波處理，獲得心率變形性數據向量。
[0020]優選的技術方案是:所述方法步驟(2)根據駕駛人的心率變異性獲取駕駛人的駕駛疲勞狀態按照如下步驟進行:
[0021]I)獲取多組不同駕駛員在疲勞和不疲勞兩種狀態下的心率變異性數據向量，構建訓練數據庫訓練分類器，并根據心率變異性數據向量的分析數據確定疲勞駕駛狀態判斷的閾值，建立疲勞駕駛判定模型；
[0022]2)根據駕駛人圖像獲取當前一段時間內駕駛人的心率變異性數據向量；
[0023]3)使用訓練好的分類器對步驟2)中得到的心率變異性數據向量進行分類，結合駕駛狀態數據庫中的信息，根據心率變異性數據向量的分類結果是否在疲勞駕駛狀態判斷的閾值確定當前一段時間內駕駛員是否處于疲勞駕駛狀態。
[0024]心率變異性(HRV,Heart rate variability)是指逐次心跳周期差異的變化情況，能有效反映腦力和體力疲勞狀況，因而可以作為檢查駕駛疲勞的重要指標。心率變異性是指連續竇性心跳間瞬時心率的微小漲落。反映竇性心率的應該是P-P間期，由于P-P間期難于準確檢測，且在一般情況下與R-R間期相等，目前HRV分析均采用R-R間期。心率變異性(HRV)分析方法包括線性分析方法和非線性分析方法，線性分析方法又包括時域分析方法和頻域分析方法。大量實驗結果表明，HRV信號線性指標中頻譜低頻與高頻的比值以及非線性指標中RR間期Ctl復雜度，與駕駛員的疲勞狀態和過程相關程度最大。
[0025]頻域分析法即功率譜分析法。它提供了能量隨頻率變化分布的基本信息，只要通過適當的數學運算，便可獲得時域信號的譜估計。常用的譜估計方法有兩種:周期圖估計法和AR模型參數譜估計法。本系統采用周期圖法進行譜估計，通過功率譜估計獲得HRV信號的高頻能量(HF, 0.15?0.4Hz)、低頻能量(LF，0.04?0.15Hz)、極低頻能量(VLF，0.03?
0.04Hz)和 LF/HF。
[0026]時域分析方法是通過統計學離散趨勢分析法計算RR間期變化的統計學方法。主要包括統計學分析方法和幾何圖形分析方法。包括以下指標:R-R間期最大值、R-R間期最小值、R-R 間期平均值、SDNN、SDANN、RMSSD, SDNN index、SDSD, NN50、pNN50 以及 R-R 間期直方圖、R-R間期差值直方圖、3R-R間期直方圖和心率趨勢圖。其中R-R間期直方圖以RR間期為橫坐標，心搏數為縱坐標繪直方圖。R-R間期差值直方圖以相鄰R-R間期的差為橫坐標，中點為O，心搏數為縱坐標繪直方圖。3R-R間期直方圖以相鄰每3R-R間期為橫坐標，心搏數為縱坐標繪直方圖。心率趨勢圖反映R-R間期隨時間的變化情況，以逐次心跳為橫坐標，R-R間期為縱坐標繪曲線圖。
[0027]本發明技術方案基于心率變異性非接觸式測量的疲勞駕駛識別系統，首先將其安裝在車輛儀表盤上方，以攝像頭能拍攝到駕駛員面對車輛前方時的面部圖像為準，為了使系統在夜間也能工作同時又不影響駕駛員視線，在攝像頭上還安裝了紅外LED燈，它會根據周圍的光線環境自動開啟紅外燈，以彌補光線的不足，而且它發射出的肉眼不可見的光線不影響駕駛人正常行駛。利用圖像處理的方法得到駕駛員的心率變異特征，以此為根據來實現疲勞駕駛判別，當駕駛員處于疲勞駕駛狀態時進行報警提示。
[0028]本發明提供一種基于心率變異性非接觸式測量的疲勞駕駛識別系統，通過圖像處理的方法得到駕駛員的心率變異特征，以此來判別疲勞駕駛姿態，使系統實現非接觸式，并進一步提高了疲勞駕駛判別的準確性和實時性。
[0029]本發明基于心率變異性非接觸式測量的疲勞駕駛識別系統包括圖像采集裝置、圖像處理裝置和預警裝置，其中圖像采集裝置，安裝好駕駛疲勞判別系統的車載終端后，用于實時采集駕駛員面部圖像序列。圖像處理裝置采用DSP處理系統。DSP處理系統，用于對采集到的駕駛員面部圖像序列進行處理分析，根據結果進行疲勞駕駛判別。預警裝置用于當判定駕駛員處于疲勞駕駛狀態時，利用燈光、語音、聲音、座椅振動等多種方式進行預警。圖像采集裝置采用攝像頭，圖像處理裝置采用基于DM6437的DSP處理系統；其中，攝像頭的輸出端與DSP處理系統的輸入端連接，DSP處理系統的輸出端與報警裝置的輸入端連接。
[0030]當然，圖像處理裝置中需要設置包括圖像采集、人臉定位與識別、HRV測量、HRV分析、駕駛疲勞判別、數據庫、預警提示等模塊，其中圖像采集模塊用于采集駕駛員的面部圖像序列；人臉定位與識別模塊用于對采集到的面部圖像進行人臉定位和人臉識別；HRV測量模塊用于通過人臉檢測、ASM、ICA等方法測量駕駛員的心率變異信息；HRV分析模塊用于對心率變異信息進行處理，分析HRV信號線性指標中頻譜低頻與高頻的比值與非線性指標中RR間期Ctl復雜度，將兩者結合起來，作為HRV的特征表征數據；駕駛疲勞判別模塊用于建立心率變異特征的判別模型，用以判斷駕駛疲勞；數據庫模塊用于存儲駕駛員人臉識別結果及心率變異特征表征數據信息；預警提示模塊用于當判定駕駛員處于疲勞駕駛狀態時，根據疲勞駕駛程度決定采取何種預警方式。
[0031]本發明中的通過圖像處理測量駕駛員心率實現疲勞駕駛判別的方法，包括以下步驟:
[0032]1.采集視頻圖像:攝像頭可安裝在車輛儀表盤的上方，以可拍攝到駕駛人面對車輛正前方時的正面人臉圖像為基準，車輛啟動后，采用攝像頭進行視頻圖像采集，實時獲取駕駛人面部狀態信息。其中，為了能使本系統在夜間行駛時也能正常工作，在攝像頭上還安裝了紅外LED燈，它會根據周圍的光線環境自動開啟紅外燈，以彌補光線的不足，而且它發射出的肉眼不可見的光線不影響駕駛人正常行駛。
[0033]2.DSP處理系統分析圖像:視頻信號經過轉換后傳送至DSP處理系統進行分析。
[0034]DSP處理系統的主要任務是如何判別駕駛人疲勞駕駛狀態。本發明中，駕駛人疲勞駕駛狀態的判別是根據駕駛人圖像獲取駕駛人的心率變異性，并根據駕駛人的心率變異性獲取駕駛人的駕駛疲勞狀態，可分為以下兩個步驟:
[0035](I)根據駕駛人圖像獲取駕駛人的心率變異性
[0036]I)利用人臉分類器對駕駛人的面部圖像進行人臉定位和器官識別，利用ASM進行臉部器官的定位；
[0037]2)根據定位的器官邊緣定位額頭、左右臉頰三個區域，統計一段時間內三個區域內的R、G、B值信號；
[0038]3)對R、G、B值信號進行ICA分析，對ICA分析結果的第二個分量進行插值、濾波處理，獲得心率變形性數據向量。
[0039]其中，利用ASM (Active Shape Model,主動形狀模型)進行臉部器官的定位，包括訓練和搜索兩個部分:
[0040]訓練由以下步驟組成:
[0041](I)搜集η張含有人臉面部區域的樣本圖片；
[0042](2)對于每個樣本圖片，手動標定每個訓練樣本中的k個關鍵特征點，組成了一個形狀向量ai;因此η個訓練樣本圖片就構成了 η個形狀向量，即:
[0043]Qi=
[0044]其中，表示第i個`訓練樣本上第j個特征點的坐標；
[0045](3)采用Procrustes方法進行歸一化或對齊操作消除非形狀干擾；
[0046](4)將對齊后的形狀向量進行PCA處理，計算平均形狀向量W =:然后計算
n i=l
I "__
協方差矩陣φ；然后求協方差矩陣φ的特征值并將其按從大到
/7 ,-1,
小依次排序；
[0047](5)計算第j個訓練圖像上的第i個特征點的η個局部紋理gn, gi2,...，gin,計算
_ j n ^J η，—_
其均值g/ ~ ΣSy ;以及計算其方差4 ~~Si).(Sij -&)，得到該特征點。
[0048]采用特征點構建局部特征，在每次迭代過程中，一個特征點的新的特征g與其訓練好的局部特征之間的相似性度量用馬氏距離來表示:
_9] fsin, = (g - Si 丨.(g - gf。
[0050]ASM搜索按照如下步驟進行:對樣本集進行訓練得到ASM模型后即可進行ASM搜索，對平均形狀以其中心逆時針旋轉Θ縮放S，然后再平移X。得到初始模型X = M(s，Θ)[aJ+X。，通過仿射變換和參數調整，用該初始模型在新圖像中所示目標形狀，計算每個特征點的新位置，使搜索到的最終形狀中的特征點和相對應的真正特征點最為接近。這樣可以獲得待獲得特征部位的面部圖像的特征點。
[0051](2)根據駕駛人的心率變異性獲取駕駛人的駕駛疲勞狀態
[0052]I)獲取多組不同駕駛員在疲勞和不疲勞兩種狀態下的心率變異性數據向量，構建訓練數據庫訓練分類器，并根據心率變異性數據向量的分析數據確定疲勞駕駛狀態判斷的閾值，建立疲勞駕駛判定模型；
[0053]2)根據駕駛人圖像獲取當前一段時間內駕駛人的心率變異性數據向量；
[0054]3)使用訓練好的分類器對步驟2)中得到的心率變異性數據向量進行分類，結合駕駛狀態數據庫中的信息，根據心率變異性數據向量的分類結果是否在疲勞駕駛狀態判斷的閾值確定當前一段時間內駕駛員是否處于疲勞駕駛狀態。
[0055]3.判斷是否報警和報警的具體方式:當判定駕駛人處于疲勞駕駛狀態時進行報警提示。本發明中注意力分散狀態的報警系統有多種方式。當發生注意力分散的情況時，考慮到報警方式的可接受性和報警效果，可采用以下報警方式:閃爍的LED燈、語音報警、安全帶振動及座椅振動。
[0056]相對于現有技術中的方案，本發明的優點是:
[0057]在進行駕駛員疲勞狀態識別時，大部分算法都是局限于通過接觸式心率測量儀或判斷眼睛睜閉狀態等方法來判別駕駛疲勞狀態，本發明提出一種基于心率變異性非接觸式測量的疲勞駕駛識別系統，通過圖像處理的方法得到駕駛員的心率變異特征來判別駕駛疲勞狀態，使系統實現非接觸式，并進一步提高了疲勞駕駛判別的準確性和實時性。
【專利附圖】
【附圖說明】
[0058]下面結合附圖及實施例對本發明作進一步描述:
[0059]圖1為本發明基于心率變異性非接觸式測量的疲勞駕駛識別系統的硬件結構示意圖；
[0060]圖2為本發明基于心率變異性非接觸式測量的疲勞駕駛識別系統的軟件架構示意圖；
[0061]圖3為本發明基于心率變異性非接觸式測量的疲勞駕駛識別系統的工作流程示意圖。
[0062]圖4為根據ASM臉部器官定位結果截取的額頭及左右臉頰3個區域的效果圖；
[0063]圖5為根據ASM臉部器官定位結果截取的多個圖像同一區域的R、G、B值信號圖；
[0064]圖6為根據ASM臉部器官定位結果截取的多個圖像同一區域采用ICA分析的第二分量曲線圖。
【具體實施方式】
[0065]以下結合具體實施例對上述方案做進一步說明。應理解，這些實施例是用于說明本發明而不限于限制本發明的范圍。實施例中采用的實施條件可以根據具體廠家的條件做進一步調整，未注明的實施條件通常為常規實驗中的條件。
[0066]實施例
[0067]如圖1所示，該基于心率變異性非接觸式測量的疲勞駕駛識別系統可以通過圖像處理測量駕駛員心率實現疲勞駕駛判別，包括圖像采集裝置、圖像處理裝置和預警裝置，其中圖像采集裝置，安裝好駕駛疲勞判別系統的車載終端后，用于實時采集駕駛員面部圖像序列。圖像處理裝置采用DSP處理系統。DSP處理系統，用于對采集到的駕駛員面部圖像序列進行處理分析，根據結果進行疲勞駕駛判別。預警裝置用于當判定駕駛員處于疲勞駕駛狀態時，利用燈光、語音、聲音、座椅振動等多種方式進行預警。圖像采集裝置采用攝像頭，圖像處理裝置采用基于DM6437的DSP處理系統；其中，攝像頭的輸出端與DSP處理系統的輸入端連接，DSP處理系統的輸出端與報警裝置的輸入端連接。
[0068]如圖2所示，圖像處理裝置采用DSP處理系統，其中設置包括圖像采集模塊、人臉定位與識別模塊、HRV測量模塊、HRV分析模塊、駕駛疲勞判別模塊、數據庫模塊、預警提示模塊，其中圖像采集模塊用于采集駕駛員的面部圖像序列；人臉定位與識別模塊用于對采集到的面部圖像進行人臉定位和人臉識別；HRV測量模塊用于通過人臉檢測、ASM、ICA等方法測量駕駛員的心率變異信息；HRV分析模塊用于對心率變異信息進行處理，分析HRV信號線性指標中頻譜低頻與高頻的比值與非線性指標中RR間期Ctl復雜度，將兩者結合起來，作為HRV的特征表征數據；駕駛疲勞判別模塊用于建立心率變異特征的判別模型，用以判斷駕駛疲勞；數據庫模塊用于存儲駕駛員人臉識別結果及心率變異特征表征數據信息；預警提示模塊用于當判定駕駛員處于疲勞駕駛狀態時，根據疲勞駕駛程度決定采取何種預警方式。
[0069]如圖3，本發明中基于心率變異性非接觸式測量的疲勞駕駛識別系統的工作流程具體包括以下步驟:
[0070]1.通過大量實驗，獲取多組不同駕駛員在疲勞和不疲勞兩種狀態下的心率變異數據向量(為便于處理，使獲取的數據向量維數相同)，并分析這些向量的低頻與高頻的比值以及RR間期Ctl復雜度，即可構建訓練數據庫，并將訓練好的分類器存儲起來；
[0071]2.將本發明中的基于心率變異性非接觸式測量的疲勞駕駛識別系統安裝在車輛儀表盤上方，以攝像頭能拍攝到駕駛員面對車輛前方時的面部圖像為準；
[0072]3.為了使系統在夜間也能工作同時又不影響駕駛員視線，通過帶有紅外LED燈的攝像頭得到駕駛員視頻 圖像序列；
[0073]4.在采集到的視頻幀圖片序列中，使用訓練好的人臉分類器進行人臉檢測，獲取駕駛員人臉圖像；
[0074]5.使用ASM (Active Shape Model,主動形狀模型)對人臉圖像進行眼部、鼻子和嘴部的定位。主動形狀模型包括訓練和搜索兩個部分:
[0075]其中，ASM的訓練由以下步驟組成:
[0076](I)搜集η張含有人臉面部區域的樣本圖片；
[0077](2)對于每個樣本圖片，手動標定每個訓練樣本中的k個關鍵特征點，這樣就組成了一個形狀向量％，如此一來，η個訓練樣本圖片就構成了 η個形狀向量，其中，％表示如下:
[0078]at=
[0079]其中，(?)表示第i個訓練樣本上第j個特征點的坐標；
[0080](3)為了消除圖片中人臉由于不同角度、距離遠近、姿態變換等外界因素造成的非形狀干擾，使點分布模型更加有效，采用Procrustes方法進行歸一化或對齊操作；
[0081](4)將對齊后的形狀向量進行PCA處理:
[0082]計算平均形狀向量:《 =丄
η ,.1[0083]計算協方差矩陣
【權利要求】
1.一種基于心率變異性非接觸式測量的疲勞駕駛識別系統，包括圖像采集裝置、圖像處理裝置和報警裝置，其特征在于所述圖像采集裝置用于實時獲取駕駛人面部圖像，并將采集的駕駛人圖像傳輸給圖像處理裝置；所述圖像處理裝置用于根據駕駛人圖像獲取駕駛人的心率變異性，并根據駕駛人的心率變異性獲取駕駛人的駕駛疲勞狀態；所述報警裝置用于當圖像處理裝置判定駕駛人處于駕駛疲勞狀態時進行報警提示。
2.根據權利要求1所述的基于心率變異性非接觸式測量的疲勞駕駛識別系統，其特征在于所述報警裝置選自以下報警提示器的一種或者兩者以上的任意組合:LED燈、語音報警器、安全帶振動器及座椅振動器。
3.根據權利要求1所述的基于心率變異性非接觸式測量的疲勞駕駛識別系統，其特征在于所述圖像采集裝置選自攝像頭，攝像頭的輸出端與圖像處理裝置的輸入端連接。
4.根據權利要求1所述的基于心率變異性非接觸式測量的疲勞駕駛識別系統，其特征在于所述圖像處理裝置為DSP處理系統，DSP處理系統的輸出端與報警裝置的輸入端連接。
5.根據權利要求1所述的基于心率變異性非接觸式測量的疲勞駕駛識別系統，其特征在于所述圖像采集裝置安裝在車輛儀表盤的上方，以可拍攝到駕駛人面對車輛正前方時的正面人臉圖像為安裝的基準。
6.一種基于心率變異性的疲勞駕駛識別方法，其特征在于所述方法包括以下步驟: (1)采集駕駛人的面部圖像； (2)根據駕駛人圖像獲取駕駛人的心率變異性，并根據駕駛人的心率變異性獲取駕駛人的駕駛疲勞狀態； (3)當判定駕駛人處于駕駛疲勞狀態時進行報警提示。
7.根據權利要求6所述的疲勞駕駛識別方法，其特征在于所述方法步驟(2)根據駕駛人圖像獲取駕駛人的心率變異性按照如下步驟進行: 1)利用人臉分類器對駕駛人的面部圖像進行人臉定位和器官識別，利用ASM進行臉部器官的定位； 2)根據定位的器官邊緣定位額頭、左右臉頰三個區域，統計一段時間內三個區域內的R、G、B值信號； 3)對R、G、B值信號進行ICA分析，對ICA分析結果的第二個分量進行插值、濾波處理，獲得心率變形性數據向量。
8.根據權利要求6所述的疲勞駕駛識別方法，其特征在于所述方法步驟(2)根據駕駛人的心率變異性獲取駕駛人的駕駛疲勞狀態按照如下步驟進行: 1)獲取多組不同駕駛員在疲勞和不疲勞兩種狀態下的心率變異性數據向量，構建訓練數據庫訓練分類器，并根據心率變異性數據向量的分析數據確定疲勞駕駛狀態判斷的閾值，建立疲勞駕駛判定模型； 2)根據駕駛人圖像獲取當前一段時間內駕駛人的心率變異性數據向量； 3)使用訓練好的分類器對步驟2)中得到的心率變異性數據向量進行分類，結合駕駛狀態數據庫中的信息，根據心率變異性數據向量的分類結果是否在疲勞駕駛狀態判斷的閾值確定當前一段時間內駕駛員是否處于疲勞駕駛狀態。
【文檔編號】G08B21/06GK103824420SQ201310731569
【公開日】2014年5月28日 申請日期:2013年12月26日 優先權日:2013年12月26日
【發明者】張波, 張偉, 成波 申請人:蘇州清研微視電子科技有限公司, 清華大學蘇州汽車研究院（吳江）