本發(fā)明涉及用于檢測(cè)瞬時(shí)睡眠的設(shè)備、方法和計(jì)算機(jī)程序。實(shí)施例示出了一種瞬時(shí)睡眠警報(bào)設(shè)備。

背景技術(shù)：

已經(jīng)能夠在一些批量生產(chǎn)交通工具中找到同時(shí)包括瞬時(shí)睡眠警報(bào)設(shè)備的駕駛員輔助系統(tǒng)。它們基于例如CAN總線上可用數(shù)據(jù)(例如，轉(zhuǎn)向角、加速和制動(dòng)行為等)的統(tǒng)計(jì)評(píng)估。換句話說(shuō)，到目前為止已經(jīng)在批量生產(chǎn)交通工具中可用的駕駛員輔助系統(tǒng)評(píng)估數(shù)據(jù)，該數(shù)據(jù)僅能夠得出關(guān)于駕駛員所處的狀態(tài)(并且特別是關(guān)于瞬時(shí)睡眠)的間接和不精確的結(jié)論。

此外，可以將改裝系統(tǒng)直接附接到人。附接的示例性位置是耳朵或手。因此，系統(tǒng)可以對(duì)例如頭部的傾斜或皮膚的電導(dǎo)作出反應(yīng)，以便由此識(shí)別瞬時(shí)睡眠。正如上述駕駛員輔助系統(tǒng)一樣，所述系統(tǒng)還具有缺點(diǎn)，即所評(píng)估的數(shù)據(jù)僅能夠得出關(guān)于駕駛員所處的狀態(tài)(并且特別是關(guān)于瞬時(shí)睡眠)的間接和不精確的結(jié)論。此外，所述系統(tǒng)使用戶不便于處理和不愉快地佩戴，并且很難被潛在用戶接受。

此外，可以采用具有集成攝像機(jī)的眼鏡，集成攝像機(jī)指向眼睛并且能夠經(jīng)由基于視頻的眼瞼閉合識(shí)別瞬時(shí)睡眠。然而，這些系統(tǒng)也使用戶不便于處理和不愉快地佩戴并且很難被潛在用戶接受。

另外已知的基于攝像機(jī)的瞬時(shí)睡眠警報(bào)設(shè)備使用例如針對(duì)眼瞼閉合確定的預(yù)設(shè)閾值。然而，它們不是非常可靠，因?yàn)轭A(yù)設(shè)的參考值用于確定瞬時(shí)睡眠。

技術(shù)實(shí)現(xiàn)要素：

因此，本發(fā)明的目的是在瞬時(shí)睡眠的情況下提供改進(jìn)的警報(bào)概念。

該目的通過獨(dú)立權(quán)利要求的主題來(lái)實(shí)現(xiàn)。在從屬權(quán)利要求中限定了進(jìn)一步的發(fā)明改進(jìn)。

實(shí)施例示出了一種用于檢測(cè)瞬時(shí)睡眠的設(shè)備。該設(shè)備包括用于對(duì)人和所述人的眼睛區(qū)域進(jìn)行基于視頻的監(jiān)視的視頻記錄設(shè)備，視頻記錄設(shè)備被配置為記錄人和眼睛區(qū)域的圖片序列，并將其輸出到閾值確定設(shè)備。閾值確定設(shè)備被配置為從圖片序列中得到單獨(dú)地適配于此人的一個(gè)或多個(gè)閾值。此外，該設(shè)備包括閾值評(píng)估器，被配置為基于一個(gè)或多個(gè)單獨(dú)適配的閾值來(lái)判定此人是否已經(jīng)瞬時(shí)入睡；一個(gè)或多個(gè)單獨(dú)適配的閾值被用于確立在眼睛睜開的實(shí)時(shí)曲線內(nèi)是否已經(jīng)穿過閾值，并且因此確立所述人是否已經(jīng)瞬時(shí)入睡。穿過可能意味著達(dá)到以及超過和/或下降至低于閾值。因此，例如有用的是，確定達(dá)到或下降至低于第一閾值(眼瞼閉合程度)并且達(dá)到或超過第二閾值(在其期間下降至低于第一閾值的時(shí)段，例如在其期間眼瞼被識(shí)別為閉合的時(shí)段)。可以進(jìn)一步實(shí)時(shí)處理圖片序列。

本發(fā)明基于以下發(fā)現(xiàn)：特別是關(guān)于人，通過直接測(cè)量眼瞼閉合可能非接觸地檢測(cè)瞬時(shí)睡眠，這是對(duì)瞬時(shí)的睡眠已經(jīng)發(fā)生的事實(shí)的良好指示。在該基于視頻的過程中，借助于預(yù)定義的模型來(lái)確定眼瞼閉合(或眼睛的睜開)，所述模型單獨(dú)地適配于此人。為此，可以使用單獨(dú)適配于要監(jiān)視的人的頭部的基本模型。測(cè)量作為瞬時(shí)睡眠的直接特征的眼瞼閉合優(yōu)于測(cè)量間接特征，這是由于以下的非常事實(shí)：不需大規(guī)模且因此易于出錯(cuò)的算法需要應(yīng)用于任何間接特征(例如頭部?jī)A斜或皮膚的電導(dǎo))。此外，在方便性和接受性方面，非接觸測(cè)量明顯優(yōu)于涉及接觸的測(cè)量。例如，安裝在汽車中的設(shè)備不需要進(jìn)一步的適配(例如，對(duì)用戶方面進(jìn)行校準(zhǔn))，使得被監(jiān)視的人根本不會(huì)注意到他/她正在被攝像機(jī)記錄。例如，這不是特定眼鏡的情況。他們必須在開始旅程之前戴上，并將在整個(gè)佩戴期間永久給予人不同的感覺。這種心理效果實(shí)質(zhì)上有助于用戶的健康。

用于從觀察到的任何眼瞼閉合檢測(cè)瞬時(shí)睡眠(和/或用于單獨(dú)地將模型適配于此人)的標(biāo)準(zhǔn)和/或閾值可以基于監(jiān)測(cè)該人而確定，并且因此可以單獨(dú)地適配于此人。本文的優(yōu)點(diǎn)在于，考慮了人的解剖結(jié)構(gòu)和生理機(jī)能，并且因此，可以以比使用應(yīng)用于標(biāo)準(zhǔn)和/或閾值的一般標(biāo)準(zhǔn)值的方式好多了的方式檢測(cè)瞬時(shí)睡眠。與例如跨越大群人統(tǒng)計(jì)學(xué)上確定的一般標(biāo)準(zhǔn)值相比，單獨(dú)地適配于人的解剖學(xué)和生理學(xué)的標(biāo)準(zhǔn)已經(jīng)關(guān)于個(gè)人提高了有效性。這種改進(jìn)的有效性顯著地提高了在瞬時(shí)睡眠的情況下單獨(dú)地警報(bào)的可靠性。

實(shí)施例示出了第一單獨(dú)適配的閾值，其是一只眼睛的眼瞼閉合，所述眼瞼閉合位于描述睜開的眼睛的第一單獨(dú)確定的參考值和描述閉合的眼睛的第二單獨(dú)確定的參考值之間，并且所述閾值表征從睜開的眼睛到閉合的眼睛的過渡，第二單獨(dú)確定的閾值與眼瞼閉合的持續(xù)時(shí)間相關(guān)。

實(shí)施例還示出了閾值評(píng)估器，被配置為檢測(cè)正在穿過的第一閾值并確定所述穿過的持續(xù)時(shí)間；當(dāng)所述持續(xù)時(shí)間穿過第二閾值時(shí)確定瞬時(shí)睡眠。據(jù)此，當(dāng)下降至或達(dá)到第一閾值(例如，同時(shí)考慮到滯后)時(shí)(這意味著已經(jīng)識(shí)別閉合的眼瞼)，并且當(dāng)在其期間眼瞼是閉合的時(shí)間段達(dá)到或超過第二閾值時(shí)，識(shí)別出瞬時(shí)睡眠。

在評(píng)估單獨(dú)適配的閾值時(shí)，可以確定和考慮與其它參數(shù)和/或質(zhì)量測(cè)量相關(guān)的其他單獨(dú)適配的閾值作為所監(jiān)測(cè)的人已經(jīng)瞬時(shí)入睡的事實(shí)的標(biāo)準(zhǔn)。利用這樣的閾值可以便于例如識(shí)別瞬時(shí)睡眠，因?yàn)榇_定了諸如特定模式或點(diǎn)的位置、取向或數(shù)量之類的參數(shù)。特定模式或點(diǎn)可以是例如人的頭部、面部、眼睛、虹膜、瞳孔或瞳孔中心。單獨(dú)適配的閾值的其它示例可以單獨(dú)地或以任何組合(例如還與上述單獨(dú)適配的閾值(眼瞼閉合的程度和眼瞼閉合的持續(xù)時(shí)間)一起)使用。此外，它們可以代替上述單獨(dú)適配的閾值(眼瞼閉合的程度和眼瞼閉合的持續(xù)時(shí)間)。

根據(jù)另外的實(shí)施例，閾值確定設(shè)備被配置為通過評(píng)估可能發(fā)生的任何霎眼(blink)來(lái)動(dòng)態(tài)連續(xù)地適配單獨(dú)確定的參考值和第一或幾個(gè)單獨(dú)確定的閾值。這是有利的，因?yàn)檠鄄€閉合的持續(xù)時(shí)間(例如在眨眼(wink)期間)在監(jiān)視期間可能改變，例如由于疲勞或黃昏的發(fā)生。因此，閾值確定設(shè)備可以借助于在眼睛睜開的時(shí)間曲線期間發(fā)生的模式來(lái)確定眨眼和/或有意的或無(wú)意的自發(fā)霎眼，所述模式包括從第一參考值的方向下降至閾值以下以及在預(yù)定義時(shí)間段內(nèi)在第一參考值的方向上的返回。此外，閾值確定設(shè)備可以被配置為基于環(huán)境亮度的變化將一個(gè)或多個(gè)單獨(dú)適配的閾值適配于改變的環(huán)境條件。這是有利的，因?yàn)橐虼嗽诖_定單獨(dú)適配的閾值時(shí)可以考慮例如由于駕駛進(jìn)入隧道或突然被陽(yáng)光眩目而快速改變的眼瞼閉合特性。

實(shí)施例還示出了閾值確定設(shè)備，被配置為使一個(gè)或多個(gè)單獨(dú)適配的閾值適配于駕駛員的解剖結(jié)構(gòu)和生理機(jī)能。因此，例如，在確定瞬時(shí)睡眠時(shí)可以考慮針對(duì)每個(gè)人單獨(dú)確定的閾值。只要設(shè)備在接通之后沒有確定人的任何單獨(dú)的參考值或閾值，則還可以使用預(yù)定義的更一般的值，使得設(shè)備仍然能夠在業(yè)已存在的該時(shí)間期間操作。

此外，第一單獨(dú)適配的閾值可以包括滯后，根據(jù)該滯后，在從睜開的眼睛到閉合的眼睛的過渡期間，眼瞼閉合被限定在相對(duì)小的眼睛睜開角度，并且在從閉合的眼睛到睜開的眼睛的過渡期間，眼瞼閉合被定義在相對(duì)大的眼睛睜開角度。

另外的實(shí)施例示出了確定頭部姿勢(shì)的閾值確定設(shè)備，并且其中借助于確定的頭部姿態(tài)來(lái)適配單獨(dú)適配的閾值。這可以有利地用于使連續(xù)確定的眼睛睜開曲線對(duì)于不同的頭部姿勢(shì)在數(shù)量上可比較，因?yàn)楫?dāng)頭轉(zhuǎn)動(dòng)時(shí)該設(shè)備可見的眼睛的表面積將改變，并且因此將看起來(lái)更小(例如，當(dāng)頭向前傾斜時(shí))。此外，閾值確定設(shè)備可以被配置為分別為每只眼睛確定一個(gè)或多個(gè)單獨(dú)適配的閾值，由此例如可以更容易地被該設(shè)備檢測(cè)到的眼睛將用于瞬時(shí)睡眠識(shí)別。此外，閾值確定設(shè)備可以被配置為基于頭部姿勢(shì)、基于所述人的兩只眼睛(例如如果兩只眼睛對(duì)于設(shè)備是容易可見的)來(lái)確定眼瞼閉合，或者基于所述人的一只眼睛(如果例如只有一只眼睛對(duì)設(shè)備是可見的)來(lái)確定眼瞼閉合。

另外的實(shí)施例描述了包括3D建模器的設(shè)備，3D建模器基于頭部的三維模型計(jì)算人的頭部姿勢(shì)的位置。這對(duì)于確定眼睛所位于的限定區(qū)域是有利的。這減少了檢測(cè)錯(cuò)誤的數(shù)量，并因此能夠提高檢測(cè)質(zhì)量。此外，可以考慮頭部姿勢(shì)以支持檢測(cè)眼瞼閉合。根據(jù)頭部相對(duì)于攝像機(jī)的位置，可以校正睜開的和/或閉合的眼睛的參考值。

根據(jù)另一實(shí)施例，3D建模器可以例如基于柱體來(lái)計(jì)算頭部的三維模型的估計(jì)，并且可以借助于特征跟蹤來(lái)跟蹤它。所述估計(jì)減少了用于檢測(cè)頭部姿勢(shì)的計(jì)算開銷，同時(shí)為進(jìn)一步確定眼睛區(qū)域提供了非常好的估計(jì)。這使得能夠“實(shí)時(shí)地”分析(跟蹤)頭部姿勢(shì)。

實(shí)施例還示出，第二單獨(dú)適配的閾值指示比眨眼的持續(xù)時(shí)間長(zhǎng)的持續(xù)時(shí)間。此外，第二單獨(dú)適配的閾值可以適配于人(例如利用交通工具)正在移動(dòng)的當(dāng)前速度。為了確定人正在移動(dòng)的當(dāng)前速度，設(shè)備可以具有例如GPS接收器和/或被配置為捕捉設(shè)備的行進(jìn)速度的加速度傳感器，其可以用于得出關(guān)于人的和/或交通工具的速度的結(jié)論。閾值確定設(shè)備20還被配置為使一個(gè)或多個(gè)單獨(dú)適配的閾值80和85適配于行進(jìn)速度。這使得例如當(dāng)人坐在交通工具中但是所述交通工具不移動(dòng)時(shí)能夠關(guān)閉瞬時(shí)睡眠識(shí)別和/或瞬時(shí)睡眠警報(bào)。在另一實(shí)施例中，設(shè)備還可接收行進(jìn)速度作為輸入信號(hào)。

根據(jù)另外的實(shí)施例，該設(shè)備包括被配置為發(fā)射在人可見的波長(zhǎng)范圍之上的輻射的照射源，視頻記錄設(shè)備被配置為檢測(cè)輻射。這是有利的，以便均勻地照射人(即使在外部光條件改變的情況下)，而不使人注意到照射并且被其干擾。此外，該設(shè)備可以包括布置在距輻射源一定距離處的另外的輻射源，視頻記錄設(shè)備被配置為創(chuàng)建所拍攝的圖片的組合，其中，人被照射，因?yàn)檠劬^(qū)域被該輻射源和另外的輻射源依次照射，以便避免或減少在人的眼睛區(qū)域中發(fā)生的反射。關(guān)于這種布置可能是有利的是，改善圖片質(zhì)量并因此改善瞬時(shí)睡眠確定的精確度，因?yàn)椴槐苊饣驕p少反射，發(fā)生在眼鏡上或瞳孔上的反射例如可能使所述人的一只或兩只眼睛模糊，并且因此可能使得瞬時(shí)睡眠確定更加困難。

根據(jù)另外的實(shí)施例，該設(shè)備包括被配置為基于圖片序列確定眼睛睜開參數(shù)的眼睛睜開檢測(cè)器。實(shí)施例示出了被配置為基于來(lái)自眼睛檢測(cè)的參數(shù)確定眼睛睜開(例如，歸一化為距視頻記錄設(shè)備或攝像機(jī)的該距離的眼睛睜開)的眼睛睜開檢測(cè)器。例如，參數(shù)可以是眼睛的中心或眼睛的邊緣區(qū)域中的點(diǎn)。由于已經(jīng)在眼睛的有限區(qū)域內(nèi)確定眼睛的眼睛睜開度，所以該確定更精確并且更不易于出錯(cuò)(與如果在較大的搜索區(qū)域或者更大的ROI(感興趣的區(qū)域)內(nèi)執(zhí)行該確定相比)。

實(shí)施例進(jìn)一步描述了通過例如使眼睛模板或模型適配于梯度圖片或其他合適的特征(例如拐角特征或拱形特征)來(lái)確定眼睛睜開角度，其可以基于特定星座圖中的梯度和/或相對(duì)于彼此的距離的組合。眼睛模板可以用于描述睜眼過程的部分。另一實(shí)施例示出借助于眼睛模板確定眼睛睜開角度，借助于估計(jì)以基于眼睛的中心和面部的寬度的水平投影函數(shù)來(lái)遍及眼睛模板。除此之外，實(shí)施例示出借助于曲線近似確定眼睛睜開過程。曲線近似可以在描述眼睛輪廓的至少四個(gè)參數(shù)之間內(nèi)插，并且因此可以將眼睛模板適配于檢測(cè)到的眼睛。所描述的確定眼睛睜開過程的方法使用來(lái)自眼睛檢測(cè)的參數(shù)作為參考點(diǎn)(＝界標(biāo))。后者影響模板的尺寸和形狀，并因此形成用于確定眼睛睜開和/或眼瞼閉合程度的基礎(chǔ)。

根據(jù)實(shí)施例，該設(shè)備是便攜式的。這使得能夠移動(dòng)地利用設(shè)備，而不是例如將其固定地安裝在汽車中。

此外，實(shí)施例示出了可以被實(shí)現(xiàn)為計(jì)算機(jī)程序的檢測(cè)瞬時(shí)睡眠的方法。

附圖說(shuō)明

下面將參照附圖更詳細(xì)地說(shuō)明本申請(qǐng)的優(yōu)選實(shí)施例，在附圖中：

圖1示出了用于檢測(cè)瞬時(shí)睡眠的設(shè)備的示意性框圖；

圖2示出用于檢測(cè)瞬時(shí)睡眠的具有單獨(dú)確定的參考值以及單獨(dú)適配的閾值的眼睛睜開曲線的示意性表示；

圖3示出了用于以偏離圖1的表示檢測(cè)瞬時(shí)睡眠并且包括更詳細(xì)的功能塊的設(shè)備的示意性框圖；

圖4示出了指向人的視頻記錄設(shè)備的示意性表示；

圖5示出了具有用于檢測(cè)瞬時(shí)睡眠的設(shè)備的示例性布置的交通工具內(nèi)部的示意性表示；以及

圖6示出了檢測(cè)瞬時(shí)睡眠的方法的示意性流程圖。

具體實(shí)施方式

在附圖的以下描述中，相同或具有相同動(dòng)作的元件將被提供有相同的附圖標(biāo)記，使得它們的描述在不同的實(shí)施例中是可互換的。

人(例如交通工具駕駛員)的過度疲勞可能導(dǎo)致注意力降低，并且導(dǎo)致人瞬時(shí)入睡。本文的瞬時(shí)睡眠將用作發(fā)生的短暫時(shí)期的睡眠的同義詞，并且還包括例如微睡眠。這導(dǎo)致德國(guó)高速公路上約25％的致命事故。目前，在瞬時(shí)睡眠的情況下提供可靠的警報(bào)的系統(tǒng)在市場(chǎng)上并不已知，下面將提出一種用于檢測(cè)瞬時(shí)睡眠的設(shè)備，其準(zhǔn)確且可靠地檢測(cè)人體中的眼瞼閉合，以便從其中推斷出人的瞬時(shí)睡眠，其檢測(cè)人的瞬時(shí)睡眠，在瞬時(shí)睡眠發(fā)生時(shí)輸出警報(bào)，并且使得能夠易于使用提供瞬時(shí)睡眠警報(bào)的系統(tǒng)。

整個(gè)系統(tǒng)可以從其中描繪了人的面部的攝像機(jī)圖片中導(dǎo)出用于檢測(cè)待監(jiān)視的人的部位上的瞬時(shí)睡眠的單獨(dú)適配的閾值，并且在瞬時(shí)睡眠發(fā)生時(shí)對(duì)該人發(fā)出警報(bào)。出于提高的清楚的原因，在一些實(shí)施例中提到了駕駛員。然而，通過類推的本發(fā)明的應(yīng)用的描述和類型還涉及其它應(yīng)用領(lǐng)域，例如，由空中交通管制員監(jiān)視航空區(qū)域，在這種情況下，該系統(tǒng)可以用于在空中交通管制員方面的瞬時(shí)睡眠的情況下發(fā)出警報(bào)。

圖1示出了用于檢測(cè)瞬時(shí)睡眠的設(shè)備5的示意性框圖。用于檢測(cè)瞬時(shí)睡眠的設(shè)備5包括視頻記錄設(shè)備10、閾值確定設(shè)備20以及閾值評(píng)估器25。用于對(duì)人15和人15的眼睛區(qū)域進(jìn)行基于視頻的監(jiān)視的視頻記錄裝置10被配置為記錄人15和眼睛區(qū)域的圖片序列，并將其輸出到閾值確定設(shè)備20。閾值確定設(shè)備20被配置為從圖片序列中導(dǎo)出單獨(dú)適配于該人的一個(gè)或多個(gè)閾值80和85。閾值評(píng)估器25還被配置為基于單獨(dú)適配的閾值來(lái)判定所述人是否已經(jīng)瞬時(shí)入睡，所述單獨(dú)適配的閾值用于確立在眼睛睜開的實(shí)時(shí)曲線內(nèi)是否有任何閾值已經(jīng)被穿過(例如超過和/或下降到其之下)，并且因此確立該人是否已經(jīng)瞬時(shí)入睡。此外，閾值評(píng)估器25可以配置用于根據(jù)上述描述確立瞬時(shí)睡眠。

閾值確定設(shè)備20因此被配置為從圖片序列中導(dǎo)出用于檢測(cè)瞬時(shí)睡眠的時(shí)變閾值，其單獨(dú)地適配于用戶或人15以及環(huán)境影響。環(huán)境影響應(yīng)理解為尤其意味著例如改變光條件(例如太陽(yáng)、陰影、陰天、夜晚或?qū)γ娼煌üぞ叩撵拍康那罢諢?。為了在確定單獨(dú)適配的閾值時(shí)考慮環(huán)境影響，閾值確定設(shè)備被配置為基于環(huán)境亮度的變化使單獨(dú)適配的閾值適配于改變的環(huán)境條件。閾值旨在描述關(guān)于瞬時(shí)睡眠的“眼睛睜開的時(shí)間曲線”特性，其中一個(gè)閾值定義哪個(gè)眼睛睜開被認(rèn)為是閉合的眼睛，而另一個(gè)閾值定義對(duì)于將被確立的瞬時(shí)睡眠眼睛必須被識(shí)別為閉合多長(zhǎng)時(shí)間。下面將參照?qǐng)D2更詳細(xì)地說(shuō)明閾值。

單獨(dú)適配的閾值80和85可以考慮特定于人15的特征(例如解剖或生理特征)。根據(jù)單獨(dú)適配的閾值80和85，閾值評(píng)估器25可以確定眼瞼閉合的發(fā)生作為瞬時(shí)睡眠的開始的指示。這將在下面更詳細(xì)地進(jìn)行說(shuō)明。

可選地，設(shè)備5可以包括GPS接收器45和/或加速度傳感器50。傳感器可以感測(cè)設(shè)備5的行進(jìn)速度，其可以用作得出關(guān)于人和/或交通工具的速度的結(jié)論的基礎(chǔ)。閾值確定設(shè)備20還被配置為使單獨(dú)適配的閾值80和85適配于行進(jìn)速度。例如，在交通工具中使用的情況下，可以識(shí)別交通工具的速度和/或駕駛狀況(移動(dòng)/處于靜止)，并且可以關(guān)閉瞬時(shí)睡眠警報(bào)，因?yàn)轳{駛員的瞬時(shí)睡眠警報(bào)優(yōu)選在移動(dòng)的交通工具中或者通常在移動(dòng)的駕駛員中需要。

另外的實(shí)施例示出了具有照射源55的設(shè)備5，照射源55向人15發(fā)射在可見的波長(zhǎng)范圍之上的輻射，視頻記錄設(shè)備10被配置為檢測(cè)輻射。因此，人15可以獨(dú)立于外部光條件(例如還在完全黑暗中)而被照射，而不使人15眩目或被干擾。

可選地，設(shè)備5還可以包括布置在距照射源55一定距離處的另外的照射源60。因此，人15可以由處于不同角度的兩個(gè)照射源55和60照射。視頻記錄設(shè)備10被配置為確定所拍攝的圖片的組合，其中借助于照射源55和另外的照射源60依次照射眼睛區(qū)域來(lái)照射人15，以便避免或減少在人的眼睛區(qū)域的部位中的任何反射。

圖2示出了用于檢測(cè)瞬時(shí)睡眠的具有單獨(dú)確定的參考值70和75的以及單獨(dú)適配的閾值80和85的眼睛睜開65的曲線的適應(yīng)性表示。眼睛睜開可以是絕對(duì)眼睛睜開或例如歸一化為眼睛距離視頻記錄設(shè)備10的距離的眼睛睜開。第一單獨(dú)適配的閾值80用于確定一只眼睛的眼瞼閉合，眼瞼閉合被定義為位于描述睜開的眼睛的第一單獨(dú)確定的參考值70與描述閉合的眼睛的第二單獨(dú)確定的參考值75之間，以及閾值80表征從睜開的眼睛到閉合的眼睛(眼瞼閉合)的過渡。換句話說(shuō)，當(dāng)降至單獨(dú)適配于用戶的某種程度的眼睛睜開以下時(shí)(某種程度的眼睛睜開是由于環(huán)境影響造成的，并且將眼睛評(píng)估為閉合的)，將確立眼瞼閉合。

第二單獨(dú)適配的閾值85涉及眼瞼閉合的持續(xù)時(shí)間。確定單獨(dú)的眼瞼閉合時(shí)間，以便如果超過所述眼瞼閉合時(shí)間則將眼瞼閉合評(píng)估為瞬時(shí)睡眠。當(dāng)下降至低于(眼睛睜開)或超過(時(shí)間閾值)用于評(píng)估的眼睛的單獨(dú)適配的閾值80和85兩者時(shí)，將確立瞬時(shí)睡眠。閾值確定設(shè)備20因此被配置為借助于眼睛睜開65的時(shí)間曲線內(nèi)的模式來(lái)確定霎眼和/或眨眼；來(lái)自第一單獨(dú)確定的參考值70的方向的模式包括下降至低于第一單獨(dú)適配的閾值80和在預(yù)定時(shí)間Δt內(nèi)在第一參考值70的方向上的返回。根據(jù)視頻記錄設(shè)備10對(duì)眼睛的可檢測(cè)性，使用一只眼睛或兩只眼睛來(lái)確定瞬時(shí)睡眠。這將在以下進(jìn)行更詳細(xì)地說(shuō)明。

在評(píng)估單獨(dú)適配的閾值時(shí)，可以確定和考慮與其它參數(shù)和/或質(zhì)量測(cè)量相關(guān)的其他單獨(dú)適配的閾值作為所監(jiān)測(cè)的人已經(jīng)瞬時(shí)入睡的事實(shí)的標(biāo)準(zhǔn)。利用這樣的閾值可以便于例如識(shí)別瞬時(shí)睡眠，因?yàn)榇_定了諸如特定模式或點(diǎn)的位置、取向或數(shù)量之類的參數(shù)。特定模式或點(diǎn)可以是例如人的頭部、面部、眼睛、虹膜、瞳孔或瞳孔中心。單獨(dú)適配的閾值的其它示例可以單獨(dú)地或以任何組合(例如還與上述單獨(dú)適配的閾值(眼瞼閉合的程度和眼瞼閉合的持續(xù)時(shí)間)一起)使用。此外，它們可以代替上述單獨(dú)適配的閾值(眼瞼閉合的程度和眼瞼閉合的持續(xù)時(shí)間)。

為了確定第一單獨(dú)適配的閾值80，測(cè)量眼睛睜開并檢測(cè)眼瞼閉合。這是針對(duì)每只眼睛單獨(dú)執(zhí)行的。將參考圖3描述測(cè)量眼睛睜開的方法。結(jié)果是以絕對(duì)值或歸一化值表示的眼睛睜開65(參見圖2)的時(shí)間曲線。借助于歸一化，例如作為歸一化為人15的被監(jiān)視的眼睛與攝像機(jī)10的距離的像素，可以消除駕駛員和設(shè)備之間的不同距離的影響。

第一單獨(dú)確定的參考值70(還稱為上參考值并且描述睜開的眼睛)和第二單獨(dú)確定的參考值75(還稱為下參考值并且描述閉合的眼睛)可以根據(jù)包括任何眨眼和/或霎眼的眼睛睜開65的時(shí)間曲線進(jìn)行確定。此外，第一單獨(dú)適配的閾值80可以在由單獨(dú)確定的參考值70和75限制的范圍內(nèi)確定。在當(dāng)前眼睛睜開小于第一單獨(dú)適配的閾值時(shí)，眼瞼被認(rèn)為是閉合的(眼瞼閉合)。據(jù)此，閾值確定設(shè)備被配置為使單獨(dú)適配的閾值適配于駕駛員的解剖結(jié)構(gòu)和生理機(jī)能。此外，在閾值確定設(shè)備20的部分上通過評(píng)估發(fā)生的任何眨眼，動(dòng)態(tài)地連續(xù)適配單獨(dú)確定的參考值70和75以及單獨(dú)確定的閾值80和85。

此外，第一單獨(dú)適配的閾值80可以包括滯后90a、90b，被配置為在從睜開的眼睛到閉合的眼睛的過渡期間以相對(duì)小的眼睛睜開角度90b定義眼瞼閉合，并且在從閉合的眼睛到睜開的眼睛的過渡期間以相對(duì)大的眼睛睜開角度90a定義眼瞼閉合。

通過評(píng)估例如被監(jiān)視的人的霎眼(可能是自發(fā)的或無(wú)意的)來(lái)不斷地確定分別關(guān)于人15和環(huán)境條件的睜開的和/或閉合的眼睛的單獨(dú)確定的參考值70和75。這是有利的，因?yàn)橐赃@種方式考慮了人15的個(gè)體解剖學(xué)和生理學(xué)特征。此外，該方法抵抗由環(huán)境影響對(duì)被監(jiān)視人15所引起的任何干擾(諸如例如炫目的光)，因?yàn)殚撝岛?或參考值被動(dòng)態(tài)地適配并且因此適配于可能已經(jīng)改變的任何情況。所述評(píng)估可以基于識(shí)別自發(fā)霎眼或眨眼來(lái)進(jìn)行，其“睜開”和“閉合”狀態(tài)被認(rèn)為是單獨(dú)睜開和/或閉合的眼睛。

隨后，將通過示例的方式來(lái)說(shuō)明識(shí)別眨眼或霎眼的方法。然而，還可以采用其他方法。一旦霎眼過程已經(jīng)終止，則借助于眼睛睜開65的時(shí)間曲線中的信號(hào)形狀，將其識(shí)別為在特定限度內(nèi)可變的模式。該模式包括眼睛睜開的減少，隨后眼睛睜開大約擴(kuò)大到初始值70，兩者都緊密接連發(fā)生。所述波形的最大值和最小值(其可以被濾波以便提高其被評(píng)估的性能)被用作上參考值和下參考值70和75。

根據(jù)另一實(shí)施例，閾值確定設(shè)備可以分別確定關(guān)于單獨(dú)“睜開的”和單獨(dú)“閉合的”眼睛的單獨(dú)的參考值。這兩個(gè)單獨(dú)的參考值將眼睛描述為單獨(dú)“睜開的”或“閉合的”。為了執(zhí)行所述確定，記錄這兩個(gè)參考值的單獨(dú)的趨勢(shì)，即，其連續(xù)地捕捉所述人15的所述單獨(dú)“打開的”(與第一單獨(dú)適配的參考值70相對(duì)應(yīng))和所述單獨(dú)“閉合的”(與第二單獨(dú)確定的參考值75相對(duì)應(yīng))的精確等同的內(nèi)容，并且第一單獨(dú)閾值80被定義為位于兩個(gè)所述單獨(dú)參考值(眼瞼閉合)之間。換句話說(shuō)，閉合的眼瞼通過所述是單獨(dú)地“睜開的”或“閉合的”以百分比為單位來(lái)定義。

可以根據(jù)所述單獨(dú)的閾值確定單獨(dú)的瞬時(shí)睡眠。通過滯后90a、90b補(bǔ)充預(yù)先確定的并且其中眼睛睜開的程度被評(píng)估為臨界的自適應(yīng)閾值80。閾值是自適應(yīng)的，因?yàn)樗婕瓣P(guān)于單獨(dú)“睜開的”和“閉合的”眼睛的單獨(dú)的參考值。將參考圖3更詳細(xì)地說(shuō)明該原理。

為了微調(diào)第一單獨(dú)適配的閾值80，還可以考慮眼瞼閉合速度。所述眼瞼閉合速度可以例如借助于以離開第一單獨(dú)確定的參考值70開始并且以達(dá)到第二單獨(dú)確定的參考值75結(jié)束的持續(xù)時(shí)間來(lái)確定。例如，如果單獨(dú)適配的閾值80位于上參考值和下參考值70和75之間的中間，則可以利用眼瞼閉合速度，因?yàn)閱为?dú)適配的閾值80在向上方向(朝向參考值70)或在向下方向(朝向參考值75)上進(jìn)行校正。

根據(jù)另一實(shí)施例，還微調(diào)參考值70和75。這是在考慮到頭部姿勢(shì)(即頭部的位置和/或空間位置和取向)的情況下實(shí)現(xiàn)的，這可以借助于所謂的頭部姿勢(shì)跟蹤來(lái)確定。據(jù)此，閾值確定設(shè)備20被配置為借助于確定的頭部姿勢(shì)來(lái)適配單獨(dú)適配的閾值80，并且根據(jù)頭部姿勢(shì)借助于人15的一只眼睛或兩只眼睛來(lái)確定眼瞼閉合。具體地，可以以不精確的方式確定第一單獨(dú)確定的參考值，這是由于改變了的眼睛的圖片被拍攝的視角(例如如果由于眼瞼的彎曲而眼睛睜開最大的眼睛中心被隱藏在視頻記錄設(shè)備10的視野之外)。借助于所述頭部姿勢(shì)跟蹤，可以因此確定人15的外觀是否被正面指向視頻記錄設(shè)備10，或者是否必須交替地執(zhí)行對(duì)參考值70和75的校正。據(jù)此，頭部姿勢(shì)可以用于支持瞬時(shí)睡眠識(shí)別，并且因此可以可選地用于改善眼睛評(píng)估。

基于對(duì)所記錄的視頻數(shù)據(jù)的評(píng)估，3D頭部模型可以適配于所監(jiān)視的頭部的形狀、位置和取向，并且基于對(duì)形狀、位置和取向的認(rèn)識(shí)，閾值可以是單獨(dú)適配的。據(jù)此，設(shè)備5可以包括3D建模器，其基于對(duì)單獨(dú)適配的閾值的評(píng)估來(lái)計(jì)算人的頭部的三維模型。為了進(jìn)行簡(jiǎn)化，3D建模器還可以通過使用頭部的三維模型的形狀、位置和取向的簡(jiǎn)化表示來(lái)執(zhí)行計(jì)算(例如，基于柱體)。將參考圖3更詳細(xì)地描述頭部姿勢(shì)跟蹤。

確定第二單獨(dú)適配的閾值85(即眼瞼閉合的時(shí)間段Δt)并且將其一起用于兩只眼睛，只要兩只眼睛在焦距內(nèi)并且可以被評(píng)估。基于單獨(dú)確定的眼瞼閉合持續(xù)時(shí)間的時(shí)間最大值而動(dòng)態(tài)地確定閾值85；可以例如通過自發(fā)發(fā)生的霎眼或眨眼(以眼瞼閉合和緊接著的眼瞼睜開為特征)的持續(xù)時(shí)間的倍數(shù)或基于文獻(xiàn)值來(lái)確定眼瞼閉合持續(xù)時(shí)間。文獻(xiàn)值可以用作不將值定義為不切實(shí)際高的參考點(diǎn)，或者可以用作尚未確定單獨(dú)眼瞼閉合時(shí)間的事件的初始化值。可選地，第二單獨(dú)適配閾值85還可以取決于人(例如在汽車中)的行進(jìn)速度。例如，相對(duì)長(zhǎng)的眼瞼閉合時(shí)間在高速下比在低速下更危險(xiǎn)，因?yàn)樵谙嗤臅r(shí)間段內(nèi)閉合的眼睛覆蓋更大的距離。GPS接收器45和/或加速度傳感器50的數(shù)據(jù)可以用于此目的。此外，第二單獨(dú)適配的閾值85的時(shí)間最小值可以適配于發(fā)生的霎眼和/或眨眼的時(shí)間段。

第二單獨(dú)適配的閾值85在范圍內(nèi)被指示為位于上述最大值和最小值之間，并且可以根據(jù)針對(duì)瞬時(shí)睡眠警報(bào)所設(shè)置的靈敏度來(lái)調(diào)整。給定高水平的靈敏度(特異性在相同時(shí)間較低)，閾值將接近時(shí)間最小值，并且給定低靈敏度(特異性在相同時(shí)間相對(duì)較高)，閾值將接近時(shí)間最大值。根據(jù)需要，可以在從“高靈敏度”至“低靈敏度”的范圍內(nèi)選擇調(diào)整。可能需要高水平的靈敏度(例如，在人快速行進(jìn)的情況下)。

通過示例的方式，圖2示出了在單獨(dú)確定的參考值70和75的界限內(nèi)的眼睛睜開曲線65。自適應(yīng)閾值80被定義為各個(gè)參考值之間的中間并且確定人15的眼瞼閉合；簡(jiǎn)言之，當(dāng)眼睛睜開曲線下降到閾值80以下時(shí)，認(rèn)為是眼瞼閉合。圍繞閾值80，滯后范圍被限定在界限90a和90b之間，該滯后范圍確定眼瞼閉合的開始和結(jié)束時(shí)間，并因此確定眼瞼閉合持續(xù)時(shí)間。如果下降至該界限90b以下，則眼睛將被認(rèn)為是閉合的，并且如果超過界限90a，則眼睛將被評(píng)估為睜開的。如果眼瞼閉合持續(xù)時(shí)間超過定義的閾值85(Δt)，則已經(jīng)發(fā)生瞬時(shí)睡眠，否則眼前是眨眼和/或自發(fā)發(fā)生的眼瞼閉合。

換句話說(shuō)，單獨(dú)適配的閾值80和85定義了與實(shí)際眼睛睜開曲線相比較用于檢測(cè)瞬時(shí)睡眠的模式，以便在模式和實(shí)際眼睛睜開曲線(其與超過閾值和/或下降至閾值以下相對(duì)應(yīng))之間存在匹配的情況下檢測(cè)到瞬時(shí)睡眠。關(guān)于圖2，如果下降至低于第二滯后界限90b，則將啟動(dòng)定時(shí)器以用于確定第二適配的閾值85。所述定時(shí)器將運(yùn)行這樣的時(shí)間，直到再次超過第一滯后界限90a為止。如果(初始)下降至滯后閾值以下和(隨后的)超過滯后閾值之間的持續(xù)時(shí)間短于第二閾值85(Δt)，則眼前是自發(fā)發(fā)生的眼瞼閉合或眨眼，如通過示例性時(shí)間周期Δt₁92和Δt₃94示出的。如果下降至低于和/或超過的持續(xù)時(shí)間大于或等于第二單獨(dú)適配的閾值85，則眼前是瞬時(shí)睡眠。這借助于具有持續(xù)時(shí)間Δt₂93的示例性眼瞼閉合示出。

換句話說(shuō)，如果(簡(jiǎn)言之)兩個(gè)眼瞼在限定的程度x上閉合了限定的時(shí)間段Δt，則將發(fā)生瞬時(shí)睡眠。根據(jù)頭部的位置，例如如果僅兩只眼睛中的一只被視頻記錄設(shè)備10捕捉，則還可以基于該一只眼睛進(jìn)行評(píng)估。此外，一旦評(píng)估開始，應(yīng)立即獲得對(duì)瞬時(shí)睡眠的檢測(cè)。為此，可以接受相對(duì)較大程度的不確定性和/或較大程度的靈敏度，因?yàn)樵跍y(cè)量開始時(shí)將有很少或沒有關(guān)于被監(jiān)視的人可用的單獨(dú)數(shù)據(jù)。

為了導(dǎo)出所描述的檢測(cè)閾值80和85以及參考值70和75，將使用個(gè)體解剖學(xué)和生理特征(例如個(gè)體解剖學(xué)眼睛睜開)和個(gè)體參數(shù)(諸如眼瞼閉合、頭部?jī)A斜等)。

此外，3D頭部姿勢(shì)可以用于定義使用兩只眼睛中的哪只眼睛或者是否可能使用兩只眼睛以用于評(píng)估。根據(jù)頭部相對(duì)于攝像機(jī)的位置和扭曲，將做出關(guān)于兩只眼睛中的哪只以及兩只眼睛是否可能將被用于檢測(cè)瞬時(shí)睡眠的決定。如果頭部姿勢(shì)跟蹤確定頭部相對(duì)于相機(jī)的足夠的正面取向，則兩只眼睛將用于評(píng)估。

圖3示出了用于以偏離圖1的表示檢測(cè)瞬時(shí)睡眠并且包括更詳細(xì)的功能塊的設(shè)備的示意性框圖。用于檢測(cè)瞬時(shí)睡眠的設(shè)備5包括用于對(duì)人15和所述人15的眼睛區(qū)域進(jìn)行基于視頻的監(jiān)視的視頻記錄設(shè)備10。此外，用于檢測(cè)瞬時(shí)睡眠的設(shè)備5可選地包括照射源55和可選的其它功能塊105-140。根據(jù)實(shí)現(xiàn)，功能塊可以與閾值確定設(shè)備20、閾值評(píng)估器25或單獨(dú)的計(jì)算設(shè)備(未示出)相關(guān)聯(lián)。根據(jù)實(shí)施例，設(shè)備5相對(duì)于人15是非接觸的(參見圖4)。非接觸意味著當(dāng)設(shè)備5按預(yù)期使用時(shí)，其部分將不會(huì)與人15接觸。

視頻記錄設(shè)備10被配置為記錄人15和眼睛區(qū)域的圖片序列，并將其輸出到功能塊，以便判定人15是否已經(jīng)瞬時(shí)入睡。

視頻記錄設(shè)備10還被配置為記錄人15或人15的至少面部，并將所拍攝的圖片序列輸出到功能塊105-140。基于所述圖片序列，功能塊將執(zhí)行圖片識(shí)別和處理步驟。

實(shí)施例示出了圖片序列中的反射105的距離。例如在眼鏡或瞳孔和/或眼睛(特別是在角膜上)可能發(fā)生反射。可以在算法上通過檢測(cè)和分割反射并用內(nèi)插的或者(如果可能的話)重建的圖片內(nèi)容將其填充來(lái)去除反射。此外，可以避免反射，因?yàn)橛霉?例如，來(lái)自紅外光譜，來(lái)自兩個(gè)不同的位置)交替照射人。因此可以相對(duì)于彼此計(jì)算兩個(gè)連續(xù)的幀，使得反射被清楚地減少，因?yàn)橛捎谡丈涞淖兓霈F(xiàn)的反射發(fā)生在不同的圖片位置。另一實(shí)施例描述所述后者算法的修改。再次，兩個(gè)光源(例如，紅外LED(IR-LED))交替地用于照射，并且連續(xù)地檢測(cè)反射，這些反射不需要被校正和/或內(nèi)插。如果反射位于感興趣的區(qū)域(ROI)(例如在眼睛上方)內(nèi)，則可以使用其他現(xiàn)有的光源或IR-LED。以這種方式，其可以不斷地在光源之間切換，并且可以選擇在每種情況下最有利的照射。

實(shí)施例示出了面部識(shí)別115。面部識(shí)別115可以例如借助于級(jí)聯(lián)檢測(cè)器來(lái)定位面部或面部的組成部分(例如面部或面部輪廓上的眼睛、鼻子、嘴、耳朵和/或一般點(diǎn)(例如界標(biāo)))，以便確定面部的二維(2D)位置和尺寸以及眼睛(或其他面部組成部分)的位置。級(jí)聯(lián)檢測(cè)器(例如根據(jù)Viola/Jones[2])可以包括具有不同細(xì)節(jié)水平和/或訓(xùn)練水平的不同的信號(hào)處理算法和/或相同的信號(hào)處理算法，以便評(píng)估一般特征。例如在Viola Jones[2]中所示的毛發(fā)狀特征的使用在所描述的實(shí)施例中是可選的。以這種方式，可以借助于簡(jiǎn)單的算法來(lái)執(zhí)行預(yù)分類，使得僅需要對(duì)減小的數(shù)據(jù)集采用更具體的算法，并且使得從而減少計(jì)算時(shí)間。此外，例如，還可以使用諸如神經(jīng)元網(wǎng)絡(luò)之類的其他信號(hào)處理方法來(lái)代替級(jí)聯(lián)檢測(cè)器。

另外的實(shí)施例示出了對(duì)駕駛員或人15執(zhí)行的眼睛識(shí)別120。在該步驟中可以改進(jìn)上述面部識(shí)別，其中分析的2D位置(例如，眼睛的中心)是用眼睛睜開或閉合來(lái)確定的。此外，可以執(zhí)行關(guān)于檢測(cè)到的眼睛的睜開的估計(jì)。同樣，可以通過使用級(jí)聯(lián)檢測(cè)器來(lái)執(zhí)行眼睛識(shí)別。

另一實(shí)施例描述了瞳孔或瞳孔中心125的檢測(cè)。特別地，在眼睛睜開的情況下，可以確定瞳孔中心，并且然后將從眼睛識(shí)別120開始改進(jìn)位置。瞳孔或瞳孔中心可以借助于基于梯度的方法(例如[1])來(lái)確定。暗的瞳孔和也是暗的虹膜從白色眼球中清楚地突出，并因此形成可以例如借助于[1]中描述的方法進(jìn)行檢測(cè)的強(qiáng)梯度。

附加地或替代地，實(shí)施例示出了包括用于確定3D頭部姿勢(shì)110的3D頭部建模器的設(shè)備5，3D頭部建模器計(jì)算人的頭部的三維模型或3D頭部姿勢(shì)。通過另外考慮3D頭部姿態(tài)，可以實(shí)現(xiàn)頭部或頭部位置的更魯棒和更精確的檢測(cè)。此外，可以借助于3D模型來(lái)確定用于確定眼睛睜開程度的眼睛(一個(gè)或兩個(gè))的ROI中的界標(biāo)。此外，在眼瞼評(píng)估中，可以考慮頭部的傾斜與頭部的轉(zhuǎn)動(dòng)一樣多，以便確定哪只眼睛可以更可靠地進(jìn)行評(píng)估。頭部的傾斜可以進(jìn)一步用于適配單獨(dú)的參考值70和75以及自適應(yīng)閾值80。因此，設(shè)備5被配置為確定人15的眼睛的位置。

為了確定3D頭部姿勢(shì)，可以首先進(jìn)行初始化。后者包括借助于級(jí)聯(lián)檢測(cè)器的粗略2D面部檢測(cè)(參見面部檢測(cè)115)。另外的面部組成部分還可以經(jīng)由級(jí)聯(lián)檢測(cè)器來(lái)定位，如已經(jīng)針面部和眼睛識(shí)別所描述的。所述組成部分可以是眼睛的位置、鼻子的尖端或嘴角。基于粗略分類的面部組成部分，可以借助于基于ASM(活動(dòng)形狀模型)[3]或AAM(活動(dòng)外觀模型)[4]的方法將2D網(wǎng)格網(wǎng)絡(luò)模型放置或置于面部上并且適配于人15。可以從其獲得可用于進(jìn)一步處理的界標(biāo)。可以借助于投影來(lái)計(jì)算回界標(biāo)，以獲得歸一化的頭部和/或可以基于歸一化的頭部將其計(jì)算回3D。這可以例如借助于POSIT(具有ITeration的POS)[5]來(lái)實(shí)現(xiàn)。

在初始化之后，可以在建模的面部?jī)?nèi)搜索和跟蹤(特征跟蹤)2D參考點(diǎn)(特征點(diǎn))。所述參考點(diǎn)可以但不必匹配上述界標(biāo)。然而，備選地或附加地，還將確定任何偏離的參考點(diǎn)，因?yàn)閰⒖键c(diǎn)經(jīng)常與界標(biāo)不匹配。基于頭部的初始位置以及對(duì)參考點(diǎn)的跟蹤，可以實(shí)現(xiàn)頭部的位置跟蹤。為了簡(jiǎn)化問題，例如為了減少計(jì)算開銷，頭部的表面可以被分解為3D柱體，該3D柱體利用先前確定的頭部的初始位置來(lái)初始化。換句話說(shuō)，3D頭部建模器110可以基于柱體計(jì)算頭部的三維位置和取向(即3D頭部姿勢(shì))的估計(jì)。

為了進(jìn)一步跟蹤，2D特征點(diǎn)與柱體上的對(duì)應(yīng)3D位置相關(guān)聯(lián)。這導(dǎo)致散射圖的六個(gè)自由度(6DOF)中的空間位置和取向。隨著時(shí)間的推移(即從圖片到圖片)跟蹤2D特征點(diǎn)，并且確定它們的空間位置。如果任何特征點(diǎn)減少，或者如果添加新的特征點(diǎn)(例如由于頭部的轉(zhuǎn)動(dòng))，則基于3D柱體模型確定它們的空間位置。如果丟失太多的2D特征點(diǎn)，則不能再跟蹤3D柱體的位置，并且將需要更新的初始化。將需要更新的初始化的次數(shù)取決于2D特征點(diǎn)的魯棒性以及對(duì)特征點(diǎn)的跟蹤。特征點(diǎn)誤差的魯棒性或敏感性取決于例如照射的變化、視角失真或被遮蔽的短期情況。為了抵消時(shí)間漂移(慢速移動(dòng))，可以現(xiàn)在以及然后執(zhí)行從初始化獲得的具有界標(biāo)和/或3D位置的調(diào)格，即其與跟蹤并行地不時(shí)地經(jīng)過初始化。此外，從初始化獲得的界標(biāo)可以在頭部位置的跟蹤中以3D攜帶，并且可以找到它們的2D確定并且用于所述調(diào)整。

另外的實(shí)施例示出了包括眼睛睜開檢測(cè)器130的設(shè)備5，眼睛睜開檢測(cè)器130確定以歸一化值(例如歸一化為距攝像機(jī)的距離的像素)表示的眼睛睜開的確定和/或時(shí)間曲線。換句話說(shuō)，眼睛睜開檢測(cè)器130恒定地確定眼睛睜開的當(dāng)前寬度。為了分析眼睛，使用眼睛(一個(gè)或兩個(gè))的ROI內(nèi)的一個(gè)或多個(gè)界標(biāo)。在存在一個(gè)單一界標(biāo)的情況下，可以使用源自初始眼睛識(shí)別(參見面部識(shí)別115和/或眼睛識(shí)別120的功能塊)的位置，其例如通過使用級(jí)聯(lián)檢測(cè)器來(lái)確定。如果只有一個(gè)單一界標(biāo)可用，則將有利的是，該界標(biāo)將成為眼睛中心。更重要的界標(biāo)表示例如眼角以及上眼瞼和下眼瞼。然而，所述界標(biāo)是可選的并且可以用于支持在眼睛睜開檢測(cè)器的部分上執(zhí)行的眼睛分析。這具有以下優(yōu)點(diǎn)：還可以在3D頭部姿勢(shì)跟蹤失敗并且不能提供界標(biāo)并且因此僅估計(jì)的眼睛位置(例如，眼睛中心)可以從功能塊115、120或125的2D跟蹤中獲得的情況下執(zhí)行眼睛分析。據(jù)此，眼睛睜開檢測(cè)器130被配置為基于源自功能塊110至125的一個(gè)或多個(gè)界標(biāo)來(lái)確定眼睛睜開。借助于模板進(jìn)行眼睛睜開的確定。眼睛睜開檢測(cè)器130可以借助于橫跨四個(gè)點(diǎn)或界標(biāo)描述的模板來(lái)對(duì)眼睛睜開進(jìn)行建模，并且經(jīng)由前者適配于檢測(cè)到的眼睛。借助于數(shù)學(xué)曲線來(lái)內(nèi)插四個(gè)界標(biāo)之間的邊緣區(qū)域。因此，眼睛睜開檢測(cè)器配置成借助于內(nèi)插在描述眼睛輪廓的至少四個(gè)參數(shù)之間的曲線近似來(lái)確定眼睛睜開角度。此外，假如關(guān)于來(lái)自功能塊110的頭部的3D位置和取向的信息項(xiàng)是可用的，則在遍及之前，模板可以在視角方面失真。

在下文中，將描述確定眼瞼閉合的程度或眼睛睜開的兩種方法，其中將模板調(diào)整到基礎(chǔ)圖片內(nèi)容。所述調(diào)節(jié)或微調(diào)通過梯度圖片和其他合適的特征(例如角特征或拱形特征)實(shí)現(xiàn)，如上所述。

1、將眼睛中心處理為僅有的界標(biāo)：如果眼睛中心是唯一的界標(biāo)，則可以例如借助于水平投影函數(shù)(例如，下文[6])估計(jì)眼睛睜開的上點(diǎn)和下點(diǎn)。先前描述的模板遍及眼睛中心和眼睛睜開的上點(diǎn)和下點(diǎn)，模板的寬度取決于面部的寬度。

2、處理在眼睛的ROI中的幾個(gè)界標(biāo)：根據(jù)界標(biāo)，模板在眼睛的區(qū)域(即，眼睛的ROI)內(nèi)遍及。這之后是將模板定向和適配到眼睛睜開。模板的取向和適配可以例如基于與梯度圖片的相似性來(lái)實(shí)現(xiàn)。

此外，交通工具(例如在汽車領(lǐng)域中)的移動(dòng)可以通過加速度傳感器整體測(cè)量。在駕駛期間，由于加速、制動(dòng)、道路的不同傾斜和在彎道中而產(chǎn)生加速度。車廂在停止期間和/或在靜止?fàn)顟B(tài)下的振動(dòng)可以被濾除(例如通過對(duì)諧波振蕩進(jìn)行濾波)。另外或作為替代，可以采用GPS(全球定位系統(tǒng))來(lái)檢測(cè)交通工具的移動(dòng)。如果僅在交通工具移動(dòng)時(shí)執(zhí)行瞬時(shí)睡眠警報(bào)(因此避免了靜止交通工具中的誤警報(bào))，則這是有利的。此外，交通工具速度可以用于最終調(diào)整時(shí)間自適應(yīng)閾值85，以輸出瞬時(shí)睡眠警報(bào)。

所描述的設(shè)備5涉及基于攝像機(jī)和(關(guān)于用戶)非接觸系統(tǒng)，其攝像機(jī)和/或視頻記錄設(shè)備10指向人15。圖4示出了具有指向人15的視頻記錄設(shè)備10的這種情況。該人可以是例如交通工具的駕駛員。此外，設(shè)備5適于確定單獨(dú)適配的閾值80和85以及單獨(dú)確定的參考值70和75，以用于檢測(cè)人在攝像機(jī)實(shí)況圖片中已經(jīng)瞬時(shí)入睡，并且在已經(jīng)發(fā)生瞬時(shí)睡眠的情況下給人15發(fā)出警報(bào)。術(shù)語(yǔ)瞬時(shí)睡眠警報(bào)設(shè)備應(yīng)理解為在本發(fā)明中使用的術(shù)語(yǔ)而不是作為確切的界限，因?yàn)槠渥R(shí)別微睡眠、瞬時(shí)睡眠以及正在進(jìn)行的睡眠的發(fā)生。

所使用的方法和算法的特征在于，借助于直接基于視頻的監(jiān)視和分別適配于人和照明條件的評(píng)估來(lái)識(shí)別在此人中發(fā)生的瞬時(shí)睡眠。與現(xiàn)有方法(其例如通過轉(zhuǎn)向、制動(dòng)和加速行為確定關(guān)于人的睡眠狀態(tài)的次級(jí)數(shù)據(jù)(例如存在于交通工具內(nèi)的CAN總線上的信息))相比，評(píng)估主要數(shù)據(jù)(眼睛睜開)。結(jié)果，系統(tǒng)和/或算法能夠識(shí)別瞬時(shí)睡眠，并且在其發(fā)生的情況下以明顯更精確和可靠的方式輸出警報(bào)，由此可以避免事故，并且人們的生命可以特別是在安全關(guān)鍵區(qū)域(例如，交通工具的駕駛，航空區(qū)域(例如，在空中交通管制員一方)的監(jiān)視，發(fā)電廠的操作和監(jiān)視)中得到保存。

關(guān)于汽車部門，設(shè)備5可以集成到汽車內(nèi)的后視鏡30內(nèi)，或者可以可替換地安裝到新鮮空氣格柵或擋風(fēng)玻璃上(例如作為改裝解決方案(例如改裝導(dǎo)航設(shè)備))。圖5示出了所述布置中的兩種，正如將設(shè)備5借助于固定裝置40(例如，吸盤固定裝置)(也被示出)安裝到擋風(fēng)玻璃35作為改裝解決方案一樣，將設(shè)備5集成到后視鏡30中并因此還被安裝到擋風(fēng)玻璃35。此外，集成到儀表盤、A柱或汽車車頂下是可能的。然而，如已經(jīng)描述的，該設(shè)備不限于汽車部門，而是還可以用于其它領(lǐng)域。此外，設(shè)備以稍微傾斜的角度從下面指向面部的位置是有利的，因?yàn)樵谠撐恢弥校O(shè)備主要具有眼睛的清晰視野，眼睛例如只是很少被眼窩或眉毛遮蔽。

根據(jù)一個(gè)實(shí)施例，設(shè)備5可以被實(shí)現(xiàn)為自主設(shè)備，并且還可以被實(shí)現(xiàn)為便攜式的或者是上級(jí)協(xié)助或監(jiān)控系統(tǒng)的一部分。作為簡(jiǎn)單的變型，該設(shè)備可以用作即插即用解決方案，即，任何人都可以執(zhí)行安裝。然而，在這種情況下，需要注意確保視頻記錄設(shè)備指向駕駛員。除了通過攝像機(jī)(即，視頻記錄設(shè)備10)檢測(cè)待監(jiān)測(cè)的人15(例如，汽車駕駛員、卡車駕駛員或空中交通管制員)之外，還可能實(shí)現(xiàn)具有若干攝像機(jī)的系統(tǒng)。這可以增加魯棒性，因?yàn)閿U(kuò)展了檢測(cè)區(qū)域(使用一個(gè)特定的攝像機(jī)，一只眼睛可能被遮蔽，其將然后由位于不同位置的第二攝像機(jī)捕捉)或者在評(píng)估中還考慮附加的參數(shù)(例如，人15的視線)。

為了獨(dú)立于外部照射條件，所使用的照明可以在對(duì)人不可見的光譜范圍內(nèi)，并且因此不表示干擾(例如在近紅外范圍內(nèi))。此外，可以例如借助于不同顏色的LED來(lái)指示系統(tǒng)的狀態(tài)，并且可以經(jīng)由聲信號(hào)來(lái)實(shí)現(xiàn)在已經(jīng)發(fā)生瞬時(shí)睡眠的情況下的警報(bào)。

此外，上述設(shè)備5包括以下優(yōu)點(diǎn)：

-借助于直接的、非接觸的、基于視頻的測(cè)量來(lái)確定眼瞼閉合，并由此導(dǎo)出單獨(dú)適配的閾值80和85以及單獨(dú)確定的參考值70和75，以用于由此檢測(cè)瞬時(shí)睡眠

-攝像機(jī)直接瞄準(zhǔn)駕駛員，其結(jié)果通過直接視頻監(jiān)視來(lái)識(shí)別駕駛員的瞬時(shí)睡眠

-遠(yuǎn)程系統(tǒng)：

○非接觸測(cè)量而不影響駕駛員

○不需要附接到駕駛員頭部或身體的任何其它部位

-方法優(yōu)點(diǎn)

○基于視頻記錄從駕駛員的面部導(dǎo)出的主要數(shù)據(jù)的評(píng)估

○利用替代所描述的整體功能(識(shí)別瞬時(shí)睡眠/微睡眠)或單獨(dú)的部分功能(例如，面部識(shí)別、去除反射等)的替代算法

例如，應(yīng)用領(lǐng)域是汽車部門，以及涉及公共汽車、火車、輪船、潛水艇、卡車等的任何其它運(yùn)輸部門或任何其他安全相關(guān)部門(例如，在發(fā)電廠中，用于空中交通管制員，用于交通監(jiān)視等)。該設(shè)備可以集成到現(xiàn)有的駕駛員輔助系統(tǒng)或監(jiān)視系統(tǒng)中，只要使得指向用戶的攝像機(jī)可用。可替代地或附加地，瞬時(shí)睡眠警報(bào)設(shè)備可作為自主系統(tǒng)(自包含硬件)出售。所述系統(tǒng)必須安裝在目標(biāo)位置(通常在一次性操作期間)，使得用戶被攝像機(jī)捕捉。安裝可以由有資格的人員來(lái)執(zhí)行(特別是如果還要建立與其他系統(tǒng)的連接(例如與客車中的CAN總線))。只不過可以由任何人(例如借助于在客車的擋風(fēng)玻璃的內(nèi)側(cè)上的吸盤固定裝置)執(zhí)行在用戶處安裝并且指向用戶。

實(shí)施例示出了在被監(jiān)視的人中單獨(dú)識(shí)別的眨眼的持續(xù)時(shí)間可以用于不將所述短的眼瞼閉合時(shí)間評(píng)估為瞬時(shí)睡眠。例如，本文中的“自發(fā)性霎眼”和/或“自發(fā)性眼瞼閉合”被理解為是指眨眼。

另外的實(shí)施例示出了借助于以下步驟來(lái)檢測(cè)瞬時(shí)睡眠的方法600：步驟605，通過使用視頻記錄設(shè)備對(duì)人和所述人的眼睛區(qū)域進(jìn)行基于視頻的監(jiān)視，所述視頻記錄設(shè)備被配置為記錄人和眼睛區(qū)域的圖片序列并且將其輸出到閾值確定設(shè)備；步驟610，通過使用閾值確定設(shè)備從圖片序列導(dǎo)出單獨(dú)適配于此人的一個(gè)或多個(gè)閾值；步驟615，基于一個(gè)或多個(gè)單獨(dú)適配的閾值判定此人是否已經(jīng)瞬時(shí)入睡；以及步驟620，利用一個(gè)或多個(gè)單獨(dú)適配的閾值以便確立在眼睛睜開的實(shí)時(shí)曲線內(nèi)是否已經(jīng)超過或下降至低于閾值，并且因此判定此人是否已經(jīng)瞬時(shí)入睡。圖6中示出了該方法的示意性框圖。

即使已在設(shè)備的上下文中描述了一些方面，也應(yīng)當(dāng)理解：所述方面還表示了對(duì)對(duì)應(yīng)方法的描述，使得設(shè)備的塊或結(jié)構(gòu)組件還被理解為對(duì)應(yīng)的方法步驟或方法步驟的特征。通過與之類比，已經(jīng)在方法步驟的上下文中描述或作為方法步驟的方面還表示相應(yīng)的塊或相應(yīng)設(shè)備的細(xì)節(jié)或特征的描述。一些或全部方法步驟可以由諸如微處理器、可編程計(jì)算機(jī)或電子電路的硬件設(shè)備(或同時(shí)使用硬件設(shè)備)來(lái)執(zhí)行。在一些實(shí)施例中，最重要的方法步驟中的一些或若干可以由這種設(shè)備來(lái)執(zhí)行。

取決于具體實(shí)現(xiàn)要求，本發(fā)明的實(shí)施例可以用硬件或軟件來(lái)實(shí)現(xiàn)。可以在使用數(shù)字存儲(chǔ)介質(zhì)的同時(shí)來(lái)實(shí)現(xiàn)各種實(shí)現(xiàn)方式，數(shù)字存儲(chǔ)介質(zhì)例如軟盤、DVD、藍(lán)光盤、CD、ROM、PROM、EPROM、EEPROM或閃存、硬盤或任何其他磁或光存儲(chǔ)器，其將電可讀控制信號(hào)存儲(chǔ)于其上，其可以與可編程計(jì)算機(jī)系統(tǒng)協(xié)作或?qū)嶋H上進(jìn)行合作，使得執(zhí)行相應(yīng)方法。這就是為什么數(shù)字存儲(chǔ)介質(zhì)可以是計(jì)算機(jī)可讀的。

從而根據(jù)本發(fā)明的一些實(shí)施例包括數(shù)據(jù)載體，該數(shù)據(jù)載體包括能夠與可編程計(jì)算機(jī)系統(tǒng)合作使得執(zhí)行本文描述的任何方法的電可讀控制信號(hào)。

一般而言，本發(fā)明的實(shí)施例可被實(shí)現(xiàn)為具有程序代碼的計(jì)算機(jī)程序產(chǎn)品，該程序代碼用于在計(jì)算機(jī)上運(yùn)行計(jì)算機(jī)程序產(chǎn)品時(shí)執(zhí)行任何方法。

該程序代碼還可以存儲(chǔ)在例如機(jī)器可讀載體上。

其他實(shí)施例包括用于執(zhí)行本文描述的任何方法的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序存儲(chǔ)在機(jī)器可讀載體上。換言之，本發(fā)明方法的實(shí)施例從而是具有程序代碼的計(jì)算機(jī)程序，該程序代碼用于在計(jì)算機(jī)上運(yùn)行計(jì)算機(jī)程序時(shí)執(zhí)行本文描述的任何方法。

本發(fā)明方法的另一實(shí)施例從而是數(shù)據(jù)載體(或數(shù)字存儲(chǔ)介質(zhì)或計(jì)算機(jī)可讀介質(zhì))，其上記錄有用于執(zhí)行本文描述的任何方法的計(jì)算機(jī)程序。

本發(fā)明方法的另一實(shí)施例從而是表示用于執(zhí)行本文描述的任何方法的計(jì)算機(jī)程序的數(shù)據(jù)流或信號(hào)序列。數(shù)據(jù)流或信號(hào)序列可被配置為例如經(jīng)由數(shù)據(jù)通信鏈路(例如，經(jīng)由互聯(lián)網(wǎng))來(lái)傳輸。

另一實(shí)施例包括例如計(jì)算機(jī)或可編程邏輯器件之類的處理裝置，被配置為或適于執(zhí)行本文描述的任何方法。

另一實(shí)施例包括其上安裝有用于執(zhí)行本文描述的任何方法的計(jì)算機(jī)程序的計(jì)算機(jī)。

根據(jù)本發(fā)明的另一實(shí)施例包括被配置為用于向接收器發(fā)送用于執(zhí)行本文描述的至少一個(gè)方法的計(jì)算機(jī)程序的設(shè)備或系統(tǒng)。該發(fā)送可以是例如電子的或光學(xué)的。接收器可以是例如計(jì)算機(jī)、移動(dòng)設(shè)備、存儲(chǔ)器設(shè)備或類似設(shè)備。該設(shè)備或系統(tǒng)可以包括例如用于向接收器發(fā)送計(jì)算機(jī)程序的文件服務(wù)器。

在一些實(shí)施例中，可編程邏輯器件(例如，現(xiàn)場(chǎng)可編程門陣列FPGA)可以用于執(zhí)行本文描述的方法的一些或全部功能。在一些實(shí)施例中，現(xiàn)場(chǎng)可編程門陣列可以與微處理器協(xié)作，以執(zhí)行本文描述的任何方法。一般而言，在一些實(shí)施例中，方法由任何硬件設(shè)備來(lái)執(zhí)行。所述硬件設(shè)備可以是任何通用硬件，例如計(jì)算機(jī)處理器(CPU)，或者可以是方法專用的硬件，例如ASIC。

上述實(shí)施例僅表示對(duì)本發(fā)明的原理的說(shuō)明。應(yīng)當(dāng)理解，本領(lǐng)域的其他技術(shù)人員將理解本文描述的布置和細(xì)節(jié)的修改和變化。這就是為什么旨在本發(fā)明僅由所附權(quán)利要求的范圍來(lái)限制，而不是由本文已經(jīng)通過實(shí)施例的描述和討論提出的具體細(xì)節(jié)來(lái)限制。

來(lái)源

[1]Timm，Barth(2011)：Accurate Eye Centre Localisation by means of Gradients

[2]Viola and Jones，″Rapid object detection using a boosted cascade of simple features″，Computer Vision and Pattern Recognition，2001

[3]Tim F.Cootes，Chris J.Taylor：Active Shape Models-″Smart Snakes″.In：David Hogg u.a.(Hrsg.)：BMVC92.Proceedings of the British Machine Vision Conference；22.-24.September 1992，Leeds.Springer-Verlag，Berlin 1992，ISBN 3-540-19777-X，pp.266-275.

[4]T.F.Cootes，G.J.Edwards，C.J.Taylor：″Active Appearance Models″，in：IEEE Transactions on Pattern Analysis and Machine Intelligence，Vol.23，No.6，June 2001，pp.681-685

[5]DeMenthon，Daniel F.，and Larry S.Davis.″Model-based object pose in 25 lines of code.″Computer Vision--ECCV′92.Springer Berlin Heidelberg，1992.

[6]Zhi-Hua Zhou，Xin Geng：“Projection functions for eye detection.”Pattern Recognition，Volume 37，Issue 5，May 2004，pp.1049-1056