專利名稱：多任務視覺認知中腦負荷測定的實驗系統和方法
多任務視覺認知中腦負荷測定的實驗系統和方法
技術領域：
本發明屬于人機工程學技術領域，涉及一種實驗系統，以及利用該實驗系統進行多任務視覺信息測試，得出評定腦負荷的實驗方法。
背景技術：
多任務視覺信息的準確認知在人機界面交互系統中，是監控裝備運行狀態與獲取外界環境信息的重要手段，多任務視覺信息最直接的體現就是圖形或文字，而能將監控不同任務和狀態的圖形或文字綜合在一起集中體現的就是儀表，因此儀表的認知在多任務視覺信息獲取中非常具有典型性。隨著自動化水平的提高，很多大型設備的機械式儀表都被圖形化、交互式的虛擬儀表取代，視覺信息量也較以前大幅增加，在高密度、高強度信息量條件下，若儀表信息的顯示形式、顯示數量及顯示時機設計不合理，往往會造成儀表信息顯示特征超出操作人員的生理及心理承受能力，腦負荷也相應增大，引起操作人員的認知疲勞，對人員與裝備的安全造成威脅。目前，許多研究機構都對人體視覺特性與認知特性進行了研究，如美國羅切斯特大學通過對電子游戲玩家與非電子游戲玩家對游戲中復雜程度(如形狀、顏色等屬性)不同的顯示信息進行對比辨識，如2010年美國范德堡大學研究了不同類型動態信息刺激下的人體大腦神經網絡電信號，該研究主要通過對人體大腦目標辨識反射信號與外界干擾刺激反射信號的對比實驗研究，依據不同反應機制下神經網絡電位活躍范圍、強度的分析，獲取表征不同類型動態信息刺激下人體視覺特性與認知特性的生物特征響應信號(EEG/E0G) 特征。雖然上述研究以信息正確辨識率及與之對應的人體生物特征響應信號(EEG/E0G)為切入點，對不同信息刺激下視覺敏銳度特性與認知特性進行了研究，但并未考慮多任務、多信息刺激條件下由于人眼視覺特性與認知特性所引起的腦負荷變化情況，更未對二者之間的關聯和響應進行系統實驗和分析。查新的資料可知，測定腦負荷的方法主要有主觀評價法和生理測量法，主觀評價法主要包括Cooper-Harper評價法、SffAT量表、NASA-TLX量表以及任務指標測量等。這些方法都將時間要求、體力需求及努力程度作為基本要素，主要以反應時間、反應速度和準確率作為評價指標，不足之處是主觀評價法受短時記憶消退的局限，且任務性質各不相同，不可能提出一種廣泛適用的績效參數，因此各操作之間的腦力負荷狀況無法進行對比。關于生理測量也有一些研究成果，主要集中在將眼電、呼吸信號、心率、肌電和腦電活動作為檢測腦負荷的客觀手段。Stern等人認為眨眼持續時間、眨眼率和眨眼幅度與腦疲勞有關； Mascord D J等人用心率變異性來評價腦負荷程度。盡管許多生理學指標被用于描述個人的腦疲勞狀態，但腦電信號一直都被認為是監測腦負荷最可靠標準?；贓EG/E0G的視覺信息顯示模式識別主要包括信號預處理、特征提取、模式分類等技術。常用的特征提取方法包括FFT、相關性分析、AR參數估計、公共空間模式、 Butterworth低通濾波、遺傳算法、小波變換等，算法的選擇與所利用的信號特征及電極位置有關。基于上述方法，可以實現多任務顯示信息屬性參數與人體視覺特性、認知特性的關系推導，即得出信息視覺顯示條件下顯示時機、顯示信息量與人體生理、心理負荷及認知可靠度相匹配的原則，為視覺信息屬性選擇、人機界面設計與布局、作業人員狀態評價提供重要參考。

發明內容針對現有多任務視覺信息下對認知特性研究的需要，本發明提供了一種能模擬多任務視覺信息和不同操控環境的測定腦負荷變化的實驗系統和方法，該系統由一個多任務視覺信息認知測試與控制實驗臺和交互式測試系統構成，可通過對測試系統下腦電信號的采集、提取與處理，得出腦負荷變化對認知特性的影響規律。為了實現上述目的，本發明采用如下技術方案一種多任務視覺認知中腦負荷測定的實驗系統，包括可調節座椅、虛擬視覺界面顯示裝置以及腦電信號采集處理設備；可調節座椅包括座墊、靠背、角度調節機構和水平位移調節機構；水平位移調節機構固定于平臺基板上，座墊安裝于水平位移調節機構上；座墊和靠背之間安裝有角度調節機構；虛擬視覺界面顯示裝置包括第一計算機、輸入設備、組合支架和顯示器；組合支架包括滑筒，顯示器支架通過插銷式螺栓固定于滑筒上；顯示器支架上固定有三個顯示器，該三個顯示器包括正對可調節座椅的主顯示器和傾斜的設置于主顯示器兩側的側翼顯示器； 側翼顯示器與主顯示器之間的夾角為135° 360° ；第一計算機連接三個顯示器，三個顯示器動態的顯示第一計算機輸出的儀表圖像；腦電信號采集處理設備包括依次連接的電極帽、腦電放大器和第二計算機。本發明進一步的改進在于兩側的側翼顯示器通過鉗夾式機構固定于滑筒上；所述鉗夾式機構能夠繞滑筒旋轉以調節側翼顯示器與主顯示器之間的夾角。本發明進一步的改進在于三個顯示器中每個顯示器上均布六個儀表，每個屏幕上顯示的儀表為同一功能的儀表。本發明進一步的改進在于主顯示器和右側顯示器顯示速度計，左側顯示器顯示地平儀。本發明進一步的改進在于所述試驗系統運行時每個顯示器顯示的六個儀表中只有一個儀表的指針指向危險區域。本發明進一步的改進在于所述試驗系統還包括外部操控設備，該外部操控設備連接第一計算機，用于對指針指向危險區域的儀表進行反饋，反饋后該儀表的指針將不再進入危險區域。本發明進一步的改進在于所述外部操控設備為鍵盤、鼠標、搖桿、駕駛桿或腳舵。為了實現上述目的，本發明方法采用如下技術方案一種多任務視覺認知中腦負荷測定的方法，采用NEUR0SCAN進行腦電信號實時采集，連接電極；包括以下步驟1)、對采集到的腦電波數據進行預處理采用M階HR濾波器對數據進行30Hz以下的低通濾波，去除工頻噪聲和外部干擾；采樣點為1000個；2)、對步驟1)預處理后的腦電波數據，采用獨立分量分析方法進行分解，去除眼電和肌電干擾；3)、對步驟幻處理后的腦電信號進行復雜度分析；所述的復雜度為Lempel-Ziv復雜度；4)、將腦電復雜度表征認知過程中的腦負荷。本發明進一步的改進在于步驟1)中與處理后得到
頻段的EEG信號。本發明進一步的改進在于步驟1)中的腦電波數據通過40個國際10-20標準放置電極進行采集，采樣率為IkHz ；標準放置電極采集的腦電波數據經過40導腦電放大器放大后經過A/D轉換輸入計算機中進行預處理。與現有技術相比，本發明的有益效果在于本發明一種多任務視覺認知中腦負荷測定的實驗系統和方法，通過第一計算機控制三個顯示器模擬不同情境下的靜態、動態視覺信息(如儀表、圖形、文字、虛擬場景等)，使測試者能夠模擬真實的工作狀態，更加的準確的測試出工作人員的腦負荷，從而給儀表信息的顯示形式、顯示數量及顯示時機設計帶來重要的參考信息，使儀表信息顯示特征在操作人員的生理及心理承受能力范圍內，以減小操作人員的腦負荷，降低操作人員的認知疲勞，以保障人員與裝備的安全。針對現有技術，在實驗臺建設上，本發明建立了一套內容較完整的儀表顯示測試系統，可以模擬各類儀表的運行及工作，并能方便修改儀表的運行動作；本發明在腦負荷測定方法上從更客觀的角度分析了多個任務進行中大腦活動的有序性，通過對有序性的分析完成對腦負荷大小的測定，從而能更客觀地對不同任務的腦負荷進行分析。

圖1為本發明實驗系統的結構框圖；圖2為實驗裝置結構示意圖；圖3為實驗裝置中顯示器支架后部細節圖；圖4為交互測試裝置流程5為腦電電極分布示意圖；圖6為腦電序列復雜度求解流程圖；圖7為腦負荷測定流程圖。
具體實施方式本發明具體實施選取儀表為視覺認知對象，下面結合附圖對本發明作進一步詳細說明1.多任務視覺認知中腦負荷測定的實驗系統本發明所提供的多任務視覺認知中腦負荷測定的實驗系統如圖1及圖2所示。 其中可調節座椅7是實驗臺的基礎組成部分，由坐墊和靠背及調節機構組成。可調節座椅7的骨架用鋼制管材焊接而成，并用螺栓直接固定在實驗臺平臺基板上，座椅強度符合 GB15083-1994的規定。在坐墊和靠背兩側加焊凸起的側支撐板或支撐筋，將泡沫型芯進行填充加以支撐襯墊，從而保證坐墊和靠背型芯支撐的有效性；調節機構主要包括前后位移調整機構(即座椅滑道9)和靠背角度調節機構(調角器8)，用以達到實驗所需的最佳的座椅前后位置和最佳的座椅面角度。座椅滑道9是調整座椅在縱向水平位置前后位移的機構，通過螺栓固定在平臺基板上，其調節操縱桿位于坐墊的下方，此處選用單鎖止滑道， 根據人機工程學原理，滑道位移尺寸即座椅前后調整距離確定為0 士 IOOmm ；調角器8是對靠背、坐墊夾角進行調整和鎖止的機構。調角器8安裝在坐墊和靠背機構之間，鎖止強度應滿足GB15083-1994的規定。調角器8選用機械板式調角器，根據實驗和GB 15083-1994 的強度要求，確定靠背設計角為20°，前調角度為30°，后調角度為90°，操作形式為手柄式，其調節操縱桿位于整個座椅的左手側，操縱桿的操縱角為30° 60°，操縱桿的阻力為9N左右。請參閱圖3所示，虛擬視覺界面顯示裝置包含組合支架3、顯示器6和第一計算機 1。組合支架3的連接為一滑筒結構5，并依靠插銷式螺栓20進行固定。根據操控者的人體百分位參數和視域范圍，可通過滑筒結構5對顯示器支架進行高度調節，通過插銷式螺栓20進行位置緊固，可調的高度范圍為600 700mm。顯示器支架可同時支撐3個顯示器， 顯示器支架的中間部分安裝主顯示器，并垂直于實驗裝置軸線方向固定；側翼兩支架通過鉗夾式機構4安裝在滑筒5上，以此來調整側翼兩顯示器相對于主顯示器的角度，向外自由轉動角度可為135° 360°。第一計算機1為程序運行計算機，用于各種視覺界面(如儀表、狀態信息等)顯示程序的運行，并通過三個顯示器顯示于操作者面前。腦電信號采集處理系統包含腦電信號采集設備(電極帽、腦電放大器和第二計算機)(圖1)和腦電信號數據處理系統。是對不同任務操作下的被試者進行腦電信號的采集與記錄，并通過數據處理系統對信號進行預處理和分析。交互式儀表測試系統是基于VC++和GL Studio的可視化認知測試系統，用于分析多任務條件下的儀表界面認知過程中大腦的工作狀態及腦力負荷的測試程序。系統通過為創建的儀表對象添加代碼及驅動函數實現儀表的運動，通過按鈕的創建及代碼控制實現方案的邏輯控制，最終可生成應用程序，并在本發明搭建的多任務視覺認知實驗臺上運行。測試系統中包括不同功能類型的儀表及其對應的控制鈕，允許點選等操作，要求被試在追蹤儀表運行狀態的同時做出判斷并及時反應。測試系統還可以改變運行儀表的數量來改變測試任務的難度，以此也可以實現多信息交替與任務疊加的情境(圖4)。2.多任務視覺信息下腦負荷測定實驗方法本發明中以儀表為例進行視覺認知腦負荷測定的實施例。將多任務的視覺認知設計方案應用于多任務視覺認知實驗系統，通過交互式儀表測試系統運行設計方案，在實驗臺中進行實驗并同步采集腦電數據，最后通過信號處理軟件對采集到的信號進行處理。選擇儀表形狀和空間位置及指針的顏色和形狀為設計參數，使用GL Studio結合 VC++設計三連屏顯示方案，每塊屏幕上均布六個儀表，每塊屏幕上顯示的儀表為同一功能 (如地平儀、速度計等)。中間和右側屏幕為速度計，左側屏幕為地平儀。速度計采用圓形儀表，規格為57mm儀表盤對應0. 8mm指針，76mm儀表盤對應1. 6mm指針，101. 6mm表盤對應2. 4指針(η英寸表盤對應0. 8 X (n-1) mm指針)。在程序運行時所有儀表的指針均在運動狀態，但每個屏幕上均只有一個儀表的指針指向危險區域，此時要求被試者點擊該儀表對應的外部操控設備2 (鍵盤、搖桿、駕駛桿、 腳舵)進行反饋，反饋后該表的指針將不再進入危險區域；地平儀的運動為左右搖擺運動，在地平儀所表示的飛機位姿為嚴重傾斜時，點擊相應按鈕使飛機位姿為水平平飛狀態，當所有儀表的指針均在安全區域內運動時任務完成。其中對于速度計等儀表，僅有一個按鈕與各儀表對應；對于地平儀，每塊儀表對應于兩個按鈕，分別用于控制其指針的旋轉與平移。實驗中儀表指針轉動依靠函數DynamicRotateO控制。該函數以系統時間做種， 在代表時間的變量time前乘以不同的系數即可產生不同的數值，函數將此數值送為對象指針的驅動速度，即可實現指針的不同轉速。上述函數還可以定義轉動角度的上下限，即指針轉動的范圍。以上三個變量可限定儀表指針的轉動速度、起點和終點，通過數值調整可更真實的模擬儀表運轉情況，從而保證不同的表盤轉速不同。在實驗前，通過調角器8和座椅滑道9將可調節座椅7調節到最舒適就坐姿勢，通過組合支架3上的滑筒5和鉗夾式結構4(圖幻將三個顯示器的顯示位置調整到人體最佳的視域范圍內。在所有的實驗環境參數調好后，被試者需在實驗開始前戴好電極帽，并打好導電膏，將電極帽連接到放大器，測試所有測試電極的阻抗均小于^Ω。實驗開始，基于第一計算機1的交互式測試系統開始運行，同時第二計算機上的腦電采集系統開始記錄被試者的腦電信號。本實施例采用腦機接口設備(BCI)進行腦電信號采集。腦電電極分布示意圖如圖 5所示，用40導的腦電放大器按圖中方式進行連接，并有6個電極分別連接水平眼電信號 (HEOG)和豎直眼電信號(VEOG)的四個電極位及左右耳后的乳突Al和Α2，其中Α2為參考電極，檢查電極阻抗均小于^Ω。采樣頻率為IKHz對腦電進行采集。信號經放大器放大、 A/D轉化后，由USB接口傳至第二計算機中。采集的腦電信號中包含上水平(HEOU)、下水平(HEOL)、左豎直(VEOL)和右豎直 (VEOR)的四個眼電信號，通過linear derivation將四個信號合并為水平眼電(HEOG)和豎直眼電(VEOG)兩個信號，利用Ocular artifact reduction去除眨眼偽跡。利用獨立分量分析(Incbpendent Component Analysis)去除各通道中士 100 μ ν以外的肌電干擾和眼電偽跡。選擇M階FIR濾波器零相位漂移對數據進行0-30Ηζ低通濾波，以去除工頻噪聲及外部干擾。由于Lempel-Ziv復雜度是對某個時間序列隨其長度的增長出現新模式的速率的反映，表現了序列接近隨機的程度。序列的復雜度越大，序列中的周期成分越少，序列越無規律，趨近于隨機狀態，序列包含的頻率成分越豐富，說明系統的復雜性也越大；序列的復雜度越小，序列中周期成分越明顯，越趨于周期狀態，序列包含的頻率成分較少，說明系統的復雜性越低。對于腦電序列，Lempel-Ziv復雜度的值越大表明刺激誘發的腦電序列的復雜程度高，表明人的努力程度高。而同時反應時間也是一個被試在操作過程中對信息接收反應速度的衡量標準，反應時間延長表明信息量增多，被試者在反應過程中需要濾去無用信息而只提取有用信息，人在認知過程中努力程度和反應時間的延長表明了人的腦力負荷的增加。因此腦負荷的計算可通過對反應時及腦電復雜度的歸一化處理得到。將預處理后的不同任務下的腦電序列分別進行粗?；幚?，粗粒化段數的取值范圍為L = 2 9，不同的粗粒化段數取值可得到相應的不同復雜度量值。將經過粗?；幚淼哪X電序列放入LZC(Lempel-Ziv復雜度)求解器，可得到不同任務下的腦電復雜度，求解器流程見圖6。一個任務下，腦電復雜度的值表示為一序列數值，即為每個導聯電極點上有一個復雜度值，所有導聯的值連接成的復雜度曲線為組合成一序列數值，為一個任務下的腦電復雜度值。將不同任務的腦電復雜度曲線表示在一個圖表內，可直觀觀察到任務變化時的腦負荷狀況。(圖7)。本實驗方法以儀表界面為例，測試中利用腦電信號采集處理系統同步采集被試者的腦電信號。通過腦電復雜度分析對多任務下視覺認知的腦電信號進行比較，得出腦電波與腦負荷間的映射關系，從而對視覺認知過程中的腦負荷情況進行判定。利用正交實驗法進行視覺信息方案設計，對視覺認知有顯著影響的儀表形狀和空間位置、指針顏色和形狀作為自變量在VAPS中進行初設計，將設計好的儀表平面模型放入交互測試系統中，并在實驗臺的三屏顯示界面顯示。每個顯示屏顯示6個儀表，其中設定每個顯示屏中總有一個儀表的指針進入危險區域，被試者按指定鍵讓指針回歸安全范圍運動，當所有儀表的指針均只在安全區域內運動時實驗結束。實驗中儀表指針轉速依據函數DynamicRotateO控制，并以系統時間做種，將時間變量t乘以不同的系數作為對象指針的驅動速度，從而實現指針的不同轉速；通過定義上述函數定義轉動角度的上下限，即指針轉動的范圍，從而對儀表指針的轉動速度、起點和終點進行了限定，通過數值調整可更真實的模擬儀表運轉情況。實驗全程采集被試者的腦電信號。實驗前，將可調節座椅調節到最舒適位置，將組合支架上的三個顯示器的顯示位置調整到人體最佳的視域范圍內。在所有的實驗環境參數調好后，被試者需在實驗開始前戴好電極帽，并打好導電膏，將電極帽連接到放大器，測試所有測試電極的阻抗均小于 ^Ω。實驗開始，基于第一計算機1的交互式測試系統開始運行，同時第二計算機上的腦電采集系統開始記錄被試者的腦電信號。腦電信號的記錄采用40導腦電放大器，國際10-20 標準放置電極(圖4)，采樣率為1kHz。腦電信號通過放大，A/D轉換后，將腦電信號的電壓幅值經USB串口輸入第二計算機。采用獨立分量分析方法對采集到的數據進行偽跡去除， 通過帶通濾波器得到W.5Hz，30Hz]頻段的EEG信號。計算該腦電序列的Lempel-Ziv復雜度，基于spssie.O通過方差分析(ANOVA)對不同刺激下的腦電復雜度進行組間差異比較， 將復雜度值與反應時對腦負荷進行表征。本發明計算的LZC復雜度值體現了在不同的多任務下各腦區活動的有序程度，復雜度值小則表明腦部活動規律有序，說明腦部的負荷小，人腦可以有序的處理信息；值大則表明腦部活動混亂，說明此時腦部的負荷較大，人腦對于信息的處理已不能做到規律有序。 這種表征方法可以從更客觀的角度反映不同任務下人的腦負荷，若復雜度值較小(活動有序)則表明腦負荷較小，若復雜度值較大(活動有序)則表明腦負荷大。本發明重點用于多個任務進行下各任務難度造成的腦負荷之間的比較；若用在一個單任務上由于缺乏比較的標準，故無法對單一任務進行腦負荷測定。
權利要求
1.一種多任務視覺認知中腦負荷測定的實驗系統，其特征在于，包括可調節座椅(7)、 虛擬視覺界面顯示裝置以及腦電信號采集處理設備；可調節座椅(7)包括座墊、靠背、角度調節機構和水平位移調節機構；水平位移調節機構固定于平臺基板上，座墊安裝于水平位移調節機構上；座墊和靠背之間安裝有角度調節機構；虛擬視覺界面顯示裝置包括第一計算機(1)、輸入設備O)、組合支架C3)和顯示器 (6)；組合支架C3)包括滑筒(5)，顯示器支架通過插銷式螺栓00)固定于滑筒( 上；顯示器支架上固定有三個顯示器(6)，該三個顯示器(6)包括正對可調節座椅(7)的主顯示器和傾斜的設置于主顯示器兩側的側翼顯示器；側翼顯示器與主顯示器之間的夾角為135° 360° ；第一計算機(1)連接三個顯示器(6)，三個顯示器(6)動態的顯示第一計算機(1)輸出的儀表圖像；腦電信號采集處理設備包括依次連接的電極帽、腦電放大器和第二計算機。
2.根據權利要求1所述的一種多任務視覺認知中腦負荷測定的實驗系統，其特征在于，兩側的側翼顯示器通過鉗夾式機構(4)固定于滑筒(5)上；所述鉗夾式機構(4)能夠繞滑筒( 旋轉以調節側翼顯示器與主顯示器之間的夾角。
3.根據權利要求1所述的一種多任務視覺認知中腦負荷測定的實驗系統，其特征在于，三個顯示器(6)中每個顯示器上均布六個儀表，每個屏幕上顯示的儀表為同一功能的儀表。
4.根據權利要求3所述的一種多任務視覺認知中腦負荷測定的實驗系統，其特征在于，主顯示器和右側顯示器顯示速度計，左側顯示器顯示地平儀。
5.根據權利要求3或4所述的一種多任務視覺認知中腦負荷測定的實驗系統，其特征在于，所述試驗系統運行時每個顯示器顯示的六個儀表中只有一個儀表的指針指向危險區域。
6.根據權利要求5所述的一種多任務視覺認知中腦負荷測定的實驗系統，其特征在于，所述試驗系統還包括外部操控設備O)，該外部操控設備( 連接第一計算機(1)，用于對指針指向危險區域的儀表進行反饋，反饋后該儀表的指針將不再進入危險區域。
7.根據權利要求6所述的一種多任務視覺認知中腦負荷測定的實驗系統，其特征在于，所述外部操控設備( 為鍵盤、鼠標、搖桿、駕駛桿或腳舵。
8.一種多任務視覺認知中腦負荷測定的方法，其特征在于，包括以下步驟1)、對采集到的腦電波數據進行預處理采用M階HR濾波器對數據進行30Hz以下的低通濾波，去除工頻噪聲和外部干擾；2)、對步驟1)預處理后的腦電波數據，采用獨立分量分析方法進行分解，去除眼電和肌電干擾；3)、對步驟2~)處理后的腦電信號進行復雜度分析；所述的復雜度為Lempel-Ziv復雜度；4)、將腦電復雜度表征認知過程中的腦負荷。
9.根據權利你要求8所述的一種多任務視覺認知中腦負荷測定的方法，其特征在于， 步驟1)中與處理后得到
頻段的EEG信號。
10.根據權利你要求8所述的一種多任務視覺認知中腦負荷測定的方法，其特征在于，步驟1)中的腦電波數據通過40個國際10-20標準放置電極進行采集，采樣率為IkHz ；標準放置電極采集的腦電波數據經過40導腦電放大器放大后經過A/D轉換輸入計算機中進行預處理。
全文摘要
本發明提供了一種多任務視覺認知中測定腦負荷的實驗系統和方法，該裝置由可調節座椅、虛擬視覺界面顯示裝置以及腦電信號采集處理設備三部分構成，可調節座椅和虛擬視覺界面顯示裝置用于模擬各種工況下的視覺認知任務，腦電信號采集處理設備用于同步采集模擬視覺認知過程中的人腦電信號，通過該實驗裝置可對多任務下的視覺認知方案進行腦電信號的采集和提取。發明通過腦電復雜度分析對不同任務下視覺認知的腦電信號進行比較，得出腦電波與腦電活動之間的對應關系，從而對視覺認知過程中的腦負荷情況進行判定。
文檔編號A61B5/16GK102551741SQ201210006069
公開日2012年7月11日 申請日期2012年1月10日 優先權日2012年1月10日
發明者姚磊, 姜穎, 徐楓, 李曉玲, 洪軍 申請人:西安交通大學