本發(fā)明涉及計算機視覺、機器學(xué)習(xí)和認知神經(jīng)科學(xué)領(lǐng)域，尤其是涉及了一種基于腦電圖數(shù)據(jù)的深度學(xué)習(xí)視覺分類方法。

背景技術(shù)：

信息時代科技發(fā)展突飛猛進，對計算機的視覺處理能力要求越來越高，人類在解釋視覺場景方面表現(xiàn)出優(yōu)秀的性能，機器仍然無法達到。盡管最近重新發(fā)現(xiàn)的卷積神經(jīng)網(wǎng)絡(luò)已使自動視覺分類的性能得到顯著改進，但是它們的泛化能力不在人的水平，因為它們學(xué)習(xí)一個有區(qū)別的特征空間，其嚴格依賴于所采用的訓(xùn)練數(shù)據(jù)集而不是更一般的數(shù)據(jù)集，這反映了基于認知的自動化方法執(zhí)行視覺分類任務(wù)的困難。而如果采用基于腦電圖數(shù)據(jù)的深度學(xué)習(xí)視覺分類方法，則可以解決解碼視覺對象相關(guān)的腦電圖數(shù)據(jù)的問題，而且讓機器讀懂人的想法，模仿人類視覺功能執(zhí)行自動化視覺對象分類任務(wù)。

本發(fā)明提出了一種基于腦電圖數(shù)據(jù)的深度學(xué)習(xí)視覺分類方法，它包括兩個階段：(1)基于遞歸神經(jīng)網(wǎng)絡(luò)的方法學(xué)習(xí)視覺刺激誘發(fā)的腦電圖數(shù)據(jù)，并輸入編碼器得到該數(shù)據(jù)更緊湊的表示，即腦電圖特征；(2)采用將圖像回歸到所學(xué)習(xí)的腦電圖特征表示中的基于卷積神經(jīng)網(wǎng)絡(luò)的方法，從而使得能夠在“基于大腦的視覺對象流形”中進行自動視覺分類。本發(fā)明在圖像識別方面，比起基于卷積神經(jīng)網(wǎng)絡(luò)的方法，在分類能力和一般化能力更具競爭性；啟用一種新形式的基于大腦的圖像標記，它提供有關(guān)人類視覺感知系統(tǒng)的有意義的洞察；有效地將圖像投射到新的基于生物的流形將根本改變對象分類器的開發(fā)方式。

技術(shù)實現(xiàn)要素：

針對基于認知的自動化方法執(zhí)行視覺分類任務(wù)困難的問題，本發(fā)明的目的在于提供一種基于腦電圖數(shù)據(jù)的深度學(xué)習(xí)視覺分類方法，首先它采用由視覺對象刺激因素誘發(fā)的腦電圖數(shù)據(jù)聯(lián)合遞歸神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)一個有識別能力的大腦活動視覺分類流形，然后訓(xùn)練一個基于卷積神經(jīng)網(wǎng)絡(luò)的回歸元，它將圖像映射到學(xué)習(xí)好的流形，最后計算機采用基于人類大腦的特征執(zhí)行自動化視覺分類任務(wù)，得到圖像分類結(jié)果。

為解決上述問題，本發(fā)明提供一種基于腦電圖數(shù)據(jù)的深度學(xué)習(xí)視覺分類方法，其主要內(nèi)容包括：

(一)腦電圖數(shù)據(jù)采集；

(二)學(xué)習(xí)腦電圖；

(三)腦電圖特征提取；

(四)自動分類。

其中，一種基于腦電圖數(shù)據(jù)的深度學(xué)習(xí)視覺分類方法，訓(xùn)練一個基于卷積神經(jīng)網(wǎng)絡(luò)的回歸元，它將圖像投射到腦電圖流形，從而有效地允許機器采用基于人類大腦的特征來執(zhí)行自動化視覺分類任務(wù)。

其中，所述的腦電圖數(shù)據(jù)采集，讓被試者觀看ImageNet數(shù)據(jù)庫里的40個對象類的圖片時的大腦活動，這40個對象類包含狗、貓、貓頭鷹、海豹等；使用32信道腦電圖來記錄被試者觀看圖片受視覺刺激時產(chǎn)生的大腦信號，去掉不傳達任何有用信息的三個通道后，得到多通道(29個通道)時間腦電圖序列；將一般的輸入腦電圖序列稱為s(c，t)，其中c(從1到29)對應(yīng)一個通道，t(從1到110)對應(yīng)時間上的一個樣本，使用符號(·)來表示“所有值”，s(·，t)表示時間t處所有通道的向量，s(c，·)表示通道的整個時間樣本集C。

進一步地，所述的圖片，2000張圖片(每個對象類別50張)顯示0.5秒，每個類別的圖片持續(xù)顯示25秒，隨后是只顯示黑色圖像的10秒暫停時間。

其中，所述的學(xué)習(xí)腦電圖，預(yù)處理后的腦電圖多通道時間信號，作為輸入提供給編碼器模塊，編碼器模塊處理整個時間序列并輸出腦電圖特征向量作為輸入的緊湊表示。

進一步地，所述的編碼器，包括基于長短期記憶(LSTM)遞歸神經(jīng)網(wǎng)絡(luò)來分析序列數(shù)據(jù)，它能跟蹤輸入數(shù)據(jù)中的長期依賴關(guān)系；本專利采用以下三種編碼器架構(gòu)：

(1)公共LSTM：編碼器網(wǎng)絡(luò)由LSTM層的堆棧組成；在每個時間步驟t，第一層取輸入s(·，t)(在這個意義上，“公共”意味著所有腦電圖通道最初被饋送到同一LSTM層)；如果存在其他LSTM層，則第一層的輸出(其可以具有與原始輸入大小不同)被提供作為第二層的輸入，等等；最后一個時間步長處的最深LSTM層的輸出被用作整個輸入序列的腦電圖特征表示；

(2)通道LSTM+公共LSTM：第一編碼層由幾個LSTM組成，每個LSTM僅連接到一個輸入通道：例如，第一LSTM處理輸入數(shù)據(jù)s(1，·)，第二LSTM處理s(2，·)，等等；以這種方式，每個“通道LSTM”的輸出是單個通道的數(shù)據(jù)的總結(jié)；然后，第二編碼層通過接收所有信道LSTM的級聯(lián)輸出向量作為輸入來執(zhí)行通道間分析；如上所述，在最后時間步長的最深LSTM的輸出被用作編碼器的輸出向量；

(3)公共LSTM+輸出層：類似于公共LSTM架構(gòu)，但是在LSTM之后添加附加的輸出層(輸入的線性組合，之后是ReLU非線性)，以便在少量計算時增加模型容量費用(如果與兩層共同的LSTM架構(gòu)相比)；在這種情況下，編碼特征向量是最后一層的輸出。

進一步地，所述的編碼器，提供每個腦電圖序列被記錄時所表現(xiàn)的與圖像相關(guān)的類標簽并利用梯度下降法來訓(xùn)練編碼器和分類器；在訓(xùn)練之后，編碼器可以用于從輸入腦電圖序列生成腦電圖特征，而分類網(wǎng)絡(luò)將用于預(yù)測輸入腦電圖特征表示的圖像類別，其可以從腦電圖信號或圖像計算。

其中，所述的腦電波特征提取，包括微調(diào)和深度特征提取；為了對于一般圖像使用遞歸神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的特征表示，有必要繞過腦電圖記錄階段并且直接從圖像提取腦電圖特征；學(xué)習(xí)的腦電圖特征反映圖像內(nèi)容，該圖像內(nèi)容誘發(fā)腦電圖信號。

進一步地，所述的微調(diào)和深度特征提取，微調(diào)，該方法是訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)以將圖像映射到相應(yīng)的腦電圖特征向量；通常，卷積神經(jīng)網(wǎng)絡(luò)的第一層嘗試學(xué)習(xí)圖像的一般(全局)特征，這在許多任務(wù)之間是共同的，因此使用預(yù)訓(xùn)練的模型來初始化這些層的權(quán)重，然后從頭開始學(xué)習(xí)最后一層的權(quán)重；特別是，使用預(yù)訓(xùn)練的AlexNet卷積神經(jīng)網(wǎng)絡(luò)，并通過用回歸層(包含與腦電圖特征向量的維數(shù)一樣多的神經(jīng)元)替換softmax分類層來修改它，使用歐幾里得損失作為目標函數(shù)；

深度特征提取，該方法包括使用預(yù)先訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型提取圖像特征，然后采用回歸方法將圖像特征映射到腦電圖特征向量；通過讀取最后一個全連接層的輸出，使用微調(diào)AlexNet作為特征提取器，然后應(yīng)用幾個回歸方法(即K近鄰回歸，嶺回歸，隨機森林回歸)以獲得預(yù)測的特征向量。

其中，所述的自動分類，其特征在于，將提取的腦電圖特征反饋給在腦電圖特征學(xué)習(xí)期間訓(xùn)練的分類器，讓機器執(zhí)行自動視覺分類任務(wù)，得出圖像對應(yīng)的類別結(jié)果。

附圖說明

圖1是本發(fā)明一種基于腦電圖數(shù)據(jù)的深度學(xué)習(xí)視覺分類方法的系統(tǒng)流程圖。

圖2是本發(fā)明一種基于腦電圖數(shù)據(jù)的深度學(xué)習(xí)視覺分類方法的用于視覺刺激的動物數(shù)據(jù)集。

圖3是本發(fā)明一種基于腦電圖數(shù)據(jù)的深度學(xué)習(xí)視覺分類方法的編碼器架構(gòu)圖。

具體實施方式

需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互結(jié)合，下面結(jié)合附圖和具體實施例對本發(fā)明作進一步詳細說明。

圖1是本發(fā)明一種基于腦電圖數(shù)據(jù)的深度學(xué)習(xí)視覺分類方法的系統(tǒng)流程圖。主要包括腦電圖數(shù)據(jù)采集；學(xué)習(xí)腦電圖；腦電圖特征提取；自動分類。

其中，所述的腦電圖數(shù)據(jù)采集，讓被試者觀看ImageNet數(shù)據(jù)庫里的40個對象類的圖片時的大腦活動，這40個對象類包含狗、貓、貓頭鷹、海豹等；使用32信道腦電圖來記錄被試者觀看圖片受視覺刺激時產(chǎn)生的大腦信號，去掉不傳達任何有用信息的三個通道后，得到多通道(29個通道)時間腦電圖序列。

其中，所述的學(xué)習(xí)腦電圖，預(yù)處理后的腦電圖多通道時間信號，作為輸入提供給編碼器模塊，編碼器模塊處理整個時間序列并輸出腦電圖特征向量作為輸入的緊湊表示。

其中，所述的腦電波特征提取，包括微調(diào)和深度特征提取；為了對于一般圖像使用遞歸神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的特征表示，有必要繞過腦電圖記錄階段并且直接從圖像提取腦電圖特征；學(xué)習(xí)的腦電圖特征反映圖像內(nèi)容，該圖像內(nèi)容誘發(fā)腦電圖信號。

其中，所述的自動分類，其特征在于，將提取的腦電圖特征反饋給在腦電圖特征學(xué)習(xí)期間訓(xùn)練的分類器，讓機器執(zhí)行自動視覺分類任務(wù)，得出圖像對應(yīng)的類別結(jié)果。

圖2是本發(fā)明一種基于腦電圖數(shù)據(jù)的深度學(xué)習(xí)視覺分類方法的用于視覺刺激的動物數(shù)據(jù)集。由40個易于識別的動物對象類的圖片組成，這40個對象類包含狗、貓、貓頭鷹、海豹等；在實驗期間，2000張圖片(每個對象類別50張)顯示0.5秒，每個類別的圖片持續(xù)顯示25秒，隨后只顯示黑色圖像，持續(xù)10秒。

圖3是本發(fā)明一種基于腦電圖數(shù)據(jù)的深度學(xué)習(xí)視覺分類方法的編碼器架構(gòu)圖。包括基于長短期記憶(LSTM)遞歸神經(jīng)網(wǎng)絡(luò)來分析序列數(shù)據(jù)，它能跟蹤輸入數(shù)據(jù)中的長期依賴關(guān)系；本專利采用以下三種編碼器架構(gòu)：

(1)公共LSTM：編碼器網(wǎng)絡(luò)由LSTM層的堆棧組成；在每個時間步驟t，第一層取輸入s(·，t)(在這個意義上，“公共”意味著所有腦電圖通道最初被饋送到同一LSTM層)；如果存在其他LSTM層，則第一層的輸出(其可以具有與原始輸入大小不同)被提供作為第二層的輸入，等等；最后一個時間步長處的最深LSTM層的輸出被用作整個輸入序列的腦電圖特征表示；

(2)通道LSTM+公共LSTM：第一編碼層由幾個LSTM組成，每個LSTM僅連接到一個輸入通道：例如，第一LSTM處理輸入數(shù)據(jù)s(1，·)，第二LSTM處理s(2，·)，等等；以這種方式，每個“通道LSTM”的輸出是單個通道的數(shù)據(jù)的總結(jié)；然后，第二編碼層通過接收所有信道LSTM的級聯(lián)輸出向量作為輸入來執(zhí)行通道間分析；如上所述，在最后時間步長的最深LSTM的輸出被用作編碼器的輸出向量；

(3)公共LSTM+輸出層：類似于公共LSTM架構(gòu)，但是在LSTM之后添加附加的輸出層(輸入的線性組合，之后是ReLU非線性)，以便在少量計算時增加模型容量費用(如果與兩層共同的LSTM架構(gòu)相比)；在這種情況下，編碼特征向量是最后一層的輸出。

對于本領(lǐng)域技術(shù)人員，本發(fā)明不限制于上述實施例的細節(jié)，在不背離本發(fā)明的精神和范圍的情況下，能夠以其他具體形式實現(xiàn)本發(fā)明。此外，本領(lǐng)域的技術(shù)人員可以對本發(fā)明進行各種改動和變型而不脫離本發(fā)明的精神和范圍，這些改進和變型也應(yīng)視為本發(fā)明的保護范圍。因此，所附權(quán)利要求意欲解釋為包括優(yōu)選實施例以及落入本發(fā)明范圍的所有變更和修改。