本發明涉及計算機數據處理技術，具體地，涉及一種用于多模態生物特征識別的方法、裝置及系統。

背景技術：

生物特征是人體天然攜帶的信息，與傳統的密碼、身份信息相比，具有唯一性、穩定性、防偽性、不可抵賴性。所謂唯一性，指任何兩個人該特征都是不同的；所謂穩定性，指該特征在一段時間內，不會隨條件的變化而變化；所謂防偽性，指這個生物特征無法被惡意假冒；所謂不可抵賴性，指該生物特征是可以作為唯一標示識別出對應的用戶，具有不可抵賴性。

目前，用于身份識別的人體生物特征有人臉、掌紋、虹膜、指紋、dna(脫氧核糖核酸)等，行為特征有步態、簽名等。在實際應用的過程中，單獨一種生物特征的使用在不同程度上遇到以下的問題困擾：

1.噪聲

傳感器在實際應用中，由于物理缺陷或其他的外部因素干擾，采集到的數據會產生部分噪聲，從而影響到身份認證的準確性。例如：光照條件影響得到人臉圖像會有影響。

2.非普遍適用性

一些個體無法提供特定的生物特征。例如，失去雙手的殘疾人無法提供指紋信息。

3.安全性

生物特征容易被竊取，如利用人臉的相片可以騙過基于人臉的生物特征識別系統。

4.類間相似

對用戶數量比較龐大的生物特征識別系統，不同的用戶在生物特征之間可能有一定的重疊，例如有些雙胞胎的人臉信息是非常類似的。

5.類內變化

隨著時間的推移，用戶的生物特征可能產生部分變化，如小孩子長大后聲紋信息發送了變化，因此其生物識別產生差異，影響系統性能。

可見，目前的單獨一種生物特征的使用具有一定局限性。

技術實現要素：

鑒于現有技術的上述缺陷，各種不同實施方式提供了一種用于多模態生物特征識別的方法、裝置及系統。

根據一種實施方式提供的用于多模態生物特征識別的方法可以包括，但不限于：

針對輸入的不同類型生物特征分別進行單模態識別；

將不同類型生物特征的單模態識別結果進行融合計算得到多模態識別結果。

根據另一種實施方式提供的用于多模態生物特征識別的裝置可以包括，但不限于：

單模態識別模塊，用于針對輸入的不同類型生物特征分別進行單模態識別；

融合計算模塊，用于將不同類型生物特征的單模態識別結果進行融合計算得到多模態識別結果。

根據另一種實施方式提供的用于多模態生物特征識別的系統至少可以包括：

一個或多個處理器；

存儲器，所述存儲器中存儲有一個或多個程序，所述一個或多個程序被所述一個或多個處理器執行時本文各實施方式所述的方法中的操作。

根據各種不同實施方式，在多模態生物識別場景下，多種生物特征融合構成用戶的生物特征數據立方體，更加全面的描述客戶的生物特征信息，避免單一識別算法的場景局限性。

具體而言，多模態生物特征識別有以下三個優點：

1.系統可靠性更高，通過對不同類型的數據進行融合可以提高系統的性能和容錯能力、減少噪聲等不確定因素的影響，達到更高的準確率。

2.系統適用性更廣，使用多模態生物特征識別，可以使身份識別系統適用于更廣泛的人群。

3.系統安全性更強，偽造多個身份特征比偽造一個生物特征的難度提高了，因此系統更加安全。

附圖說明

圖1是示出了根據一種實施方式的用于多模態生物特征識別的方法的流程圖；

圖2是示出了根據另一種實施方式的用于多模態生物特征識別的方法的流程圖；

圖3示出了根據又一種實施方式的用于多模態生物特征識別的方法的流程圖；

圖4示出了根據一種實施方式的用于多模態生物特征識別的裝置的示意性框圖；

圖5示出了根據各種實施方式的多模態生物特征識別復合模型。

具體實施方式

為了便于理解本發明技術方案的各個方面、特征以及優點，下面結合附圖對本發明進行具體描述。應當理解，下述的各種實施方式只用于舉例說明，而非用于限制本發明的保護范圍。

根據一種實施方式，如圖1所示，本實施方式提供的用于多模態生物特征識別的方法可以包括：

s101.針對輸入的不同類型生物特征分別進行單模態識別；所述不同類型生物特征包括dna、指紋、虹膜、人臉、視網膜、指靜脈、耳型、聲紋、掌形等中的一種或多種。

s103.將不同類型生物特征的單模態識別結果進行融合計算得到多模態識別結果。

根據本實施方式，通過將多種生物特征融合構成用戶的生物特征數據立方體，更加全面的描述客戶的生物特征信息，避免單一識別算法的場景局限性。

舉個例子，采用聲紋識別和指紋識別相結合，避免單獨聲紋識別場景中背景音嘈雜，或者指紋識別場景中指紋不清晰等偶然情況，通過設置適當的組合計算方式，其識別準確率大大提高。

在可選實施方式中，處理s101可以包括針對所述不同類型生物特征的訓練元組進行有放回抽樣得到所述不同類型生物特征各自的訓練集，將所述不同類型生物特征各自的訓練集放入各自的生物特征識別的算法模型進行分類，以得到所述不同類型生物特征各自的單模態識別結果。進一步地，處理s103可以包括針對所述不同類型生物特征，計算所述分類的錯誤分類率；根據所述不同類型生物特征各自的錯誤分類率計算所述不同類型生物特征各自的權重；根據所述不同類型生物特征各自的單模態識別結果和各自的權重進行融合計算得到多模態識別結果。

根據另一種實施方式，如圖2所示，該實施方式提供的用于多模態生物特征識別的方法可以包括：

s201.針對所述不同類型生物特征的訓練元組進行有放回抽樣得到所述不同類型生物特征各自的訓練集；

s203.將所述不同類型生物特征各自的訓練集放入各自的生物特征識別的算法模型進行分類，以得到所述不同類型生物特征各自的單模態識別結果；

s205.將不同類型生物特征的單模態識別結果進行融合計算得到多模態識別結果。

同樣地，根據本實施方式，通過將多種生物特征融合構成用戶的生物特征數據立方體，更加全面的描述客戶的生物特征信息，避免單一識別算法的場景局限性。

根據又一種實施方式，如圖3所示，該實施方式提供的用于多模態生物特征識別的方法可以包括：

s302.針對所述不同類型生物特征的訓練元組進行有放回抽樣得到所述不同類型生物特征各自的訓練集；

s304.將所述不同類型生物特征各自的訓練集放入各自的生物特征識別的算法模型進行分類，以得到所述不同類型生物特征各自的單模態識別結果；

s306.針對所述不同類型生物特征，計算所述分類的錯誤分類率；

s308.根據所述不同類型生物特征各自的錯誤分類率計算所述不同類型生物特征各自的權重，例如，可以按照下述公式計算所述權重：

其中，wi表示第i類生物特征的權重，error(mi)表示錯誤分類率，i為自然數。

s310.根據所述不同類型生物特征各自的單模態識別結果和各自的權重進行融合計算得到多模態識別結果，例如，可以按照下述公式進行所述融合計算：

其中，r表示多模態識別結果，ri表示第i類生物特征的單模態識別結果，k表示所述不同類型生物特征的類型數，i為1到k的自然數。

本領域技術人員應當理解，在上述實施方式中，用于多模態生物特征識別的方法的各個處理、操作雖然是按照一定順序進行描述，但是，所述各處理、操作不一定必須按照上述順序執行。

下面描述根據一種實施方式的用于多模態生物特征識別的裝置。

如圖4所示，用于多模態生物特征識別的裝置包括但不限于：

單模態識別模塊410，用于針對輸入的不同類型生物特征分別進行單模態識別；

融合計算模塊420，用于將不同類型生物特征的單模態識別結果進行融合計算得到多模態識別結果。

在另一實施方式中，所述單模態識別模塊410針對輸入的不同類型生物特征分別進行單模態識別可以包括：

針對所述不同類型生物特征的訓練元組進行有放回抽樣得到所述不同類型生物特征各自的訓練集；

將所述不同類型生物特征各自的訓練集放入各自的生物特征識別的算法模型進行分類，以得到所述不同類型生物特征各自的單模態識別結果。

可選地，所述融合計算模塊420將不同類型生物特征的單模態識別結果進行融合計算得到多模態識別結果可以包括：

針對所述不同類型生物特征，計算所述分類的錯誤分類率；

根據所述不同類型生物特征各自的錯誤分類率計算所述不同類型生物特征各自的權重；

根據所述不同類型生物特征各自的單模態識別結果和各自的權重進行融合計算得到多模態識別結果。

根據各實施方式所述的用于多模態生物特征識別的裝置，通過將多種生物特征融合構成用戶的生物特征數據立方體，更加全面的描述客戶的生物特征信息，避免單一識別算法的場景局限性。

下面結合具體示例對本發明的技術方案進行詳細說明。

根據上述各種實施方式可知，本發明的實現方法在多模態生物識別的結果反饋，多模態生物識別過程是基于多個單模態的識別結果計算的復合模型，如圖5所示。例如，首先，對于輸入的不同類型生物特征分別進行單模態識別，將單模態生物識別的相似度反饋為一個百分制的數字；其次，將上述相似度進行結果融合計算；最后，計算出一個多模態識別相似度。單模態的識別過程可以分配到不同的cpu(中央處理單元)上，因此，多模態生物識別過程是可以并行的。

如圖5所示，對單一客戶采集其生物信息數據d(d1,d2,d3,…)，其中di分別代表某一種生物特征，如d1代表人臉，d2代表聲紋，d3代表指紋，d4代表虹膜，d5代表指靜脈等。這些生物特征分別通過對應的單模態生物特征識別模型m1、m2、m3、m4、m5進行識別，得到相似度r1、r2、r3…，相似度可以是一個1-100的分值。上述相似度通過結果融合模型mmix進行結果融合，最后得到相似度r，在通過閾值進行判斷識別結果。對于融合模型mmix的算法，例如，可以采用下述方式。

給定數據集d，它包含2個類標記的元組，其中是誤分類n個與正確分類y個。

輸入：

·d：類標記的訓練元組集，假設當前有5種生物特征識別，d1代表人臉，d2代表聲紋，d3代表指紋，d4代表虹膜，d5代表指靜脈的訓練元組.

·k：生物特征的類型數，k＝5

·mi：生物特征識別的算法模型，其中m1代表人臉，m2代表聲紋，m3代表指紋，m4代表虹膜，m5代表指靜脈算法模型

輸出：一個多模態復合模型

方法：

獲取每個算法模型的錯誤率

(1)將d中其中d1代表人臉，d2代表聲紋，d3代表指紋，d4代表虹膜，d5代表指靜脈的訓練元組的每個元組的權重初始化為1/2；

(2)fori＝1tokdo

(3)針對人臉、聲紋、指紋、虹膜、指靜脈的訓練元組進行有放回抽樣得到di；

(4)使用訓練集di放入模型mi進行分類，得到ri；該模型mi為各個生物特征識別的算法模型,ri是一個1～100分數，表示識別結果；

(5)利用算法模型mi分類后，計算mi的錯誤分類率，如下：

其中誤分類n個與正確分類y個；

(6)endfor

使用組合分類器對待測試生物特征元組x進行分類：

(1)將每個類的權重初始化為0；

(2)fori＝1tokdo

(3)每個生物特征的分數權重如下：

(4)測試出每個生物特征識別算法的分數ri＝mi(x)；

(5)將wi加到ri的權重

(6)endfor

(7)

在所述實施方式中，通過5種生物特征進行識別，基于這樣的識別方法可以獲得如下優點：

1.系統可靠性更高，通過對不同類型的數據進行融合可以提高系統的性能和容錯能力、減少噪聲等不確定因素的影響，達到更高的準確率。

2.系統適用性更廣，使用多模態生物特征識別，可以使身份識別系統適用于更廣泛的人群。

3.系統安全性更強，偽造多個身份特征比偽造一個生物特征的難度提高了，因此系統更加安全。

此外，各種實施方式還提供了一種用于多模態生物特征識別的系統，所述系統可以包括：

一個或多個處理器；

存儲器，所述存儲器中存儲有一個或多個程序；

所述一個或多個處理器執行所述一個或多個程序時進行如下操作：

針對輸入的不同類型生物特征分別進行單模態識別；

將不同類型生物特征的單模態識別結果進行融合計算得到多模態識別結果。

根據另一實施方式，所述一個或多個處理器執行所述一個或多個程序時進行如下操作：

針對所述不同類型生物特征的訓練元組進行有放回抽樣得到所述不同類型生物特征各自的訓練集；

將所述不同類型生物特征各自的訓練集放入各自的生物特征識別的算法模型進行分類，以得到所述不同類型生物特征各自的單模態識別結果。

根據另一實施方式，所述一個或多個處理器執行所述一個或多個程序時進行如下操作：

針對所述不同類型生物特征，計算所述分類的錯誤分類率；

根據所述不同類型生物特征各自的錯誤分類率計算所述不同類型生物特征各自的權重；

根據所述不同類型生物特征各自的單模態識別結果和各自的權重進行融合計算得到多模態識別結果。

其中，按照下述公式計算所述權重：

其中，wi表示第i類生物特征的權重，error(mi)表示錯誤分類率，i為自然數。

其中，按照下述公式進行所述融合計算：

其中，r表示多模態識別結果，ri表示第i類生物特征的單模態識別結果，k表示所述不同類型生物特征的類型數，i為1到k的自然數。

通過以上的實施方式的描述，本領域的技術人員可以清楚地了解到本發明可借助軟件結合硬件平臺的方式來實現。基于這樣的理解，本發明的技術方案對背景技術做出貢獻的全部或者部分可以以軟件產品的形式體現出來，該計算機軟件產品可以存儲在存儲介質中，如rom/ram、磁碟、光盤等，包括若干指令用以使得一臺計算機設備(可以是個人計算機，服務器，或者網絡設備等)執行本發明各個實施例或者實施例的某些部分所述的方法。本領技術人員應當理解，以上所公開的僅為本發明的實施方式而已，當然不能以此來限定本發明之權利范圍，依本發明實施方式所作的等同變化，仍屬本發明權利要求所涵蓋的范圍。