本技術屬于電子設備，尤其涉及一種人臉特征檢測方法、神經網絡模型訓練方法及電子設備。

背景技術：

1、隨著電子信息技術的快速發展以及通信技術的成熟，人們開始探索脫離觸控操作或鍵鼠輸入的新型的人機交互方式，即非接觸式的交互方式，例如，語音識別、手勢識別、人臉識別、人眼追蹤等，從而可以為用戶提供更加便捷、更加多樣化的交互方式，提升用戶的使用體驗。

2、然而，目前非接觸式的交互方式相關的技術還不夠成熟，仍然存在一些缺陷，例如，在通過檢測人臉特征來實現非接觸式的交互方式時，仍然會出現檢測失敗或誤檢測等情況，導致用戶體驗不佳。

技術實現思路

1、本技術實施例提供了一種人臉特征檢測方法、神經網絡模型訓練方法及電子設備，可以提高人臉特征檢測的精度。

2、第一方面，提供了一種人臉特征檢測方法，應用于具有第一攝像頭的電子設備，該方法具體包括：利用第一攝像頭進行拍攝得到第一圖像，然后基于第一神經網絡模型對第一圖像中的第一人臉圖像進行處理，并輸出第二人臉圖像，然后根據第二人臉圖像執行人臉特征檢測業務。其中，第二人臉圖像中的第一特征的特征強度大于或等于第一人臉圖像中的第二特征的特征強度，第一特征和第二特征與人臉特征檢測業務相關，且第一特征與第二特征對應；第二人臉圖像中的第三特征的特征強度小于第一人臉圖像中的第四特征的特征強度，第三特征和第四特征與人臉特征檢測業務不相關，且第三特征與第四特征對應。

3、在上述方案中，獲取第一人臉圖像之后，并不直接根據該第一人臉圖像執行人臉特征檢測業務，而是先對該第一人臉圖像執行預處理得到第二人臉圖像：一方面，保留甚至加強第一人臉圖像中與人臉特征檢測業務相關的特征，即保留或加強后續檢測人臉特征時需要使用的特征。例如，第一特征是第一人臉圖像中與人臉特征檢測業務相關的特征，在對第一人臉圖像進行處理時，可以保留或加強該第一特征，因此，第二人臉圖像中與第一特征對應的特征(即第二特征)的特征強度大于(對應加強第一特征的場景)或等于(對應保留第一特征的場景)該第一特征的特征強度。另一方面，弱化第一人臉圖像中與人臉特征檢測業務不相關的特征，即弱化后續檢測人臉特征時不需要使用的噪聲特征。通過上述腦干，可以減少人臉特征檢測過程的干擾，使得后續在執行人臉特征檢測業務時，可以更專注于與人臉特征檢測業務相關的特征，從而可以提高檢測精度，降低檢測失敗以及誤檢測的幾率。

4、可選地，根據第二人臉圖像執行人臉特征檢測業務，包括：根據第二人臉圖像檢測用戶的注視點是否位于電子設備的顯示屏內。在執行完人臉特征檢測業務之后，該方法還包括：根據人臉特征檢測業務的檢測結果，控制電子設備的顯示屏的亮滅狀態。

5、本技術實施例提供的方案可以應用于“注視不息屏”或“注視亮屏”場景中，也就是說，電子設備可以根據第二人臉圖像檢測用戶的注視點是否位于電子設備的顯示屏內，即檢測用戶當前是否在注視顯示屏，以控制電子設備在息屏狀態和亮屏狀態之間進行切換。例如，在亮屏狀態下，如果用戶當前沒有注視顯示屏，可以讓電子設備自動由亮屏狀態切換到息屏狀態，從而可以節省電量；如果用戶當前注視著顯示屏，可以讓電子設備保持亮屏狀態，或者由息屏狀態切換到亮屏狀態，從而提高用戶體驗。

6、可選地，電子設備當前處于亮屏狀態。此時，利用第一攝像頭進行拍攝得到第一圖像，包括：在息屏倒計時小于或等于第一閾值的情況下，利用第一攝像頭進行拍攝得到第一圖像；根據人臉特征檢測業務的檢測結果，控制電子設備的顯示屏的亮滅狀態，包括：在檢測結果指示用戶的注視點位于電子設備的顯示屏內的情況下，維持電子設備的顯示屏的亮屏狀態，并重置息屏倒計時。

7、本技術實施例提供的方案在應用于“注視不息屏”場景中時，可以在息屏倒計時即將結束時(即息屏倒計時小于或等于第一閾值時)，調用第一攝像頭獲取人臉圖像來檢測用戶的注視點是否落在電子設備的顯示屏內，并基于檢測結果決定是否自動息屏，從而可以根據用戶真實的使用情況決定是否自動息屏，提高了用戶體驗。如果用戶的注視點位于顯示屏內，則不自動息屏。并且，電子設備重置息屏倒計時，即息屏倒計時從頭開始重新計時，以便在后續用戶不再使用電子設備后，電子設備仍可以自動息屏。

8、可選地，第一特征和第二特征包括眼部特征和/或臉部輪廓特征，第三特征和第四特征包括以下一項或多項：受光照影響產生的光影特征、除眼睛以外的五官特征、五官以外的生物特征、飾品特征、妝造特征。

9、因此在上述方案中，在對第一人臉圖像進行處理時，可以保留或增強眼部特征和/或臉部輪廓特征，弱化受光照影響產生的光影特征、除眼睛以外的五官特征、五官以外的生物特征、飾品特征、妝造特征等，這樣在執行注視點檢測的時候，可以更加專注于眼部特征和/或臉部輪廓特征，提高檢測的準確度。

10、可選地，根據第二人臉圖像檢測用戶的注視點是否位于電子設備的顯示屏內，包括：根據第二人臉圖像確定左眼圖像和右眼圖像；基于睜閉眼識別模型對左眼圖像和右眼圖像進行處理，并輸出睜閉眼結果，睜閉眼結果用于指示用戶是否處于睜眼狀態；在用戶處于睜眼狀態的情況下，根據第二人臉圖像、左眼圖像和右眼圖像檢測用戶的注視點是否位于電子設備的顯示屏內。

11、在上述方案中，在獲取第二人臉圖像之后，并不直接進行注視識別，而是先根據左右眼圖像識別用戶是否處于睜眼狀態，如果是的話，才繼續執行注視識別流程。由于睜閉眼識別模型的訓練難度遠低于注視識別模型，其精確度非常高，因此提前進行精確的睜閉眼過濾有助于提高注視識別整體的精確率；其次，相比于人臉特征提取模型較深的神經網絡結構與較多的參數量，非常淺的睜閉眼識別模型所需計算量極低，通過減少無意義的全臉支路運算，可以進一步降低運算功耗，有助于低功耗要求的實現。

12、可選地，根據第二人臉圖像、左眼圖像和右眼圖像檢測用戶的注視點是否位于電子設備的顯示屏內，包括：利用人眼特征提取模型分別從左眼圖像和右眼圖像中提取左眼特征和右眼特征；利用人臉特征提取模型從第二人臉圖像中提取人臉特征；將左眼特征、右眼特征、人臉特征進行融合，得到融合數據；利用注視識別模型對融合數據進行處理，并輸出注視結果，注視結果用于指示的用戶的注視點是否位于電子設備的顯示屏內。

13、在上述方案中，分別通過不同的模型來提取人眼圖像的特征和人臉圖像的特征，可以提高特征提取的精細度，因為不同圖像的特點不同，如果采用同一個模型來提取不同類型的圖像的特征話，可能會影響后續注視識別的準確度。

14、可選地，電子設備還包括第二攝像頭；該方法還包括：在人臉特征檢測業務的檢測結果的可信度小于第二閾值或人臉特征檢測業務執行失敗的情況下，獲取第一人臉圖像的平均像素值；在第一人臉圖像的平均像素值低于第三閾值的情況下，利用第二攝像頭進行拍攝得到第二圖像，第二圖像包括第三人臉圖像；利用第二神經網絡模型對第三人臉圖像進行處理，輸出第四人臉圖像；根據第四人臉圖像執行人臉特征檢測業務；其中，第四人臉圖像中的第五特征的特征強度大于或等于第三人臉圖像中的第六特征的特征強度，第四人臉圖像中的第七特征的特征強度小于第三人臉圖像中的第八特征的特征強度，該第五特征與該第六特征對應，該第七特征與該第八特征對應，該第五特征和該第六特征與人臉特征檢測業務相關，該第七特征和該第八特征與人臉特征檢測業務不相關，第一圖像為彩色圖像，第二圖像為紅外(infrared?radiation，ir)圖像。因此在上述方案中，先通過第一攝像頭采集彩色圖像(即第一圖像)來檢測人臉特征，由于采集彩色圖像所導致的功耗較低，并且電子設備大多都是在光線明亮的場景下使用的，所以彩色圖像的成像質量在大多數場景下是符合要求的，因此通過調用第一攝像頭來檢測人臉特征，既可以維持較低的功耗，也可以保證不錯的檢測成功率。

15、如果基于第一圖像執行人臉特征檢測業務，但檢測結果的可信度較低(如小于第二閾值)或檢測失敗的話，導致這種情況的原因可能有很多種，例如有可能是由當前拍攝的光線環境導致的，也有可能是由被檢測目標本身導致的，還可能是由其他一些意外錯誤導致的，等等。此時可以獲取第一人臉圖像的平均像素值。如果該平均像素值低于第三閾值的話，說明第一人臉圖像的圖像質量很差，因此圖像質量差很可能是導致檢測結果可信度低或檢測失敗的主要原因。例如，在暗光、逆光、側光或反光場景下，第一人臉圖像中的人臉特征可能不夠清晰，電子設備可能無法從第一人臉圖像中檢測到人臉特征或人眼特征。在這種情況下，電子設備可以繼續調用第二攝像頭采集紅外圖像(即第二圖像)來執行人臉特征檢測業務。由于紅外圖像的成像質量幾乎不受光線條件的影響，因此即使光線條件比較差，也可以保證較高的圖像質量，從而提高檢測人臉特征的成功率以及檢測精度。

16、如果基于第一圖像執行人臉特征檢測業務，檢測結果的可信度比較高(如大于或等于第二閾值)，并且檢測結果指示用戶的注視點位于電子設備的顯示屏外，則結束當前檢測流程，或重啟當前檢測流程，如重新判斷息屏倒計時是否小于或等于第一閾值，如果是的話，利用第一攝像頭拍攝彩色圖像以執行人臉特征檢測任務，具體實現方案不再重復說明。在該情況下，不需要計算第一人臉圖像的平均像素值，也不需要啟用第二攝像頭拍攝第二圖像。也就是說，如果檢測結果的可信度比較高，則直接采用該檢測結果，而不再利用第二攝像頭重新進行檢測，以減少功耗的無端浪費。

17、綜上所述，本技術提供的方案涉及兩種攝像頭(即第一攝像頭和第二攝像頭)，其中，第一攝像頭可以拍攝彩色圖像，第二攝像頭可以拍攝紅外圖像。在光線條件比較好的場景下，使用第一攝像頭拍攝彩色圖像來檢測人臉特征，既可以維持較低的功耗，也可以保證不錯的檢測成功率。在光線條件不好的場景下，使用第二攝像頭拍攝紅外圖像，可以在各種光線條件下，保證較高的檢測成功率。然而，由于光線條件并不好量化，如果僅通過環境光強度來選擇攝像頭的話，很多場景下依然會檢測人臉特征失敗，或者即使檢測到人臉特征，檢測結果的可信度也比較低，例如，在逆光、側光或者眼鏡反光燈場景下，環境光強度可能比較高，但采集到的彩色圖像的質量可能比較差。而本技術實施例提供的方案可以在基于第一圖像檢測人臉特征但檢測結果的可信度低于第二閾值時，通過分析發現失敗的原因很可能是第一圖像的圖像質量比較差導致的，才調用第二攝像頭拍攝紅外圖像，因為拍攝紅外圖像會導致較高的功耗，而通過上述方案可以減少紅外圖像的拍攝次數，從而可以降低功耗，同時還可以保證較高的檢測成功率，至少可以減少因圖像質量導致人臉特征檢測失敗的情況。

18、可以理解的是，在上述第一圖像為彩色圖像的情況下，可以直接基于該第一圖像執行后續圖像處理及檢測流程，也可以基于第一圖像轉換之后得到的圖像執行后續圖像處理及檢測流程。也就是說，第一人臉圖像可以是直接從第一圖像中截取出來的圖像，也可以是從由第一圖像轉換得到的圖像中截取的圖像，例如，在利用第一攝像頭拍攝得到第一圖像(彩色圖像)之后，可以將該第一圖像轉換為灰度圖像，然后從該灰度圖像中截取第一人臉圖像。

19、可選地，在一種可能的實現方式中，第一圖像為彩色圖像。則利用第一攝像頭進行拍攝得到第一圖像，包括：獲取當前的環境光強度；在環境光強度大于或等于第四閾值的情況下，利用第一攝像頭進行拍攝得到第一圖像。可選地，在另一種可能的實現方式中，第一圖像為紅外圖像。則利用第一攝像頭進行拍攝得到第一圖像，包括：獲取當前的環境光強度；在環境光強度小于第四閾值的情況下，利用第一攝像頭進行拍攝得到第一圖像。

20、因此在上述方案中，在光照強度比較高(環境光強度大于或等于第四閾值)的情況下，通過采集彩色圖像來檢測人臉特征。在光照強度比較低(環境光強度小于第四閾值)的情況下，可以直接通過采集紅外圖像來檢測人臉特征。因為環境光強度比較低，說明此時是暗光場景，此時拍攝彩色圖像的話，成像質量大概率會比較差，直接調用第二攝像頭來檢測人臉特征，可以省去采集第一圖像、對第一人臉圖像進行處理得到第二人臉圖像、根據第二人臉圖像檢測人臉特征等流程，從而可以節省資源，降低時延，提高用戶體驗。

21、可選地，在利用第一攝像頭進行拍攝得到第一圖像之前，該方法還包括：確定檢測人臉特征。也就是說，電子設備在確定檢測人臉特征的情況下，啟用第一攝像頭進行拍攝。其中，可以是用戶控制電子設備進行人臉特征檢測的，也可以是電子設備基于預設規則自動進行人臉特征檢測的，本技術不作限定。

22、可選地，該第一攝像頭和該第二攝像頭可以是一個攝像頭，也可以是兩個不同的攝像頭。

23、可選地，該第一攝像頭和該第二攝像頭可以是電子設備的前置攝像頭。

24、可選地，第一攝像頭用于獲取二維圖像，第二攝像頭用于獲取包含深度信息的圖像。

25、可選地，第一攝像頭為紅綠藍(red?green?blue，rgb)攝像頭，第二攝像頭為飛行時間(time?of?flight，tof)攝像頭。

26、可選地，該第一攝像頭為全時工作(always-on，ao)攝像頭。其中，ao攝像頭是一種低功耗的rgb攝像頭，通過ao攝像頭拍攝第一圖像，可以進一步降低功耗。

27、可選地，在基于第一自適應均衡模型對第一人臉圖像進行處理之前，方法還包括：確定第一圖像包括第一人臉圖像。

28、在上述方案中，當電子設備利用第一攝像頭拍攝得到第一圖像之后，可以檢測第一圖像中是否包括第一人臉圖像，如果包括的話，則繼續執行后續流程，如果不包括的話，可以不再執行后續流程，或者重新調用第一攝像頭進行拍攝，或者檢測第一攝像頭拍攝得到的其他幀圖像是否包括人臉圖像(第一圖像和這里的其他幀圖像可以是第一攝像頭一次性拍攝的多幀圖像)，避免因第一圖像不包括人臉圖像導致后續人臉特征檢測失敗的情況，省略了這種情況下的檢測流程，節省了資源并降低了時延。

29、可選地，在所述利用所述第一攝像頭進行拍攝得到第一圖像之前，所述方法還包括：在所述屏幕上顯示第一界面，所述第一界面為以下多個界面中的任意一個：安裝于所述電子設備中的第一應用的界面、系統桌面、負一屏、鎖屏界面。

30、可選地，第一神經網絡模型是基于訓練數據訓練得到的，訓練數據包括多個樣本圖像，多個樣本圖像是由同一張原始圖像增廣與人臉特征檢測業務無關的特征得到的，原始圖像包括第三人臉圖像。

31、可選地，第一神經網絡模型是基于第一損失函數值的對抗損失函數值、第二損失函數值、第三損失函數值訓練得到的；其中，第一損失函數值是將多個樣本圖像與多個重建圖像進行比較得到的，多個重建圖像根據多個特征向量生成，多個特征向量從訓練數據中提取到的，多個特征向量、多個樣本圖像、多個重建圖像一一對應；第二損失函數值是將多個特征向量之間的平均向量距離與目標距離進行比較得到的；第三損失函數值是將根據多個特征向量執行人臉特征檢測業務所得到的檢測結果與目標結果進行比較得到的。

32、第二方面，提供了一種神經網絡模型的訓練方法，該方法包括：獲取訓練數據，訓練數據包括多個樣本圖像，多個樣本圖像是由同一張原始圖像增廣與人臉特征檢測業務無關的特征得到的，原始圖像包括人臉圖像；從訓練數據中提取多個特征向量；根據多個特征向量生成多個重建圖像，多個特征向量、多個樣本圖像、多個重建圖像一一對應；根據多個特征向量執行人臉特征檢測業務，得到檢測結果；分別將多個樣本圖像與對應的重建圖像進行比較，得到第一損失函數值；將多個特征向量之間的平均向量距離與目標距離進行比較，得到第二損失函數值；將檢測結果與目標結果進行比較，得到第三損失函數值；根據第一損失函數值、第二損失函數值、第三損失函數值，調整神經網絡模型的參數。

33、根據上述方案，可以通過自我監督訓練和對抗訓練，來調整神經網絡模型的參數，使得高神經網絡模型在處理圖像時，可以包括與人臉特征檢測業務相關的特征，弱化與人臉特征檢測業務無關的特征，從而提高人臉特征檢測的精度。

34、可選地，根據第一損失函數值、第二損失函數值、第三損失函數值，調整神經網絡模型的參數，包括：以減小第一損失函數值的對抗損失函數值、第二損失函數值、第三損失函數值為目的，調整神經網絡模型的參數。

35、可選地，第一損失函數值的對抗損失函數值等于1與第一損失函數值的差。

36、第三方面，提供了一種電子設備，該電子設備具有第一攝像頭，該電子設備具體包括：拍攝模塊，用于利用第一攝像頭進行拍攝得到第一圖像，第一圖像包括第一人臉圖像；處理模塊，用于基于第一神經網絡模型對第一人臉圖像進行處理，并輸出第二人臉圖像，第二人臉圖像中的第一特征的特征強度大于或等于第一人臉圖像中的第二特征的特征強度，第二人臉圖像中的第三特征的特征強度小于第一人臉圖像中的第四特征的特征強度；檢測模塊，用于根據第二人臉圖像執行人臉特征檢測業務；其中，第一特征和第二特征與人臉特征檢測業務相關，第三特征和第四特征與人臉特征檢測業務不相關，第一特征與第二特征對應，第三特征與第四特征對應。

37、第四方面，提供了一種電子設備，包括存儲器、處理器，該存儲器上存儲有可在所述處理器上運行的計算機程序,所述處理器執行所述計算機程序時，使得電子設備實現如上述第一方面或第二方面中任一項所述人臉特征檢測方法的步驟。

38、第五方面，提供了一種計算機可讀存儲介質，該計算機可讀存儲介質存儲有計算機程序，該計算機程序被處理器執行時，實現如上述第一方面或第二方面中任一項所述人臉特征檢測方法的步驟。

39、第六方面，提供了一種計算機程序產品，當計算機程序產品在電子設備上運行時，使得電子設備執行上述第一方面或第二方面中任一項所述人臉特征檢測方法。

40、第七方面，提供了一種芯片系統，該芯片系統包括處理器，該處理器與存儲器耦合，該處理器執行存儲器中存儲的計算機程序，以實現上述第一方面或第二方面任一項所述的人臉特征檢測方法。

41、其中，芯片系統可以是單個芯片或者，多個芯片組成的芯片模組。

42、可以理解的是，上述第三方面至第七方面的有益效果可以參見上述第一方面或第二方面中的相關描述，在此不再贅述。