本發明屬于生物醫學信號處理領域，具體是一種在復雜場景下多通道遠程通過光電容積描記法(rppg)提取脈搏波信號(bvp信號)的算法

背景技術：

1、遠程光電容積描記法(rppg)是一種基于視頻分析的非接觸式技術，能夠檢測出如心率、呼吸頻率等生理信號。通過捕捉皮膚表面反射光的微小變化，遠程光電容積描記法可以應用于健康監測中。與傳統接觸式傳感器相比，遠程光學容積描記法具有非侵入性和舒適性高等優點。然而，在復雜場景下，遠程光電容積信號(rppg信號)的提取精度常常受到信噪比(snr)低、運動偽影及環境干擾的影響。這些問題導致提取的rppg信號質量低，進而影響后續的血氧濃度、呼吸率及心率的計算結果。

2、現有的rppg信號提取方法中，主要可以分為兩大類：基于神經網絡的非線性建模方法和基于傳統算法的線性信號處理方法。

3、1.基于神經網絡的rppg信號提取方法：近年來，隨著深度學習技術的廣泛應用，神經網絡在rppg信號提取中的使用變得越來越普遍。神經網絡方法依賴大量的訓練數據，通過學習輸入圖像與生理信號之間的復雜非線性關系，來預測脈搏波信號(bvp信號)。然而，神經網絡方法存在幾個不可忽視的問題：

4、·引入非線性噪聲：神經網絡模型的非線性特性使得其容易受到數據分布的影響。當訓練數據與實際應用場景之間存在差異時，網絡可能會引入額外的非線性噪聲，這種噪聲難以通過簡單的后處理手段進行去除。

5、·虛假的預測結果：神經網絡的預測結果很大程度上依賴于訓練數據的多樣性與質量。在運動、光照變化等復雜場景下，神經網絡容易產生虛假的預測結果。這種誤差在沒有足夠強的先驗信息約束的情況下，會直接影響到rppg信號的質量，導致后續生理參數(如呼吸率、心率)的誤判。

6、2.基于傳統方法的rppg信號提取方法：傳統rppg信號提取方法主要包括pos算法、chrom算法以及pca(主成分分析)等。這些方法通常依賴于線性信號處理的假設，即假設面部皮膚不同區域反射的光信號具有固定的周期性特征，能夠通過線性模型加以提取。然而，這些傳統方法在實際應用中也面臨多個挑戰：

7、·運動魯棒性差：pos、chrom等算法通常基于靜態環境的假設，即面部基本保持靜止。然而，現實應用場景中，面部不可避免地會發生位移、旋轉等運動，這些運動干擾會大大降低這些算法的信號提取能力，導致rppg信號的丟失或失真。

8、·光照變化敏感：傳統方法通常假設面部光照相對穩定，依賴反射光的微小變化來提取心率或呼吸信號。然而，在光照劇烈變化的場景中，例如室外光線強弱變換，算法難以適應這些變化，導致提取信號的質量下降。光照變化不僅會影響rppg信號的幅值，還可能引入額外的高頻噪聲，使得傳統算法難以準確捕捉到低頻的生理信號。

9、·環境干擾明顯：傳統線性模型難以應對復雜環境下的多種干擾源，例如背景顏色變化、陰影、面部皮膚反射特性差異等。在這些干擾下，pos、chrom或pca算法的信噪比大幅降低，難以穩定輸出準確的生理信號。

10、為解決這些問題，本發明提出了一種基于機器學習的多通道rppg信號線性融合算法。該方法結合了卷積神經網絡的信號特征提取能力與傳統信號處理方法的線性優勢，通過引入多區域加權融合機制，有效提高了復雜場景下rppg信號的質量和魯棒性。相較于現有方法，本發明能夠更好地應對運動和光照變化帶來的挑戰，提高了信號的提取精度，并且能在復雜場景下提供較高信噪比的生理信號提取結果。

技術實現思路

1、本發明針對現有技術中神經網絡方法引入非線性噪聲和虛假預測結果，傳統算法在運動、光照變化中魯棒性較低等問題，提出了一種復雜場景下多通道rppg信號線性融合算法。該算法通過結合卷積神經網絡的特征提取能力與線性加權信號融合技術，提升了rppg信號的質量與魯棒性，能夠有效地應對復雜場景中的運動偽影和光照變化，并且提取出較為準確的心率信號。

2、本發明的具體步驟包括：

3、1.面部視頻采集與區域劃分：首先，對采集到的面部視頻進行處理，使用人臉檢測算法識別出面部的關鍵特征點，如額頭、鼻尖、臉頰等區域。根據rppg信號強度，將面部劃分為多個具有不同信噪比的子區域。這些區域的劃分是基于信噪比的先驗知識，并且不同區域所提取的rppg信號強度存在顯著差異，通過后續的加權融合提高整體信號質量。

4、2.多通道信號獲取與卷積神經網絡訓練：每個子區域的rppg信號通過動態優先級凸包法提取，這種方法保證了在面部運動情況下，特征點的魯棒性。隨后，對每個子區域計算其rgb空間的平均像素值，并根據視頻流的時間戳插值生成信號流。為了消除不同區域信號的幅值差異，每個通道的信號將進行歸一化處理，生成處理后的多通道信號h。

5、針對不同數據集的特點，將視頻數據與接觸式脈搏波信號標簽對齊。通過傳統方法或深度學習算法提取視頻中的rppg信號，并計算該信號與標簽信號之間的時間差，隨后對信號進行時間補償，確保信號時序的對齊。

6、數據集處理完成后，根據比例將數據集劃分為訓練集和測試集。使用卷積神經網絡對多通道信號進行訓練，網絡結構包括通道組合層、池化層和全連接層，用于預測各個子區域的加權系數。網絡訓練過程中使用負皮爾遜系數和頻域相關性作為損失函數，通過反向傳播優化網絡參數，從而得到每個區域的最優加權系數。

7、3.多通道rppg信號融合：根據訓練得到的加權系數，將不同子區域的rppg信號進行線性組合，生成單通道的rppg信號。該線性融合方法能夠有效抵消面部運動和光照變化等干擾，提高信號的信噪比。融合后的rppg信號具有更強的抗干擾能力，適合在復雜場景中提取精確的生理信號。

8、4.后處理與生理信號提取：對融合后的單通道rppg信號進行濾波處理，去除低頻噪聲和干擾。具體地，使用二階級聯濾波器對信號進行0.5-4hz范圍內的濾波，保留心率與呼吸信號的主要頻率成分。通過chirp?z變換(czt)對信號進行頻域分析，進一步追蹤信號的頻率特征，并累計頻域內的能量以估計當前時刻的心率。

9、本發明具有以下顯著優勢：

10、·抗運動偽影能力強：通過動態優先級凸包法提取特征點，并對多通道rppg信號進行加權融合，能夠有效減少運動帶來的偽影干擾，增強信號魯棒性。

11、·光照適應性強：多通道信號融合能夠減少光照變化對信號的影響，增強rppg信號在光照不穩定條件下的穩定性。

12、·信號質量高：卷積神經網絡根據各區域rppg信號與參考信號的相關性預測加權系數，結合后續的濾波處理，生成高信噪比的單通道rppg信號，為后續的生理信號提取提供高質量的輸入。

13、·時序對齊準確：通過對視頻信號和接觸式脈搏波信號進行時間對齊和補償，確保數據在訓練中的時序一致性，提高網絡的預測精度。

14、通過本發明方法，能夠在復雜場景下穩定地提取出高質量的rppg信號和生理信號，在一定程度上提升現有技術在應對運動和光照變化等環境干擾時的魯棒性與準確性。