本實用新型涉及社交感知設(shè)備研究領(lǐng)域，具體地，涉及一種可穿戴社交感知系統(tǒng)。
背景技術(shù)：
傳統(tǒng)的社交行為分析，一般會采取攝像頭實時跟蹤記錄，或?qū)⒂^察者安排在特定的環(huán)境下進行觀察，或采用問卷的形式。然而，通過這些觀察所獲取的結(jié)果，往往不準(zhǔn)確，并且在分析和判斷中存在著一定的主觀性，且實驗的花費也很巨大，觀察者的隱私也是一個十分重要的問題。
綜上所述，本申請發(fā)明人在實現(xiàn)本申請實施例中實用新型技術(shù)方案的過程中，發(fā)現(xiàn)上述技術(shù)至少存在如下技術(shù)問題：
在現(xiàn)有技術(shù)中，社交行為采集裝置和方式存在結(jié)果不準(zhǔn)確，成本較高，隱私性較差的技術(shù)問題。
技術(shù)實現(xiàn)要素：
本實用新型提供了一種可穿戴社交感知系統(tǒng)，解決了現(xiàn)有的社交行為采集裝置和方式存在結(jié)果不準(zhǔn)確，成本較高，隱私性較差的技術(shù)問題，實現(xiàn)了系統(tǒng)設(shè)計合理，社交行為數(shù)據(jù)采集準(zhǔn)確，成本較低，隱私性較好的技術(shù)效果。
為解決上述技術(shù)問題，本申請實施例提供了一種可穿戴社交感知系統(tǒng)，所述系統(tǒng)包括：
MCU模塊(STM32F405RGT6Cortex-M4@168MH)、語音模塊(CODEC編碼器CS43L22和MEMS麥克風(fēng)MP45DT02)、行為模塊(MPU6050三軸加速器&陀螺儀傳感器)、體征模塊(脈搏傳感器、血氧傳感器和人體紅外傳感器)、環(huán)境模塊(溫濕度傳感器SI7021和光線傳感器BH1750FVI)，其中，語音模塊、行為模塊、體征模塊、環(huán)境模塊均與MCU模塊連接。
其中，本申請中的模塊均是現(xiàn)有技術(shù)中的模塊，本申請的原理是分別利用語音模塊采集用戶語音數(shù)據(jù)，利用行為模塊采集用戶行為數(shù)據(jù)，利用體征模塊采集用戶的體征數(shù)據(jù)，利用環(huán)境模塊采集環(huán)境數(shù)據(jù)，然后將這些采集的數(shù)據(jù)傳遞給MCU模塊，利用MCU模塊中現(xiàn)有的分析軟件進行用戶社交行為分析。
其中，所述語音模塊包括：編譯碼器芯片、MEMS麥克風(fēng)，所述編譯碼器芯片與所述MEMS麥克風(fēng)連接。
其中，所述行為模塊具體為：加速度傳感器模塊，加速度傳感器模塊內(nèi)置有陀螺儀和數(shù)字運動處理器(DMP)，陀螺儀與數(shù)字運動處理器(DMP)連接。
其中，所述體征模塊包括：心率傳感器、血氧傳感器、人體紅外傳感器，心率傳感器、血氧傳感器、人體紅外傳感器均與MCU模塊連接。
其中，所述環(huán)境模塊包括：溫度傳感器、濕度傳感器、光傳感器，溫度傳感器、濕度傳感器、光傳感器均與MCU模塊連接。
其中，所述系統(tǒng)還包括手環(huán)，MCU模塊、語音模塊、行為模塊、體征模塊、環(huán)境模塊均固定在手環(huán)上。
其中，所述系統(tǒng)還包括SD存儲，所述MCU模塊上設(shè)有SDIO接口。
其中，所述系統(tǒng)還包括電源模塊，所述電源模塊與MCU模塊、語音模塊、行為模塊、體征模塊、環(huán)境模塊均連接。
本申請實施例中提供的一個或多個技術(shù)方案，至少具有如下技術(shù)效果或優(yōu)點：
實現(xiàn)了系統(tǒng)設(shè)計合理，社交行為數(shù)據(jù)采集準(zhǔn)確，成本較低，隱私性較好的技術(shù)效果。
附圖說明
此處所說明的附圖用來提供對本實用新型實施例的進一步理解，構(gòu)成本申請的一部分，并不構(gòu)成對本實用新型實施例的限定；
圖1是本申請實施例一中可穿戴社交感知系統(tǒng)的組成示意圖。
具體實施方式
本實用新型提供了一種可穿戴社交感知系統(tǒng)，解決了現(xiàn)有的社交行為采集裝置和方式存在結(jié)果不準(zhǔn)確，成本較高，隱私性較差的技術(shù)問題，實現(xiàn)了系統(tǒng)設(shè)計合理，社交行為數(shù)據(jù)采集準(zhǔn)確，成本較低，隱私性較好的技術(shù)效果。
基于語音、行為、體征和環(huán)境信號特征提取和融合的可穿戴社交感知系統(tǒng)是一種客觀分析人的身體和心理狀態(tài)以及情緒表現(xiàn)，挖掘社交交互信息，幫助人們改善自身社交行為和身心輔助治療的一種工具。
采用本申請中的可穿戴社交感知系統(tǒng)可以解決現(xiàn)有技術(shù)中的問題。同時，它在推斷人在社會和人際交往中的交互感知作用和影響，為社會文化行為特性提供科學(xué)研究方法和工具，并在人際交往關(guān)系、身心健康狀態(tài)評估、心理疾病檢測和社會行為數(shù)據(jù)統(tǒng)計等方面提供客觀依據(jù)。同時，它創(chuàng)新性擴展了自然科學(xué)研究應(yīng)用領(lǐng)域，并為社會、文化、行為等社會科學(xué)研究領(lǐng)域提供了新的科學(xué)研究方法?？纱┐魃缃桓兄到y(tǒng)主要用于分析人類在社交行為中的特征，幫助人們改善在社交行為中存在的問題，輔助身心健康的治療。
社交行為是心理學(xué)上的一個概念，本系統(tǒng)通過可穿戴設(shè)備獲取人的語音信號、行為信號、體征信號和環(huán)境信號，從而綜合分析人的社交行為，進而可以客觀判斷如：員工工作效率及幸福感、銷售人員與客戶的交互技巧、人的精神情緒和身心健康狀態(tài)。
本發(fā)明的目的在于克服現(xiàn)在的社交行為分析的主觀性(如調(diào)查問卷，研究者詢問等方式)，隱私和高花費(攝像頭)提出了一種可穿戴社交感知評估和反饋系統(tǒng)，以實現(xiàn)通過獲取人的語音、行為、體征和環(huán)境信號等特征，綜合分析人的社交行為，排除主觀因素的干擾。
為了更好的理解上述技術(shù)方案，下面將結(jié)合說明書附圖以及具體的實施方式對上述技術(shù)方案進行詳細的說明。
下面結(jié)合具體實施例及附圖，對本發(fā)明作進一步地的詳細說明，但本實用新型的實施方式不限于此。
實施例一：
為了實現(xiàn)上述發(fā)明目的，本發(fā)明基于語音、行為、體征和環(huán)境感知信號的提取和融合，綜合分析人的社交行為，包括一下幾個方面：
客觀性。該系統(tǒng)獲取的語音行為等數(shù)據(jù)均實在穿戴者日常情況下的隨機行為，并沒有主觀的回避或表現(xiàn)。并且，研究者在分析穿戴者社交行為結(jié)果時，并沒有主觀的臆斷，只是根據(jù)獲取的數(shù)據(jù)通過某些算法分析獲得。
便捷性。本系統(tǒng)采用易于攜帶的手環(huán)式設(shè)備，具有便捷性，主要由五個主要部分組成：控制器(微處理器MCU)、語音模塊、行為模塊、體征模塊和環(huán)境模塊。主要工作原理是由微處理器控制四個模塊的工作與否，分別獲取所需要的語音信號、行為信號、體征信號和環(huán)境信號。
請參考圖1，MCU模塊：本系統(tǒng)主要選用STM公司的STM32F405RGT6，相比于其它的MCU，如AT91SAM7S64、STM32F103CBT6和STM32F103TBU6，具有更高的運算性能，而且芯片內(nèi)部還集成了FPU(浮點運算單元)和DSP指令，為以后在該平臺上實現(xiàn)數(shù)據(jù)融合和算法提供基礎(chǔ)。雖然封裝較大(10mm×10mm)，但符合小型化的要求。
語音模塊：本系統(tǒng)選用一顆CODEC芯片(比如WM8978G)加一個模擬MEMS麥克風(fēng)獲取語音信號。獲得的語音信號首先會經(jīng)過現(xiàn)有技術(shù)中的預(yù)處理，即預(yù)加重、分幀、加窗，提取語音樣本信號特征(能量，自相關(guān)峰值和譜熵，相關(guān)技術(shù)內(nèi)容可在[宋知用.Matlab在語音信號分析與合成中的應(yīng)用.北京：北京航空航天大學(xué)出版社，2013]中找到，采用高斯混合模型(GMM)和隱形馬爾科夫鏈(HMM)的建模和用Veterbi解碼的方法(相關(guān)技術(shù)步驟可在[趙力.語音信號處理.北京；機械工業(yè)出版社，2003]中找到),將有人說話和無人說話的樣本標(biāo)記，實現(xiàn)語音分割，需說明：這里芯片將直接處理原始語音得到特征信號，不會記錄聲音，以此保證隱私性，然后對已經(jīng)分割獲取的人說話部分的特征，計算每幀的能量，再采用GMM和HMM的建模和方法，并用Veterbi解碼的方法最終標(biāo)記出穿戴者說話的部分。最后挖掘基于穿戴者的語音信號特征的社交行為特征。例如，通過語音短時能量、說話速率、音高、MFCC、自相關(guān)系數(shù)和語音信號熵等特征判斷人在社交行為中的積極度(聲音率、說話時間分?jǐn)?shù))、參與度(說話者話輪和影響性)、模仿度(小于1s的說話時間)和著重度(說話者共振峰頻率、譜熵、短時能量)，客觀地反映人心理狀態(tài)(相關(guān)技術(shù)可參照[Honest signal.Alex Pentland.])。
i積極度。穿戴者的參與度可通過說話時間分?jǐn)?shù)的Z-scored百分率與聲音部分頻率的乘積計算獲取。說話時間分?jǐn)?shù)可由對話中穿戴者的說話聲音部分持續(xù)率計算得到，具體見公式(1)。聲音部分的頻率可由有聲音的幀數(shù)和總幀數(shù)計算獲得，具體見公式(2)。
s＝穿戴者說話幀數(shù) n＝總說話幀數(shù)(說話部分)
v＝有聲音的幀數(shù)，v＝無聲音的幀數(shù)
ii參與度。參與度可通過一個人對另一個人的話輪Z-scored影響性獲得。具體為，量化一個人對另一個人的影響性，通過用HMM(隱式馬爾科夫)對參與者的說話狀態(tài)建模，計算兩個狀態(tài)HMM的耦合度獲得，具體見公式(3)。
αij＝鏈i和鏈j之間的影響性耦合參數(shù) i＝1到N的鏈
t＝離散時間步長
iii模仿度。模仿度是對話中反復(fù)出現(xiàn)的由單個詞組成的話，像“好的”、“恩”、“對的”等等。它可以通過兩個說話者的短時聲音部分(小于1s的說話)計算獲得，具體見公式(4)。
模仿度＝{(S1(i)-S2(j))≤1sec}/n (4)
S1(i)＝說話者1的短時說話時間(<1s)
S(j)＝說話者2的短時說話時間(<1s)
注意：i和j是說話者1和說話者2相鄰的狀態(tài)
n＝說話部分的長度
{}＝在時間n中短對話的總數(shù)
iv著重度。著重性表示說話者有意識或者無意識地強調(diào)或按時某些信息。它可以通過共振峰頻率、譜熵和短時能量的標(biāo)準(zhǔn)差之和計算獲得，具體見公式(5)。
著重度＝∑std(α)+∑std(β)+∑std(δ) (5)
α＝共振峰頻率，β＝譜熵，δ＝短時能量
行為模塊：本系統(tǒng)采用MPU6050加速度傳感器模塊，該模塊內(nèi)置一顆陀螺儀和一個數(shù)字運動處理器(DMP)，可實現(xiàn)姿態(tài)結(jié)算，降低了運動處理運算對MCU的負荷，提高系統(tǒng)工作效率。獲得的線速度和角速度信號通過特征提取(如，標(biāo)準(zhǔn)差、偏度、峰度等)，通過模式識別算法(如，支持向量機，決策樹等，相關(guān)具體技術(shù)可參照[西奧多里蒂斯.模式識別(第四版).北京：電子工業(yè)出版社，2010])識別出睡眠、站立、坐著、走路、上樓、下樓、蹲著、跑步和摔倒等行為，融合語音社交感知特征，進一步分析人的身心健康狀態(tài)。
i預(yù)處理。預(yù)處理主要由加窗、濾波、重采樣、歸一化等部分組成。預(yù)處理的目的是去除重力加速度、人體不自主的抖動產(chǎn)生的噪聲、系統(tǒng)噪聲等。加窗一般采用添加滑動窗的方式進行處理，可將長度不一的數(shù)據(jù)規(guī)范到相同的長度，方便處理。濾波通常采用低通濾波、高斯濾波、均值濾波等，為了去除原始信號中的噪聲。針對由于運動速度不同而造成的采樣數(shù)據(jù)長短不同意的問題，以及由于運動劇烈程度不同兒產(chǎn)生的信號幅度差異較大的問題，可采用重采樣和歸一化技術(shù)進行調(diào)整。
ii訓(xùn)練。隨機挑選24個人(12個男生和12個女生，年齡段大概20-30歲之間)。讓他們分別進行睡眠、站立、坐著、走路、上樓、下樓、蹲著、跑步和摔倒九種模式運動，并用可穿戴式設(shè)備記錄數(shù)據(jù)，時間大約3min。將獲取的數(shù)據(jù)提取行為感知特征(XYZ先加速度均值、標(biāo)準(zhǔn)差、能量和譜熵，XY、YZ、XZ相關(guān)系數(shù)，基頻均值、能量、信息熵，轉(zhuǎn)動頻率均值、能量和信息熵)，并將獲取的行為特征針對這九種行為做均值(所有人的每種行為數(shù)據(jù)分別做均值)。分別記錄9種行為的數(shù)據(jù)，保存它們并將它們作為訓(xùn)練數(shù)據(jù)庫存儲。
iii識別。任意挑選一個人(可以不是24個人之列)，隨機進行睡眠、站立、坐著、走路、上樓、下樓、蹲著、跑步和摔倒這九種行為(順序可以隨機進行，可減少行為的個數(shù)，隨機地已進行上述行為)。采用KNN算法，分別計算與這九種行為的歐式距離，將距離最近的識別為該時刻這個人所進行的行為模式。同
時，用視頻記錄該過程并保存。
iv驗證。將獲取的視頻導(dǎo)入到Elan中，并進行人工表示實驗者的行為。將實驗獲取的行為與算法獲取的行為作對比，得出實驗結(jié)果的準(zhǔn)確性。
體征模塊和環(huán)境模塊：本系統(tǒng)主要選用心率傳感器、血氧傳感器和人體紅外傳感器作為體征模塊，同時選用溫度濕度和光傳感器作為環(huán)境模塊，即通過這些傳感器可獲取人的心率、血氧和體溫以及室外環(huán)境的溫度濕度和光線強度，從而綜合分析體征特征與人的某些社交行為的關(guān)系，以及環(huán)境變化對人的社交行為產(chǎn)生的影響。例如，根據(jù)心理學(xué)相關(guān)知識，當(dāng)人處于較緊張情況下，他的心率可能會加快；同時，周圍環(huán)境也可能對人的情緒產(chǎn)生影響。
(3)反饋性。該系統(tǒng)獲得的社交感知信號數(shù)據(jù)(語音、行為、體征和環(huán)境信號)可通過專家系統(tǒng)快速判斷穿戴者的身心健康狀況和社交行為表現(xiàn)并同時把獲取的判斷信息迅速醫(yī)生和穿戴者本人。醫(yī)生可以根據(jù)穿戴者的身心健康狀態(tài)給他提供一些改善身心健康狀態(tài)的建議；同時，穿戴者也可以根據(jù)獲得的結(jié)果改善自身的行為習(xí)慣等。此外，獲取的穿戴者信息數(shù)據(jù)也可以導(dǎo)入數(shù)據(jù)庫系統(tǒng)，以充實和完善專家系統(tǒng)。
(4)快速性。該系統(tǒng)獲得的社交感知信號數(shù)據(jù)可直接導(dǎo)入現(xiàn)有設(shè)計好的軟件中直接運行獲得結(jié)果，無需主觀地分析判斷，可快速獲知穿戴者的社交行為的影響。同時，采用可穿戴設(shè)備，可方便快速地獲取穿戴者的語音、行為、體征和環(huán)境等信息，無需通常所采用的繁瑣問卷或詢問的方式。
(5)激勵性。該系統(tǒng)在社交行為監(jiān)護和身心健康輔助治療方面，將采用積分獎勵制度，激勵穿戴者多進行社交活動和加強身體鍛煉，增加穿戴者的社交行為和身心健康狀態(tài)。例如，以一周為一個周期，當(dāng)穿戴者每天堅持運動(如跑步)，則每天可獲得2個積分，若喊他人一起運動，則可獲得4個積分，他人可獲也可獲得4個積分；當(dāng)穿戴者每天的交流次數(shù)大于10次，則每天可獲得2個積分；當(dāng)他的交流次數(shù)大于20次，則可獲得4個積分。當(dāng)周積分?jǐn)?shù)大于35個時，將給予穿戴者一定的物質(zhì)或精神獎勵(先了解穿戴者的意愿，再決定獎勵的具體內(nèi)容)，以激發(fā)穿戴者的社交次數(shù)和運動次數(shù)。
身心健康社交感知特征數(shù)據(jù)庫與智能反饋系統(tǒng)利用所研發(fā)設(shè)備，綜合采集年齡范圍(5至85歲)男女身心健康人群(身心健康評估可通過借助醫(yī)生的客觀評價評判)在平常生活狀態(tài)下的上述社交感知特征，建立健康狀態(tài)社交感知特征數(shù)據(jù)庫；同理，綜合采集年齡范圍(5至85歲)男女身心健康有某類問題的社交感知特征數(shù)據(jù)庫；以這兩類數(shù)據(jù)構(gòu)建專家反饋系統(tǒng)。具體為：利用研發(fā)的可穿戴設(shè)備采集穿戴者(5至85歲身心健康男女)的語音、行為、體征和環(huán)境信號，并通過語音信號處理和行為模式識別技術(shù)(相關(guān)技術(shù)內(nèi)容可在書[宋知用.Matlab在語音信號分析與合成中的應(yīng)用.北京：北京航空航天大學(xué)出版社，2013][Honest signal.Alex Pentland]中找到)提取穿戴者的語音感知特征、行為感知模式、心率、血氧、血氧以及環(huán)境的溫度、濕度等；將獲得的數(shù)據(jù)利用統(tǒng)計學(xué)技術(shù)(如：樣本的平均值、方差、中值等，相關(guān)技術(shù)內(nèi)容可在書[盛驟，謝式千，潘承毅.概率論與數(shù)理統(tǒng)計(第四版).北京：高等教育出版社，2008]中找到)建立相關(guān)模型并導(dǎo)入社交感知數(shù)據(jù)庫。
本發(fā)明的目的是這樣實現(xiàn)的：本發(fā)明基于語音、行為、體征和環(huán)境信號特征提取和融合的可穿戴社交感知系統(tǒng)，即通過可穿戴社交感知設(shè)備獲得穿戴者的語音、行為、體征和環(huán)境信號，并通過相關(guān)的算法獲取穿戴者的社交感知特征，如語音感知特征、行為感知特征、心率、血氧和體溫、環(huán)境的溫度、濕度和光線強度，再根據(jù)心理學(xué)的相關(guān)知識，綜合分析人的社交行為，從而客觀判斷員工工作效率及幸福感、人的精神情緒狀態(tài)和身心健康狀態(tài)。
本系統(tǒng)將從以下幾個方面具體闡述它的工作方式：
語音信號感知社交行為。語音模塊獲取的原始語音信號，可導(dǎo)入matlab中，通過語音特征提取、語音分割獲取穿戴者語音信號，再通過穿戴者語音信號獲取他的語音特征并分析這些語音特征與穿戴者的社交行為之間的關(guān)系，即獲取穿戴者社交行為的積極度、參與度、模仿度、著重度。
行為信號感知社交行為。三軸加速器模塊獲取的原始線速度和角速度信號可導(dǎo)入matlab中，通過模式識別方法識別出穿戴者的狀態(tài)(睡眠、站立、坐著、走路、下樓、上樓、蹲著、跑步和摔倒)，再通過這些狀態(tài)分析穿戴者的狀態(tài)與社交行為之間的聯(lián)系。如通過監(jiān)控人的睡眠狀態(tài)判斷人的心理壓力狀態(tài)、通過人的平時走路上樓下樓等狀態(tài)與正常狀態(tài)對比，判斷人的精神情緒狀態(tài)等。
環(huán)境和體征信號感知社交行為。與環(huán)境和體征相關(guān)的傳感器可分別獲取環(huán)境的溫濕度以及人的心率和體溫，通過這些環(huán)境和體征信號可用于分析它們與社交行為之間的關(guān)聯(lián)。例如，當(dāng)穿戴者處于緊張狀態(tài)時，心率會加快，體溫也會有所變化。外界環(huán)境的溫濕度也會影響穿戴者的情緒狀態(tài)。
最后，通過這些信號與社交行為的關(guān)系，綜合分析判斷員工工作效率及幸福感、人的精神情緒狀態(tài)和身心健康狀態(tài)，并將這些結(jié)果反饋給穿戴者以便他們做出相應(yīng)的調(diào)整和改善。當(dāng)客戶帶上可穿戴設(shè)備時，設(shè)備會通過各種傳感器采集數(shù)據(jù)，并將獲取的數(shù)據(jù)進行實時在線處理(可穿戴設(shè)備或者云端)，當(dāng)發(fā)現(xiàn)異常指標(biāo)時，此設(shè)備會則通過手機系統(tǒng)自動發(fā)出語音“感覺好不好”，當(dāng)你回答不好時，手機系統(tǒng)會再次確認，避免因為客戶的口誤而導(dǎo)致的錯誤。當(dāng)確實真的良好后，該設(shè)備則會返回初始狀態(tài)繼續(xù)監(jiān)測人的健康狀態(tài)指標(biāo)。當(dāng)被確認回答不好時，手機系統(tǒng)會詢問“是否需要給某人打電話”。當(dāng)穿戴者回答需要撥打電話的人名時，系統(tǒng)會自動搜索該人名并自動給他撥號。當(dāng)回答不是或者沉默至超時，手機系統(tǒng)則自動播出語音“我將給急救中心打電話”，并立刻撥打急救中心電話，對穿戴者進行救援。
上述本申請實施例中的技術(shù)方案，至少具有如下的技術(shù)效果或優(yōu)點：
實現(xiàn)了系統(tǒng)設(shè)計合理，社交行為數(shù)據(jù)采集準(zhǔn)確，成本較低，隱私性較好的技術(shù)效果。
盡管已描述了本實用新型的優(yōu)選實施例，但本領(lǐng)域內(nèi)的技術(shù)人員一旦得知了基本創(chuàng)造性概念，則可對這些實施例作出另外的變更和修改。所以，所附權(quán)利要求意欲解釋為包括優(yōu)選實施例以及落入本實用新型范圍的所有變更和修改。
顯然，本領(lǐng)域的技術(shù)人員可以對本實用新型進行各種改動和變型而不脫離本實用新型的精神和范圍。這樣，倘若本實用新型的這些修改和變型屬于本實用新型權(quán)利要求及其等同技術(shù)的范圍之內(nèi)，則本實用新型也意圖包含這些改動和變型在內(nèi)。