本申請涉及機器人技術(shù)領(lǐng)域,尤其涉及一種看護機器人的數(shù)據(jù)處理方法及裝置。
背景技術(shù):
隨著數(shù)字化和人工智能技術(shù)的發(fā)展,傳統(tǒng)的兒童看護和培訓的工作已經(jīng)部分、或者全部被電子智能設(shè)備所替代,其中,一種較好的電子智能設(shè)備的產(chǎn)品形態(tài)是兒童看護機器人。傳統(tǒng)的兒童看護和培訓的主要內(nèi)容實際上就是看護者和被看護人之間的有效互動。一方面,看護人根據(jù)被看護人的情感狀態(tài)選擇合適的交流方式和內(nèi)容。例如,一位富有教學經(jīng)驗的人類老師教一個學生稍顯復雜的數(shù)學問題時,可以根據(jù)學生的面部表情,說話的音調(diào),身體姿態(tài)和運動特征等判斷出學生的情感狀態(tài),選擇適合該學生的高效率的教學方式。當老師觀察到學生沮喪的表情時,可以降低語速,采用學生更熟悉的內(nèi)容,或者采取不同的互動模式,以減輕學生的疲勞感和挫折感,提高教學和互動效率。另一方面,經(jīng)過幼教經(jīng)驗證明,大部分的兒童更愿意和稍微年長的小伙伴一起互動和交流,以便保持足夠的學習興趣和熱情。
現(xiàn)有技術(shù)中的兒童看護機器人計算出交互對象的情感狀態(tài)后,適配出合適的交互方式和內(nèi)容,具體的,兒童看護機器人與人類對象交互時,通過一個或多個傳感器采集到的人類對象的生理數(shù)據(jù),并監(jiān)測在特定環(huán)境中用戶的情緒反應,根據(jù)用戶的情緒反應識別用戶的情感狀態(tài),根據(jù)用戶的情感狀態(tài)調(diào)整機器人的交互技能,通過語言和非語言第二交互手段來進行響應,來實現(xiàn)交流、表演、培訓、通知和娛樂等目的。
綜上,實際情況中,兒童愿意和稍微年長的小伙伴一起互動和交流,而現(xiàn)有技術(shù)中,兒童看護機器人只能通過計算出的交互對象的情感狀態(tài)適配出合適的交互方式和內(nèi)容,不能模擬出與兒童交互時的知識和交流技更優(yōu)秀的交互對象,不能扮演一個年長的“哥哥”或者“姐姐”的角色,不能讓兒童保持足夠的學習興趣和熱情。
技術(shù)實現(xiàn)要素:
本申請?zhí)峁┮环N看護機器人的數(shù)據(jù)處理方法及裝置,用以解決現(xiàn)有技術(shù)中看護機器人只能通過計算交互對象的情感狀態(tài),在設(shè)定的交互方式中進行選擇,不能為交互對象提供更合適的交互方式的問題。
第一方面,本申請?zhí)峁┝艘环N看護機器人的數(shù)據(jù)處理方法,所述方法包括:
模型引擎接收到目標對象的數(shù)據(jù),生成目標對象的成長模型能力參數(shù)矩陣,其中,所述數(shù)據(jù)中包括所述目標對象的能力參數(shù),所述能力參數(shù)包括實測能力參數(shù)以及所述目標對象對應的統(tǒng)計能力參數(shù),生成的所述目標對象的成長模型能力參數(shù)矩陣中包括所述能力參數(shù),以及根據(jù)所述能力參數(shù)計算出的能力參數(shù)調(diào)整值和綜合能力參數(shù)其中,所述實測能力參數(shù)是通過傳感器獲取的目標對象的自然社交場景下的數(shù)據(jù),所述統(tǒng)計能力參數(shù)是第三方網(wǎng)絡(luò)云服務機構(gòu)提供的;根據(jù)調(diào)整公式系數(shù)或者根據(jù)標準的成長模型能力參數(shù)矩陣對所述成長模型能力參數(shù)矩陣中的能力參數(shù)調(diào)整值進行調(diào)整,確定出調(diào)整后的所述能力參數(shù)調(diào)整值,其中,所述公式為根據(jù)所述能力參數(shù)計算出的綜合能力參數(shù)和能力參數(shù)調(diào)整值所使用的;所述模型引擎判斷調(diào)整后的所述能力參數(shù)調(diào)整值是否超過預設(shè)閾值;若所述調(diào)整后的能力參數(shù)調(diào)整值在所述預設(shè)閾值范圍內(nèi),所述模型引擎將調(diào)整后的所述能力參數(shù)調(diào)整值發(fā)送給機器學習引擎,其中,所述機器學習引擎根據(jù)所述能力參數(shù)調(diào)整值為人工智能模塊提供與所述目標對象交互時所需要的能力參數(shù)。
本發(fā)明實施例中,將傳感器采集到目標對象在自然社交場景下的實測能力參數(shù)以及第三方網(wǎng)絡(luò)云服務機構(gòu)提供的統(tǒng)計能力參數(shù),生成目標對象的成長模型能力參數(shù)矩陣,根據(jù)調(diào)整公式系數(shù)或者標準的成長模型能力參數(shù)矩陣中的參數(shù)對對所述成長模型能力參數(shù)矩陣中的能力參數(shù)調(diào)整值進行調(diào)整,調(diào)整后根據(jù)能力參數(shù)調(diào)整值確定出的綜合能力參數(shù)值不低于目標對象的成長模型能力參數(shù)矩陣中的根據(jù)實測能力參數(shù)確定出的綜合能力參數(shù)值,將調(diào)整后的能力參數(shù)調(diào)整值發(fā)送給機器學習引擎為人工智能模塊提供與所述目標對象交互時所需要的能力參數(shù),即看護機器人使用修改后的能力參數(shù)調(diào)整值所表現(xiàn)出來的能力稍高于目標對象的能力,使目標對象保持足夠的學習興趣和與看護機器人交互的熱情。
在一種可能的設(shè)計中,所述模型引擎接收到目標對象的能力參數(shù),將接收到的所述能力參數(shù)進行計算,確定出能力參數(shù)調(diào)整值和綜合能力參數(shù),將所述能力參數(shù)、所述能力參數(shù)調(diào)整值以及所述綜合能力參數(shù)添加到設(shè)定的能力參數(shù)矩陣模板中,生成目標對象的成長模型能力參數(shù)矩陣。
在一種可能的設(shè)計中,所述模型引擎對所述成長模型能力參數(shù)矩陣中的能力參數(shù)調(diào)整值進行調(diào)整,確定出調(diào)整后的所述能力參數(shù)調(diào)整值之后,該方法還包括:
所述模型引擎根據(jù)接收到的人為調(diào)整能力參數(shù)的指令,對所述成長模型能力參數(shù)矩陣中的能力參數(shù)進行調(diào)整,根據(jù)調(diào)整后的能力參數(shù),確定出調(diào)整后的所述能力參數(shù)調(diào)整值。
本發(fā)明實施例中,通過接收用戶發(fā)出的的人為調(diào)整能力參數(shù)的指令,人為對成長模型能力參數(shù)矩陣中的能力參數(shù),可以側(cè)重培養(yǎng)目標對象的任一方面的能力,為目標對象提供更適合的交互方式。
在一種可能的設(shè)計中,所述調(diào)整后的能力參數(shù)調(diào)整值的加權(quán)平均值大于或等于調(diào)整前的所述實測能力參數(shù)的加權(quán)平均值。
本發(fā)明實施例中,陪護機器人采用調(diào)整后的能力參數(shù)調(diào)整值,可以使其能力高于或等同于目標對象,達到陪護的目的。
第二方面,本申請?zhí)峁┝艘环N模型引擎,包括:
模型生成模塊,用于接收到目標對象的數(shù)據(jù),生成目標對象的成長模型能力參數(shù)矩陣,其中,所述數(shù)據(jù)中包括所述目標對象的能力參數(shù),所述能力參數(shù)包括實測能力參數(shù)以及所述目標對象對應的統(tǒng)計能力參數(shù),生成的所述目標對象的成長模型能力參數(shù)矩陣中包括所述能力參數(shù),以及根據(jù)所述能力參數(shù)計算出的能力參數(shù)調(diào)整值和綜合能力參數(shù);模型修正模塊,用于根據(jù)調(diào)整公式系數(shù)或者根據(jù)標準的成長模型能力參數(shù)矩陣對所述成長模型能力參數(shù)矩陣中的能力參數(shù)調(diào)整值進行調(diào)整,確定出調(diào)整后的所述能力參數(shù)調(diào)整值,其中,所述公式為根據(jù)所述能力參數(shù)計算出的綜合能力參數(shù)和能力參數(shù)調(diào)整值所使用的;所述模型修正模塊還用于,判斷調(diào)整后的所述能力參數(shù)調(diào)整值是否超過預設(shè)閾值;若所述調(diào)整后的能力參數(shù)調(diào)整值在所述預設(shè)閾值范圍內(nèi),所述模型引擎將調(diào)整后的所述能力參數(shù)調(diào)整值發(fā)送給機器學習引擎,其中,所述機器學習引擎根據(jù)所述能力參數(shù)調(diào)整值為人工智能模塊提供與所述目標對象交互時所需要的能力參數(shù)。
在一種可能的設(shè)計中,接收到目標對象的能力參數(shù),將接收到的所述能力參數(shù)進行計算,確定出能力參數(shù)調(diào)整值和綜合能力參數(shù),將所述能力參數(shù)、所述能力參數(shù)調(diào)整值以及所述綜合能力參數(shù)添加到設(shè)定的能力參數(shù)矩陣模板中,生成目標對象的成長模型能力參數(shù)矩陣。
在一種可能的設(shè)計中,所述模型修正模塊還用于:
根據(jù)接收到的人為調(diào)整能力參數(shù)的指令,對所述成長模型能力參數(shù)矩陣中的能力參數(shù)進行調(diào)整,根據(jù)調(diào)整后的能力參數(shù),確定出調(diào)整后的所述能力參數(shù)調(diào)整值。
在一種可能的設(shè)計中,所述調(diào)整后的能力參數(shù)調(diào)整值的加權(quán)平均值大于或等于調(diào)整前的所述實測能力參數(shù)的加權(quán)平均值。
第三方面,本申請?zhí)峁┝艘环N模型引擎,該模型引擎包括:
存儲器,用于存儲程序指令;
處理器,用于調(diào)用所述存儲器中存儲的程序指令,通過通信接口接收到目標對象的數(shù)據(jù),生成目標對象的成長模型能力參數(shù)矩陣,其中,所述數(shù)據(jù)中包括所述目標對象的能力參數(shù),所述能力參數(shù)包括實測能力參數(shù)以及所述目標對象對應的統(tǒng)計能力參數(shù),生成的所述目標對象的成長模型能力參數(shù)矩陣中包括所述能力參數(shù),以及根據(jù)所述能力參數(shù)計算出的能力參數(shù)調(diào)整值和綜合能力參數(shù);所述處理器根據(jù)調(diào)整公式系數(shù)或者根據(jù)標準的成長模型能力參數(shù)矩陣對所述成長模型能力參數(shù)矩陣中的能力參數(shù)調(diào)整值進行調(diào)整,確定出調(diào)整后的所述能力參數(shù)調(diào)整值,其中,所述公式為根據(jù)所述能力參數(shù)計算出的綜合能力參數(shù)和能力參數(shù)調(diào)整值所使用的;所述處理器判斷調(diào)整后的所述能力參數(shù)調(diào)整值是否超過預設(shè)閾值;若所述調(diào)整后的能力參數(shù)調(diào)整值在所述預設(shè)閾值范圍內(nèi),所述處理器將調(diào)整后的所述能力參數(shù)調(diào)整值發(fā)送給機器學習引擎,其中,所述機器學習引擎根據(jù)所述能力參數(shù)調(diào)整值為人工智能模塊提供與所述目標對象交互時所需要的能力參數(shù)。
在一種可能的設(shè)計中,所述處理器具體用于:
通過通信接口接收到目標對象的能力參數(shù),將接收到的所述能力參數(shù)進行計算,確定出能力參數(shù)調(diào)整值和綜合能力參數(shù),將所述能力參數(shù)、所述能力參數(shù)調(diào)整值以及所述綜合能力參數(shù)添加到設(shè)定的能力參數(shù)矩陣模板中,生成目標對象的成長模型能力參數(shù)矩陣。
在一種可能的設(shè)計中,所述處理器還用于:
根據(jù)接收到的人為調(diào)整能力參數(shù)的指令,對所述成長模型能力參數(shù)矩陣中的能力參數(shù)進行調(diào)整,根據(jù)調(diào)整后的能力參數(shù),確定出調(diào)整后的所述能力參數(shù)調(diào)整值。
第四方面,本申請還提供了一種計算機可讀存儲介質(zhì),用于存儲為執(zhí)行上述第一方面、第一方面的任意一種設(shè)計的功能所用的計算機軟件指令,其包含用于執(zhí)行上述第一方面、第一方面的任意一種設(shè)計的方法所設(shè)計的程序。
附圖說明
圖1為本申請?zhí)峁┑囊环N兒童看護機器人及使用環(huán)境的系統(tǒng)結(jié)構(gòu)圖;
圖2為本申請?zhí)峁┑囊环N兒童看護機器人產(chǎn)品形態(tài)示意圖;
圖3為本申請?zhí)峁┑囊环N兒童看護機器人的處理及運算模塊硬件結(jié)構(gòu)示意圖;
圖4為本申請?zhí)峁┑囊环N看護機器人的數(shù)據(jù)處理方法流程圖;
圖5為本申請?zhí)峁┑囊环N能力評估結(jié)果示意圖;
圖6為本申請?zhí)峁┑囊环N成長模型能力參數(shù)矩陣;
圖7為本申請?zhí)峁┑囊环N雷達圖;
圖8為本申請?zhí)峁┑囊环N看護機器人的軟件模塊基本架構(gòu)示意圖;
圖9為本申請?zhí)峁┑囊环N看護機器人的語言模塊結(jié)構(gòu)示意圖;
圖10為本申請?zhí)峁┑囊环N看護機器人的視覺模塊結(jié)構(gòu)示意圖;
圖11為本申請?zhí)峁┑囊环N看護機器人的表情和情緒模塊結(jié)構(gòu)示意圖
圖12為本申請?zhí)峁┑囊环N模型引擎示意圖;
圖13為本申請?zhí)峁┑牧硪环N模型引擎示意圖;
圖14為本申請?zhí)峁┑囊环N模型引擎的硬件結(jié)構(gòu)示意圖。
具體實施方式
為了使本申請的目的、技術(shù)方案和優(yōu)點更加清楚,下面將結(jié)合附圖對本申請作進一步地詳細描述。
本申請?zhí)峁┮环N看護機器人的數(shù)據(jù)處理方法及模型引擎,用以解決現(xiàn)有技術(shù)中存在的看護機器人只能通過計算交互對象的情感狀態(tài),在設(shè)定的交互方式中進行選擇,不能為交互對象提供更合適的交互方式的問題。其中,方法和裝置是基于同一發(fā)明構(gòu)思的,由于方法及裝置解決問題的原理相似,因此裝置與方法的實施可以相互參見,重復之處不再贅述。
本申請可以應用于兒童看護機器人及使用環(huán)境的系統(tǒng),該系統(tǒng)架構(gòu)如圖1所示,兒童看護機器人的使用環(huán)境適用于小區(qū)、街道、行政區(qū)、省、國家、跨國以及全球等任何場景,該包括以下單元:家庭或者兒童看護機構(gòu)101,所述家庭或者兒童看護機構(gòu)101包括兒童看護機器人102及至少一名被看護的兒童103,室內(nèi)的至少一個無線接入網(wǎng)絡(luò)104;被看護對象的法定監(jiān)護人106以及其隨身攜帶的智能終端105;室外無線接入網(wǎng)絡(luò)107給智能終端105提供遠程的無線網(wǎng)絡(luò)接入服務;給兒童看護業(yè)務提供專業(yè)數(shù)據(jù)服務的兒童看護服務機構(gòu)108,包括兒童成長云服務器109、兒童成長模型庫110和兒童看護知識庫111;還包括社會公共服務機構(gòu)112,給兒童看護服務提供政府公共數(shù)據(jù)支持,包括但不限于天氣預報、醫(yī)療服務機構(gòu)名單、疫情信息、緊急通知等,包括社會公共服務云服務器113、社會公共服務云數(shù)據(jù)庫114;至少一個第三方網(wǎng)絡(luò)云服務機構(gòu)115,給兒童看護業(yè)務提供細分的專業(yè)化的網(wǎng)絡(luò)云數(shù)據(jù)服務,比如即時通信、兒童看護業(yè)務社交應用、網(wǎng)上音視頻服務、網(wǎng)絡(luò)購物、付款和物流跟蹤、社區(qū)和醫(yī)療機構(gòu)評價和投票等,包括第三方網(wǎng)絡(luò)服務的運服務器116、第三方網(wǎng)絡(luò)服務云數(shù)據(jù)庫117;該使用環(huán)境的系統(tǒng)架構(gòu)還包括網(wǎng)絡(luò)運營商提供網(wǎng)絡(luò)服務的互聯(lián)網(wǎng)118。
另外,需要理解的是,在本申請的描述中,“第一”、“第二”等詞匯,僅用于區(qū)分描述的目的,而不能理解為指示或暗示相對重要性,也不能理解為指示或暗示順序。
本發(fā)明實施例中,將傳感器采集到目標對象在自然社交場景下的實測能力參數(shù)以及第三方網(wǎng)絡(luò)云服務機構(gòu)提供的統(tǒng)計能力參數(shù),生成目標對象的成長模型能力參數(shù)矩陣,根據(jù)調(diào)整公式系數(shù)或者標準的成長模型能力參數(shù)矩陣中的參數(shù)對對所述成長模型能力參數(shù)矩陣中的能力參數(shù)調(diào)整值進行調(diào)整,調(diào)整后根據(jù)能力參數(shù)調(diào)整值確定出的綜合能力參數(shù)值不低于目標對象的成長模型能力參數(shù)矩陣中的根據(jù)實測能力參數(shù)確定出的綜合能力參數(shù)值,將調(diào)整后的能力參數(shù)調(diào)整值發(fā)送給機器學習引擎為人工智能模塊提供與所述目標對象交互時所需要的能力參數(shù),即看護機器人使用修改后的能力參數(shù)調(diào)整值所表現(xiàn)出來的能力稍高于目標對象的能力,使目標對象保持足夠的學習興趣和與看護機器人交互的熱情。
本發(fā)明實施例中,圖1中兒童看護機器人102的產(chǎn)品形態(tài)可以如圖2所示,包括:觸摸顯示屏201,用于向被看護對象展示圖形、或圖像信息,并接收用戶的觸摸控制信號;麥克風陣列及傳感器組202,用于檢測被看護對象的聲音、表情、以及行為等特征;開始/暫停/緊急按鈕203,提供被看護對象簡單的操作指令并響應緊急情況下用戶的中斷指令;處理及運算模塊204根據(jù)麥克風陣列及傳感器組202輸入的用戶狀態(tài)信號、開始/暫停/緊急按鈕203的用戶操作指令、來自網(wǎng)絡(luò)的被看護對象的監(jiān)護人請求信息、來自網(wǎng)絡(luò)的兒童看護服務機構(gòu)的服務指令、第三方網(wǎng)絡(luò)云服務數(shù)據(jù)等,計算并輸出兒童看護機器人的控制指令,兒童看護機器人根據(jù)所述控制指令輸出聲音、圖形、圖像、肢體動作以及移動方向等,兒童看護機器人還包括履帶/輪式移動機械裝置205、機械手臂206,揚聲器模塊207用于向被看護對象提供聲音輸出信號。
本發(fā)明實施例中的兒童看護機器人通過觸摸顯示屏201、履帶/輪式移動機械裝置205、機械手臂206以及揚聲器模塊207與被看護對象及其被看護對象的監(jiān)護人構(gòu)建社交、情感和人際聯(lián)系和互動,兒童看護機器人對其被看護對象可以執(zhí)行多種功能,促進并參與用戶之間的有意義的社交活動,所述社交活動包括但不限于對被看護對象提供有效的陪伴和交流、技能培訓、消息傳遞和提醒,及其他更復雜的服務,還包括攝影和錄音、歌唱伴奏、游戲參與共享家庭故事和知識等,所述兒童看護機器人的功能還包括在觸摸顯示屏201中提供一個人性化界面,例如在觸摸顯示屏上顯示圖形、卡通、寵物和父母、長輩的形象;結(jié)合當時的場景,通過履帶/輪式移動機械裝置205進行移動、通過機械手臂206完成肢體動作,以及通過展示彩色的光等,提升交流的效率,改善與被看護對象的伙伴關(guān)系。
本發(fā)明實施例中的兒童看護機器人的核心部件為處理及運算模塊204,所述處理及運算模塊204硬件結(jié)構(gòu)如圖3所示,包括主板310和其他周邊的功能部件。傳感器組301、按鈕302分別與主板310的i/o模塊連接,麥克風陣列303與主板310的音視頻編解碼模塊連接,主板310的觸摸顯示控制器接收觸摸顯示屏304的觸控輸入并提供顯示驅(qū)動信號,電機伺服控制器則根據(jù)程序指令驅(qū)動電機及編碼器307,電機及編碼器307驅(qū)動履帶/輪式移動機械裝置和機械手臂,形成看護機器人的移動和肢體語言,聲音則由音頻編解碼模塊輸出經(jīng)功率放大器推動揚聲器308得到。主板310上還包括處理器及存儲器,存儲器存儲所述看護機器人的算法和執(zhí)行程序及其配置文件,還存儲看護機器人執(zhí)行看護工作時所需的音視頻和圖像文件等,還存儲程序運行時的一些臨時文件。主板310的通信模塊提供看護機器人與外部網(wǎng)絡(luò)的通信功能,優(yōu)選的,近程通信時使用藍牙或wifi模塊。主板310還包括電源管理模塊,通過連接的電源系統(tǒng)305實現(xiàn)設(shè)備的電池充放電和節(jié)能管理。無線接收和發(fā)射天線裝置306與主板310相連接。
下面結(jié)合附圖對本申請?zhí)峁┑目醋o機器人的數(shù)據(jù)處理方法進行具體說明。
參見圖4,為本申請?zhí)峁┑脑摲椒òǎ?/p>
s401,模型引擎接收到目標對象的數(shù)據(jù),生成目標對象的成長模型能力參數(shù)矩陣,其中,所述數(shù)據(jù)中包括所述目標對象的能力參數(shù),所述能力參數(shù)包括實測能力參數(shù)以及所述目標對象對應的統(tǒng)計能力參數(shù),生成的所述目標對象的成長模型能力參數(shù)矩陣中包括所述能力參數(shù),以及根據(jù)所述能力參數(shù)計算出的能力參數(shù)調(diào)整值和綜合能力參數(shù)。
具體的,所述實測能力參數(shù)可以是通過傳感器獲取的目標對象的自然社交場景下獲取的,也可以是所述目標對象預先進行能力測評確定的,所述統(tǒng)計能力參數(shù)是第三方網(wǎng)絡(luò)云服務機構(gòu)提供的,是根據(jù)所述目標對象相應的年齡段的對象所統(tǒng)計出的。
可選的,所述成長模型能力參數(shù)矩陣也可以是從人工智能模塊獲取的。
舉例說明,所述目標對象可以為被看護對象,所述數(shù)據(jù)可以為被看護對象的聲音,表情,動作等,所述第三方專業(yè)服務機構(gòu)對被看護對象的能力進行評估,包括表達能力、思維能力、觀察能力、注意能力、記憶能力、想像能力、以及運動能力,所有的能力評估的參數(shù)以能力年齡的方式來顯示。例如,第三方網(wǎng)絡(luò)云服務機構(gòu)可以采用希-內(nèi)學習能力測試法(hiskey-nebraskatestoflearningaptitude,h-ntla)標準,或者國家康復中心制定的測試模型,開展兒童學習能力評估,輸出學習能力評估結(jié)果,學習能力評估可以定期開展例如,一個季度或者半年,測試對象主要是3~8歲兒童,通常采用穿珠,聯(lián)想,擺方木,記顏色,辯認圖,短記憶力,折紙,聯(lián)想等多個科目測試方法,對兒童的綜合學習能力進行量化,輸出和分析結(jié)果及建議報告,并提供長期的可持續(xù)的能力訓練和測試服務。一個具體的報告樣例如圖5所示,橫軸為科目,縱軸為年齡,被測試者的年齡:6.5歲,包括多個測試科目501,科目測試得分502,被測試者年齡504、根據(jù)科目測試結(jié)果和該年齡下平均測試得分擬合得到的智力年齡503。該測試者的優(yōu)勢科目為:穿珠、記顏色、辨認圖、聯(lián)想、折紙、擺方木、完成圖;劣勢科目為:短記憶,該測試者的智力年齡相當于7.4歲,根據(jù)圖5中得出的分析結(jié)果和建議為,該測試者的能力高于平均統(tǒng)計值,注意能力均衡發(fā)展,保持語言能力優(yōu)勢。另一個測試者生成的成長模型能力參數(shù)矩陣如圖6所示,被看護對象用戶名字是dolores,一位5歲的女孩,能力年齡是將該能力實際測試分值,換算為該能力項目統(tǒng)計典型平均值對應的年齡值,例如,dolores的運動能力610的測試分數(shù)為123.4,相當于6歲的兒童的平均運動能力得分值,因此該項實測能力602為6.0,成長模型能力參數(shù)矩陣601中的每個能力測試項還包括:該年齡下社會統(tǒng)計最大值604和最小值605,統(tǒng)計能力603,調(diào)整值606,調(diào)整幅度607,備注608,其中,99.6%概率以上的兒童的單項能力測試數(shù)據(jù)都會落在最大值和最小值之間,成長模型能力參數(shù)矩陣601還可以包括注意能力609,運動能力610,備注內(nèi)容611、612、以及綜合能力613,該綜合能力613根據(jù)實測能力602的各項分數(shù)的求算術(shù)平均值得到,也可以根據(jù)實測能力602的各項分數(shù)加權(quán)求和得到,權(quán)重系數(shù)可以根據(jù)人工智能模塊學習和訓練所需的各能力參數(shù)的權(quán)重分配得到,也可以是用戶調(diào)整和分配人工智能模塊學習和訓練所需的各能力參數(shù)的權(quán)重比例。綜合能力值的計算公式1如下:
t=w1×c1+w2×c2+w3×c3+w4×c4+…wn×cn(公式1)
其中,t綜合能力值,wn第n項能力參數(shù)權(quán)重系數(shù),cn第n項能力測試值。
s402,所述模型引擎根據(jù)調(diào)整公式系數(shù)或者根據(jù)標準的成長模型能力參數(shù)矩陣對所述成長模型能力參數(shù)矩陣中的能力參數(shù)調(diào)整值進行調(diào)整,確定出調(diào)整后的所述能力參數(shù)調(diào)整值,其中,所述公式為根據(jù)所述能力參數(shù)計算出的綜合能力參數(shù)和能力參數(shù)調(diào)整值所使用的。
舉例說明,被看護對象的合法監(jiān)護人在社交活動中為dolores找到了一個學習的榜樣,這個榜樣是一個年齡與dolores稍長的女孩susan,她在某些能力表現(xiàn)上明顯優(yōu)于dolores。susan的合法監(jiān)護人同意將她的成長能力參數(shù)矩陣分享給dolores的合法監(jiān)護人,dolores的合法監(jiān)護人通過手機app或短距通信等方式獲得了susan的成長能力參數(shù)矩陣,該成長能力參數(shù)矩陣數(shù)據(jù)可能需要轉(zhuǎn)換格式,以確保該成長能力參數(shù)矩陣與圖6相同,可選的,dolores的的合法監(jiān)護人也可以對獲取的susan的能成長能力參數(shù)矩陣進行局部調(diào)整,以選擇更合適dolores的成長能力參數(shù)矩陣。
s403,所述模型引擎判斷調(diào)整后的所述能力參數(shù)調(diào)整值是否超過預設(shè)閾值。
可選的,若所述調(diào)整后的能力參數(shù)超過預設(shè)閾值,則重新執(zhí)行步驟s402。
s404,若所述調(diào)整后的能力參數(shù)調(diào)整值在所述預設(shè)閾值范圍內(nèi),所述模型引擎將調(diào)整后的所述能力參數(shù)調(diào)整值發(fā)送給機器學習引擎,其中,所述機器學習引擎根據(jù)所述能力參數(shù)調(diào)整值為人工智能模塊提供與所述目標對象交互時所需要的能力參數(shù)。
本發(fā)明實施例中,調(diào)整后的目標對象的成長模型能力參數(shù)矩陣中的能力參數(shù)調(diào)整值,用于提供給看護機器人的機器學習引擎,通過神經(jīng)網(wǎng)絡(luò),機器學習模型等的作用,為看護機器人的人工智能模塊提供關(guān)于如何有效和交互對象互動的特征參數(shù),并發(fā)送到?jīng)Q策和執(zhí)行器,并進一步通過執(zhí)行裝置實施看護機器人的各種互動內(nèi)容,包括機械位置移動、模擬顯示表情、燈光效果、音樂播放、文字、圖案或者用戶能適應的語速、語音、語調(diào)和交談內(nèi)容,還包括為被看護對象提供語音交流、培訓、提醒、攝影,建立/維護/分享家庭故事和知識、游戲、音樂協(xié)商、甚至健身鍛煉等內(nèi)容,并提供建立親密的朋友關(guān)系,通過豐富的互動和應用與兒童用戶建立類似人類的伙伴的親密關(guān)系。可選的,機器學習引擎也可以部分在云端實現(xiàn),比如由第三方網(wǎng)絡(luò)云服務機構(gòu)提供,通過各種基于云特性的訓練系統(tǒng)持續(xù)學習和改進算法實現(xiàn)成長模型能力參數(shù)矩陣的及時更新,而另一部分在本地進行,例如人工智能模塊,以確保看護機器人能在脫離網(wǎng)絡(luò)的時候能可靠運行,看護機器人也可以根據(jù)是否網(wǎng)絡(luò)在線的情況,選擇合適的機器學習模式。舉例說明,模型引擎根據(jù)被測對象的實測能力值、統(tǒng)計能力值、最大值和最小值,計算出一個能力調(diào)整值,該能力調(diào)整值將替代實測能力值,參與人工智能模塊的下一個周期的學習和訓練過程中,確保在下一個周期的的機器學習和訓練中,看護機器人能以略高于當前被陪護的兒童的綜合能力,與被看護對象進行交互。具體的,能力調(diào)整算法的一種計算方式如下:
cadj=k×c
∑cmin≥∑cadj≥∑cmax
其中:cadj為能力調(diào)整值;k為能力成長系數(shù),范圍在1.00~1.50之間;c為單項測試實測能力值;∑cadj綜合能力值;∑cmin綜合能力值社會統(tǒng)計值下限;∑cmax綜合能力值社會統(tǒng)計值上限。
步驟s104之后,所述模型引擎根據(jù)接收到的人為調(diào)整能力參數(shù)的指令,對所述成長模型能力參數(shù)矩陣中的能力參數(shù)進行調(diào)整,根據(jù)調(diào)整后的能力參數(shù),確定出調(diào)整后的所述能力參數(shù)調(diào)整值,可選的,若所述調(diào)整后的能力參數(shù)超過預設(shè)閾值,則重新執(zhí)行上述步驟。
舉例說明,被看護對象的合法監(jiān)護人可以通過移動智能終端對被看護對象的成長模型能力參數(shù)矩陣進行人為調(diào)整,在移動智能終端的應用程序的用戶界面上出現(xiàn)如圖7所示的示意圖,將表達能力、思維能力、觀察能力、注意能力、記憶能力、想像能力以及運動能力用雷達圖展示給用戶。用戶通過滑動手勢704將調(diào)整值能力參數(shù)702進行調(diào)整,調(diào)整后的調(diào)整值能力參數(shù)不會超過統(tǒng)計最大值703和統(tǒng)計最小值705的范圍。在進行調(diào)整值能力參數(shù)調(diào)整時,可以適當降低偏高的能力項的能力值,以保持各項能力均衡發(fā)展,也可以保證調(diào)整后的被看護對象的綜合能力不低于當前的實測綜合能力701。可選的,用戶也可以對能力參數(shù)的邊界閾值進行自定義,而不受統(tǒng)計值的影響。
本發(fā)明實施例中,一種看護機器人的軟件模塊基本架構(gòu)可以如圖8所示,包括:傳感器模塊801,所述傳感器模塊801具體包括用于人臉及表情識別的攝像頭陣列802,位置及動作識別的加速度傳感器803、用于室內(nèi)/室外定位的位置傳感器804、開始/暫停/緊急按鈕805、用于用戶和環(huán)境聲音接收的麥克風陣列806、接收用戶觸控指令的觸摸顯示屏807;人工智能模塊821,具體包括語言模塊822、視覺模塊823、表情/情緒模塊824和內(nèi)容聚合模塊825。人工智能模塊821根據(jù)來自經(jīng)過信號處理811處理過的各類傳感器獲取的豐富的環(huán)境感知信號,以及來自模型引擎881的提供的機器學習模型參數(shù)即成長模型能力參數(shù)矩陣,輸出經(jīng)過機器學習獲得的看護機器人的控制信號,由決策/執(zhí)行器841控制執(zhí)行裝置861實施看護機器人的各種互動內(nèi)容,包括但不限于通過機械移動裝置862實現(xiàn)的機械位置移動、通過圖形圖像863實現(xiàn)的模擬顯示表情,展示文字、圖案,通過燈光864實現(xiàn)的燈光效果,通過音樂866實現(xiàn)的音樂播放、或者通過語音865實現(xiàn)的使被看護對象能適應的語速、語音、語調(diào)和交談內(nèi)容,通過豐富的互動和應用與被看護對象建立類似人類伙伴的親密關(guān)系,其中,模型引擎881包括用戶成長模型模塊882以及模型修正模塊883。人工智能模塊821另一部分數(shù)據(jù)來源是來自本地存儲器834和云端的存儲器831的數(shù)據(jù),具體的,所述另一部分數(shù)據(jù)的其中一部分是人工智能模塊821的已獲得的機器學習成果,另一部分可以是來自第三方網(wǎng)絡(luò)云服務機構(gòu)830提供被看護對象的能力測試數(shù)據(jù),或者來自移動智能終端891的傳送的其他數(shù)據(jù),其中,云端的存儲器831的數(shù)據(jù)通過通信模塊890發(fā)送到本地存儲器834,如關(guān)于成長模型能力參數(shù)矩陣的偏好設(shè)置871,所述第三方網(wǎng)絡(luò)云服務機構(gòu)830還包括云計算832。
本發(fā)明實施例中,看護機器人的語言模塊是看護機器人的“耳朵和嘴巴”,具體模塊結(jié)構(gòu)如圖9中的900所示,包括:語音識別,聲源定位、語義糾錯、語義分析、內(nèi)容管理、語音合成、說話人識別、語音喚醒、情緒識別和語音模型等子功能模塊。語言模塊的輸入信號是由麥克風陣列采集的周圍環(huán)境的聲音信號,再經(jīng)過語音信號處理模塊處理后的信號,其中,在大多數(shù)的情況下,麥克風陣列必須要做到在嘈雜環(huán)境中準確識別出被陪護對象、其他相關(guān)人員及環(huán)境中其他聲源的的位置或者方位,區(qū)別出是環(huán)境的背景噪聲還是人們說話的聲音,并準確地識別出說話的內(nèi)容,麥克風陣列可以是多個微電子機械系統(tǒng)(micro-electro-mechanicalsystem,mems)麥克風的陣列,安裝在兒童陪護機器人某些部件的表面,也可以是單個的全向麥克風或者單向麥克風的組合,安裝的位置可以是比如頭部、頸部、背部甚至機械手臂和履帶/輪式移動機械裝置的表面。一種可選的實現(xiàn)方式中,語言模塊采用自然語言處理算法,將語音信號轉(zhuǎn)換成文本,并且根據(jù)合適的語言規(guī)則進行語義糾錯和語義分析處理,進一步轉(zhuǎn)換成可以處理的文字記錄,該文字記錄再進一步解析以理解交互對象的意圖,自然語言處理算法中的文字記錄格式可以采用例如擴充巴科斯范式(backus-naurform,bnf)標記、java語言語法格式(javaspeechgrammarformat,jsgf)或話音識別語法格式(speechrecognitiongrammarformat,srgf)等,當收集到很多交互對象的用戶話音數(shù)據(jù)后,可以通過機器學習引擎910引入統(tǒng)計算法,進一步提高語音識別的準確度,并刷新交互對象的語音模型。語言模塊900中具備的說話人識別模塊,可以對交互對象的說話人身份進行識別,區(qū)分出是被陪護對象還是其監(jiān)護人,或者是提供輔助的教師甚至是保姆;內(nèi)容管理模塊根據(jù)說話人身份、第三方網(wǎng)絡(luò)云服務機構(gòu)的云存儲和云計算提供的用戶數(shù)據(jù)和交互內(nèi)容包,輸出語音交互的內(nèi)容信息,由決策&執(zhí)行器發(fā)出指令,在看護機器人的用戶交互界面,以聲音、文字、圖像和燈光等方式輸出;語音模型模塊,可以根據(jù)交互對象的語音信息擬合出對象的語音模型,用來量化測評語音對象的語音特點,該模型也可以來自第三方網(wǎng)絡(luò)云服務機構(gòu),例如提供兒童專業(yè)教育服務的商業(yè)機構(gòu)的專業(yè)測試結(jié)果,機器學習引擎910給語音模塊900提供機器學習模型,用于進一步訓練和提高語音的機器識別效率和準確度,提高語音交互的內(nèi)容質(zhì)量。另外,圖9中的語音信號處理模塊采用的聲音波束形成算法去除在特定方向之外的聲音,獲取該特定方位的聲音信號,該聲音波束形成算法也可以同時允許看護機器人周圍多個方位的聲音輸入,語音信號處理模塊也可以包括語音/非語音檢測算法,用于識別聲音源的屬性是人還是其他音源,語音信號處理模塊還可以包括環(huán)境噪聲抑制算法,比如可配置成由全向麥克風采集環(huán)境噪聲信號,或者由安裝在履帶/輪式移動機械裝置的表面采集的機械裝置運行的噪聲,或者是來自看護機器人周邊各個方位的強度接近的環(huán)境噪聲等,環(huán)境噪聲抑制算法在聲音合成處理時減去這些環(huán)境噪聲信號,提高有用信號的強度。在另一些可行的實施例中,聲音的波束方向信息還可以與視覺模塊捕獲的的圖像結(jié)合,計算識別發(fā)出聲音的對象的屬性是被陪護對象,還是其他人或者其他環(huán)境聲源。視覺模塊可以結(jié)合履帶/輪式移動機械裝置的拖動,將機器人的視覺方位朝向聲源的方位,提高聲音的識別效率。
本發(fā)明實施例中,看護機器人的視覺模塊是看護機器人的“眼睛”,具體結(jié)構(gòu)如圖10中的1000所示,包括:定位和地圖構(gòu)建(simultaneouslocalizationandmapping,slam)、眼動跟蹤、人臉識別、圖像分割、圖像檢索、圖像分類和視覺模型等子功能模塊。視覺模塊的輸入的信號是經(jīng)過圖像信號處理的攝像頭陣列采集到的視頻或者圖像信號,攝像頭陣列可以是一組具有多個相機(camera)的傳感器,具體為,具備圖像深度檢測能力的雙攝像頭模組,其中一個彩色攝像頭獲取對象的平面彩色圖像信息,另一個紅外的攝像頭同時獲取目標的深度信息,該攝像頭陣列可檢測目標的輪廓、表面狀態(tài)、運動狀態(tài)和顏色。攝像頭陣列可配置成獲取被感測目標的環(huán)境中被看護對象的情感狀態(tài),例如,視覺模塊可設(shè)置為附近環(huán)境中是否有人存在,并獲取該對象的面部表情,并采用情感識別算法預測該對象當前的情感狀態(tài)。當被陪護對象發(fā)出短暫的“ah…”的聲音時,看護機器人的麥克風陣列及傳感器組接收到該聲音來自周圍環(huán)境的某個方位并達到了一定的強度,看護機器人被從休眠狀態(tài)中激活,語言模塊計算出聲源的方位,發(fā)出驅(qū)動信號,由決策/執(zhí)行模塊驅(qū)動履帶/輪式移動機械裝置將攝像頭轉(zhuǎn)向該聲源的方位,開啟視覺模塊獲取該方位的平面彩色圖像,探測目標的深度,啟動人臉識別、圖像分割模塊截取目標的臉部表情圖像,由圖像檢索模塊在存儲器中搜索該視覺范圍內(nèi)有沒有匹配的已注冊的人臉圖像,若匹配到已注冊的人臉圖像,則進一步獲取被看護對象的臉部表情圖像,并和被看護對象的聲音信號一起發(fā)送到語言模塊中的情緒識別模塊判斷對象的情緒狀態(tài),識別出被看護對象是喜悅、生氣、輕視、厭惡、害怕、悲傷、困惑、受挫或驚訝等某一種情緒,并輸出一個情感狀態(tài)參數(shù)矩陣,若圖像檢索模塊沒有匹配到已注冊的人臉圖像,則機器人切換到休眠狀態(tài)。視覺模塊的人臉識別模塊可以實現(xiàn)主動的人體跟蹤,具體的,視覺模塊中的圖像分類模塊可以識別出人體對象的面部,結(jié)合來自攝像頭陣列獲取的帶深度的目標人體圖像和其他傳感器的識別信號,例如紅外距離傳感器、無線射頻識別(radio-frequencyidentification,rfid)檢測傳感器等,結(jié)合目標圖像的深度信息,將被看護對象的面部、頭部、軀干、手臂等部位從圖像背景中分離出來,從而獲取識別被看護對象人體的面部部位、人體的骨架、身體姿勢等,并可以根據(jù)捕獲的人體目標實現(xiàn)目標跟蹤、運動軌跡的預測。可選的,攝像頭陣列也可以用于跟蹤被看護對象的手部動作,采用手勢識別算法實現(xiàn)目標手勢的跟蹤和手勢指令識別。視覺模塊具備的眼動跟蹤模塊,通過人體對象眼部圖像的捕捉用戶的視線和關(guān)注焦點,根據(jù)用戶眼睛關(guān)注焦點的轉(zhuǎn)移,焦點停留的時間,閉眼的動作和持續(xù)時間,以及眨眼的頻率等,預測用戶當前的興趣關(guān)注點。可選的,視覺模塊包括的定位和地圖構(gòu)建功能模塊,在看護機器人與被看護對象的互動場景中,通過對被看護對象的動態(tài)跟蹤,看護環(huán)境下的參照物和障礙物的識別情況,構(gòu)建出當前場景下的看護機器人所處的室內(nèi)/室外地圖,并同步確定看護機器人在當前地圖中的位置,規(guī)劃出看護機器人下一步的運動路線。具體的,可以利用混合當前統(tǒng)計模型的交互式多模型(interactingmultiplemodel,imm)方法來預測隨機目標的軌跡,并采用最近鄰數(shù)據(jù)關(guān)聯(lián)方法將動態(tài)隨機目標關(guān)聯(lián)到地圖中,構(gòu)建的地圖由靜態(tài)特征點和隨機目標的軌跡組成。當在場景中可能存在多個交互對象的情形下,定位和地圖構(gòu)建模塊可以記憶進入該交互場景的多個交互對象的序列數(shù)據(jù),某個時間間隔之后,看護機器人能夠轉(zhuǎn)動身體使得攝像頭陣列掃描之前記憶的多個交互對象的位置,以刷新記憶中的交互對象的序列數(shù)據(jù),形成新的交互對象的序列數(shù)據(jù)。例如,該特征也可以采用語音交互的方式來提高交互對象的序列數(shù)據(jù)的準確性,比如看護機器人可以說:“小寶,你好”,然后根據(jù)交互的對象的響應的語音表情、或身體姿勢的識別,確認該交互對象是否是“小寶”,刷新記憶中的“小寶”的序列數(shù)據(jù)。
本發(fā)明實施例中,看護機器人的表情和情緒模塊是看護機器人的“臉”,具體結(jié)構(gòu)如圖11的1100所示,包括:表情識別、情感表達、情感閾值、情感模型子功能模塊。看護機器人與被看護對象互動時,表情/情緒模塊用于實現(xiàn)情感識別和情感表達功能。情感識別的主要內(nèi)容包括心理社交感知、心理社交學習兩個方面。心理社交感知的外部信號可由傳感器模組來獲取,包括看護機器人與被看護對象互動時獲取的自然社交場面的線索的集成機器感知,例如,語音語調(diào)、交談語義、面部表情、眼睛關(guān)注點、身體姿勢和運動軌跡、觸摸手勢等。心理社交學習包括機器學習的算法,根據(jù)傳感器模組獲取的自然社交場面的多類數(shù)據(jù)來分析被看護對象的身份、活動模式、偏好和興趣,例如記錄被看護對象的的語音樣本并且利用語音識別模塊來檢測被看護對象的身份,然后可以根據(jù)被看護對象的身份從網(wǎng)絡(luò)獲取第三方網(wǎng)絡(luò)云服務機構(gòu)、教育機構(gòu)、或社交應用等授權(quán)的更多的個人信息,并在情感模塊中完成對象的情感模型的建立或更新。表情識別模塊通過攝像頭陣列實時捕獲被看護對象的面部表情,將捕獲的面部表情轉(zhuǎn)化為表情參數(shù)矩陣,和存儲在本地存儲或者云存儲中的已有的被看護對象的人臉表情圖像樣本訓練集的參數(shù)矩陣進行數(shù)字特征的比較,若與人臉表情圖像樣本訓練集的參數(shù)矩陣中的數(shù)字特征相似度很高或者匹配,則判斷該被看護對象此時的面部表情就是該樣本訓練集中定義的面部表情。具體的,若待識別面部表情的參數(shù)矩陣數(shù)字特征為a,而樣本訓練集存儲的表情圖像的數(shù)字特征為b,若a和b的差異小于某設(shè)定的閾值,則認為捕獲的面部表情和存儲的表情圖像匹配,若a和b的差異大于或等于某設(shè)定的閾值,則將待識別的面部表情a添入到樣本訓練集的另一組人臉表情圖像b’中,不斷重復上述步驟,直至匹配到與待識別的面部表情a匹配的唯一一組人臉表情圖像,完成表情識別過程。若無法在樣本訓練集中找到與待識別人臉表情圖像匹配的唯一一組人臉表情圖像時,則執(zhí)行樣本訓練,上述樣本訓練具體的過程是將設(shè)定的閾值調(diào)大,重復匹配步驟,直至找到與待識別的面部表情a匹配的唯一一組人臉表情圖像,如果在樣本訓練集中找到與待識別人臉表情圖像匹配的至少二組人臉表情圖像時,則將設(shè)定的閾值調(diào)小,重復上述匹配步驟,直至匹配到與待識別的面部表情a匹配的唯一一組人臉表情圖像,匹配過程結(jié)束。情感表達模塊根據(jù)被看護對象的情感模型所對應的情感屬性,情感模型可以根據(jù)表情識別通過機器學習獲得。看護機器人通過被看護對象的人臉表情識別得知被看護對象處于正向情緒,例如微笑、平靜、滿意等,則選擇被看護對象能接受的表達內(nèi)容和表達方式,例如,輸出新的對話和新知識。但看護機器人判斷被看護對象的表情處于負向情緒,里如,疲憊、遲鈍、困惑等,則對當前的互動交流模式進行調(diào)整,例如適當?shù)赝nD,降低語音的速率,輸出激勵的語言、模擬笑臉,或者切換為緩慢的音樂背景等,使被看護對象保持一個相對穩(wěn)定的情緒狀態(tài),避免負面情緒蔓延。可選的,也可以對同一內(nèi)容采用不同表述形式,例如將文字變換為彩色圖形等。由于需要表達的內(nèi)容方式有多種,可以采用機器學習的方式,采用多個序列的學習模型,根據(jù)內(nèi)容對象的內(nèi)容和交互對象的智慧類型,以及用戶偏好的表述模式不斷優(yōu)化表述方式的轉(zhuǎn)換方式,達到高效交互的目的。在實際的實施過程中,對于每個需要交互的內(nèi)容可以使用多種形式的交互界面設(shè)計,例如交互可以設(shè)置為一次只有一個輸入的單步模式,或同時輸入語音、觸摸控制和圖像信息的同步模式,輸出也可以采用輸出自然語言、音效或者音樂、位置移動、顯示文本/圖形/圖像/視頻、燈光效果的多媒體方式輸出。情感閾值模塊在識別和預測被看護對象的情感狀態(tài)過程中,隨時監(jiān)控被看護對象的情感閾值,以維持有效地可持續(xù)的溝通狀態(tài)。情感閾值指的是在被看護對象在各種與環(huán)境互動的過程中,在外界環(huán)境刺激下發(fā)生情感崩潰之前的一個情感臨界值。例如,被看護對象在互動過程中情緒已經(jīng)出現(xiàn)波動,再繼續(xù)持續(xù)當前的互動模式時,被看護對象的情緒就會崩潰,可能發(fā)怒、大哭、大鬧等,也可能是被看護對象已經(jīng)開始忍受環(huán)境的強烈刺激,如果再不調(diào)整互動策略時,被看護對象的心理將會受到很大傷害,上述臨界狀態(tài)的情感狀態(tài)就是的情感閾值。當情感閾值設(shè)置過高,例如,在兒童課堂教育場景中,如果有孩子頻繁請求回答提問,但是由于看護機器人設(shè)置的情感閾值過高,沒有提醒知道指導老師及時給予該學生表現(xiàn)的機會,可能會影響學生的積極性,影響長期的教學效果。當把情感閾值設(shè)得過低,又有可能在教學的過程中產(chǎn)生過多的無效消息提醒,最終導致系統(tǒng)效率太低不可用。為解決上述問題,看護機器人互動的過程中情感閾值實現(xiàn)動態(tài)智能化調(diào)整,采用機器學習中的強化學習方法來獲得更適應于當前會話和互動場景下合適的環(huán)境情感閾值,例如采用q-learning算法,該算法主要的學習目標是在不確定的會話場景及環(huán)境下根據(jù)評價函數(shù)來選擇一個最優(yōu)情感閾值π,使得在學習時間內(nèi)獲得的累計折扣回報最大。當互動過程當情感參數(shù)接近或者超過閾值π時,看護機器人主動調(diào)整交流和互動策略,或者通過聲音、圖形、文字或者燈光提醒操作者或監(jiān)護人調(diào)整交流和互動策略。情感模型模塊根據(jù)傳感器模塊捕獲的被看護對象的面部表情、語音語調(diào)、身體姿勢、運動狀態(tài)、室內(nèi)/室外的位置、生物信號等實時信息,輸出和匹配當前用戶的的情感模型。其中,情感模型參數(shù)的一種常見量化方式是輸出對象的情感狀態(tài)參數(shù)矩陣。情感表達的內(nèi)容由內(nèi)容聚合模塊來實現(xiàn),內(nèi)容聚合模塊根據(jù)被看護對象的情感模型的的情感狀態(tài)參數(shù)矩陣,匹配出與被看護對象互動過程中的策略和需執(zhí)行的交互任務和活動內(nèi)容清單,該清單包括但不限于機械位置移動、模擬顯示表情、燈光效果、音樂播放、文字、圖案、適當?shù)恼Z速、語音、語調(diào)和交談內(nèi)容等多種交互形式,并形成控制指令,由決策&執(zhí)行器驅(qū)動執(zhí)行裝置,由相應的硬件功能模塊完成交互任務。
基于與方法實施例同樣的發(fā)明構(gòu)思,本申請還提供了一種模型引擎,如圖12所示,包括:
模型生成模塊1201,用于接收到目標對象的數(shù)據(jù),生成目標對象的成長模型能力參數(shù)矩陣,其中,所述數(shù)據(jù)中包括所述目標對象的能力參數(shù),所述能力參數(shù)包括實測能力參數(shù)以及所述目標對象對應的統(tǒng)計能力參數(shù),生成的所述目標對象的成長模型能力參數(shù)矩陣中包括所述能力參數(shù),以及根據(jù)所述能力參數(shù)計算出的能力參數(shù)調(diào)整值和綜合能力參數(shù)。
模型修正模塊1202,用于根據(jù)調(diào)整公式系數(shù)或者根據(jù)標準的成長模型能力參數(shù)矩陣對所述成長模型能力參數(shù)矩陣中的能力參數(shù)調(diào)整值進行調(diào)整,確定出調(diào)整后的所述能力參數(shù)調(diào)整值,其中,所述公式為根據(jù)所述能力參數(shù)計算出的綜合能力參數(shù)和能力參數(shù)調(diào)整值所使用的。
所述模型修正模塊1202還用于,判斷調(diào)整后的所述能力參數(shù)調(diào)整值是否超過預設(shè)閾值;
若所述調(diào)整后的能力參數(shù)調(diào)整值在所述預設(shè)閾值范圍內(nèi),所述模型引擎將調(diào)整后的所述能力參數(shù)調(diào)整值發(fā)送給機器學習引擎,其中,所述機器學習引擎根據(jù)所述能力參數(shù)調(diào)整值為人工智能模塊提供與所述目標對象交互時所需要的能力參數(shù)。
在一種可選的實施例中,模型引擎為兒童陪護機器人的人工智能模塊提供機器學習和訓練的的模型,以實現(xiàn)效用的最大化。具體結(jié)構(gòu)如圖13所示,看護機器人的人工智能模塊根據(jù)傳感器模塊獲取的交互對象實時的自然社交場面的數(shù)據(jù),經(jīng)過人工智能模塊進行訓練和學習,得到被看護對象的環(huán)境數(shù)據(jù)1301,其中,訓練和學習的值模板包含但不限于語言模塊、視覺模塊、表情/情緒模塊,被看護對象的環(huán)境數(shù)至少包括語音、視覺模型、情感的機器感知數(shù)據(jù),還包括至少一家第三方網(wǎng)絡(luò)云服務機構(gòu)提供的第三方能力評估報告提供的測試數(shù)據(jù)1302;具體的,環(huán)境數(shù)據(jù)1301和測試數(shù)據(jù)1302是格式不完全相同,例如環(huán)境數(shù)據(jù)1301的格式是參數(shù)矩陣,測試數(shù)據(jù)1302的格式是固定格式的word文檔,環(huán)境數(shù)據(jù)和測試數(shù)據(jù)經(jīng)過數(shù)據(jù)格式轉(zhuǎn)化1303的處理,輸入到智能引擎1304進行機器學習和訓練,得到包含多個類別的用戶特征的用戶成長模型1305,用戶成長模型1305可以采用成長模型能力參數(shù)矩陣來體現(xiàn),其中,圖13中還包括模型修正模塊1306、機器學習引擎1307、人工智能模塊1308、決策和執(zhí)行器1309、第三方成長模型1310以及用戶偏好設(shè)置1311。
本發(fā)明實施例中,通過自適應適配和機器學習更好地匹配用戶的特征和需求,不斷優(yōu)化特定情形下和被看護對象的情感交流方式;獲取來自多個信息源的信息,包括用戶偏好設(shè)置、傳感器模塊、其他移動智能裝置的信息、gps信號、來自互聯(lián)網(wǎng)的第三方網(wǎng)絡(luò)云服務機構(gòu)的數(shù)據(jù)等,通過機器學習等方式不斷獲取和識別被看護的使用環(huán)境,適配和改進看護機器人的服務方式和內(nèi)容。
本申請實施例中對模塊的劃分是示意性的,僅僅為一種邏輯功能劃分,實際實現(xiàn)時可以有另外的劃分方式,另外,在本申請各個實施例中的各功能模塊可以集成在一個處理器中,也可以是單獨物理存在,也可以兩個或兩個以上模塊集成在一個模塊中。上述集成的模塊既可以采用硬件的形式實現(xiàn),也可以采用軟件功能模塊的形式實現(xiàn)。
其中,集成的模塊既可以采用硬件的形式實現(xiàn)時,如圖14所示,模型引擎可以包括處理器1402。上述模塊對應的實體的硬件可以為處理器1402。處理器1402,可以是一個中央處理模塊(英文:centralprocessingunit,簡稱cpu),或者為數(shù)字處理模塊等等。模型引擎還可以包括通信接口1401,處理器1402通過通信接口1401接收數(shù)據(jù)。該裝置還包括:存儲器1403,用于存儲處理器1402執(zhí)行的程序。存儲器1403可以是非易失性存儲器,比如硬盤(英文:harddiskdrive,縮寫:hdd)或固態(tài)硬盤(英文:solid-statedrive,縮寫:ssd)等,還可以是易失性存儲器(英文:volatilememory),例如隨機存取存儲器(英文:random-accessmemory,縮寫:ram)。存儲器1403是能夠用于攜帶或存儲具有指令或數(shù)據(jù)結(jié)構(gòu)形式的期望的程序代碼并能夠由計算機存取的任何其他介質(zhì),但不限于此。
處理器1402用于執(zhí)行存儲器1403存儲的程序代碼,具體用于執(zhí)行圖4所示實施例所述的方法。可以參見圖4所示實施例所述的方法,本申請在此不再贅述。
本申請實施例中不限定上述通信接口1401、處理器1402以及存儲器1403之間的具體連接介質(zhì)。本申請實施例在圖14中以存儲器1403、處理器1402以及通信接口1401之間通過總線1404連接,總線在圖14中以粗線表示,其它部件之間的連接方式,僅是進行示意性說明,并不引以為限。所述總線可以分為地址總線、數(shù)據(jù)總線、控制總線等。為便于表示,圖14中僅用一條粗線表示,但并不表示僅有一根總線或一種類型的總線。
本發(fā)明實施例還提供了一種計算機可讀存儲介質(zhì),用于存儲為執(zhí)行上述處理器所需執(zhí)行的計算機軟件指令,其包含用于執(zhí)行上述處理器所需執(zhí)行的程序。
本領(lǐng)域內(nèi)的技術(shù)人員應明白,本申請的實施例可提供為方法、系統(tǒng)、或計算機程序產(chǎn)品。因此,本申請可采用完全硬件實施例、完全軟件實施例、或結(jié)合軟件和硬件方面的實施例的形式。而且,本申請可采用在一個或多個其中包含有計算機可用程序代碼的計算機可用存儲介質(zhì)(包括但不限于磁盤存儲器、cd-rom、光學存儲器等)上實施的計算機程序產(chǎn)品的形式。
本申請是參照根據(jù)本申請的方法、設(shè)備(系統(tǒng))、和計算機程序產(chǎn)品的流程圖和/或方框圖來描述的。應理解可由計算機程序指令實現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合。可提供這些計算機程序指令到通用計算機、專用計算機、嵌入式處理機或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個機器,使得通過計算機或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。
這些計算機程序指令也可存儲在能引導計算機或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計算機可讀存儲器中,使得存儲在該計算機可讀存儲器中的指令產(chǎn)生包括指令裝置的制造品,該指令裝置實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。
這些計算機程序指令也可裝載到計算機或其他可編程數(shù)據(jù)處理設(shè)備上,使得在計算機或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計算機實現(xiàn)的處理,從而在計算機或其他可編程設(shè)備上執(zhí)行的指令提供用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。
顯然,本領(lǐng)域的技術(shù)人員可以對本申請進行各種改動和變型而不脫離本申請的精神和范圍。這樣,倘若本申請的這些修改和變型屬于本申請權(quán)利要求及其等同技術(shù)的范圍之內(nèi),則本申請也意圖包含這些改動和變型在內(nèi)。