本發明涉及一種人臉識別、玩偶合成、語音錄制及調用、手機屏幕的錄制及分享等技術領域。

背景技術：

隨著移動技術的迅速發展和使用Android操作系統的手機用戶的普及，基于移動端的各類手游軟件愈發受到了青睞。一個典型的例子是由Outfit7公司推出的手機寵物類應用游戲“會說話的湯姆貓”，該軟件是一只可愛的寵物貓玩偶，它可以在用戶觸摸玩偶不同的身體部位時做出各種反應，并且可以用滑稽的聲音完整地復述用戶所說的內容。錄制湯姆貓復述用戶說話的視頻，還可以上傳至YouTube、Facebook、Sina微博或者是朋友圈，并通過電子郵件發送給親友，因此受到各個年齡層次的用戶的極大喜愛。但是，由于隨著用戶群體的變化，此類簡單的Talking Avater手游軟件已不再能滿足不同用戶群體的需求，比如：用戶希望看見屏幕上和他們互動的不是寵物貓，是用戶自己的Talking Avatar形象，或者說是其他的新奇的形象，這樣才能更好地適用不同用戶的需求；用戶也希望把很多的簡單實用的軟件功能也加入進去，這樣可以讓一個軟件具備多樣的功能，也可以減少用戶手機內存的占用。

技術實現要素：

發明目的：為了彌補現如今此類手機游戲功能覆蓋不夠全面的不足，本發明提供一種基于Android系統的Talking Avatar手游軟件的構建方法。本發明除了具有上述湯姆貓也具有的功能以外，用戶還可以通過點擊按鈕調用前置攝像頭拍照或導入自己手機中的照片，然后系統通過面目識別技術生成一個與用戶相似的玩偶形象，該玩偶形象可完成用戶指定的一系列動作，生成Avatar。之后通過點擊界面的圖標按鈕在所給的服裝造型中挑選出自己喜歡的造型即可完成對Avatar的換裝。當用戶對著Avatar說出一段話時，它會復述出來這段話，并根據不一樣的說話內容做出相應的肢體動作以及豐富的面部表情等。當用戶完成對Avatar的錄音之后，可以將其復述及其動作進行屏幕錄制，點擊保存即可保存該段視頻文件到本地，用戶可在保存對應的保存路徑中找到該視頻文件，并通過點擊分享按鈕將其進行分享至朋友圈、微博等社交平臺。

技術方案：一種基于Android系統的Talking Avatar手游軟件的構建方法，其功能特征主要包括如下方面：

功能1：用戶導入一張照片，通過人臉識別，得到用戶臉部相應特征點的值，然后生成一個和用戶相似的玩偶形象，即Talking Avatar；人臉偵測寬松化了對人臉的要求，可多角度對人臉進行偵測，根據對稱映射，補全特征點信息，可檢測的范圍是以正前方為原點正負45度。獲取到特征點信息后，對特征點信息進行人臉比列縮放處理，再應用歐式距離相似度算法，分別計算出與人臉庫中的各組像的相似度值，對其進行統一比較，冒泡法抉擇最大相似度人臉，即最像臉。獲取到相關信息記錄，發送到Avatar庫，與Avatar庫對接，然后選擇對應的Avatar人臉，合成玩偶人臉；

功能2：該軟件可以根據用戶喜好，對Talking Avatar進行換裝和背景更換；Talking Avatar手機軟件提供多樣的服飾和背景，供用戶選擇；

功能3：Talking Avatar會把用戶說的話錄下來然后進行復述；實現了語音—文本—語音的語音轉換算法；

功能4：Talking Avatar會根據用戶說的話，進行識別，得到相應的關鍵詞，如“你、我、他等”當語音中發現這些關鍵詞，玩偶會做出相應的肢體表情動作；KMP關鍵詞提取算法從文本中獲得關鍵詞，依據關鍵詞的與動畫之間的綁定關系。并動態觸發動畫，字符庫之間與動畫庫之間實現動態綁定，支持同義觸發；

功能5：用戶可以根據自己的需求，從某個時候選擇開始錄制視頻，并且在任意的時候停止錄制，用戶還可以將錄制的視頻分享到微博、朋友圈、QQ空間等社交平臺上。調用了Mob移動分享平臺對視頻進行錄制和合成，之后存儲在用戶賬戶中。上傳視頻之后可以分享到各社交平臺，也可以查看視頻文件。

本發明使用Eclipse開發工具，實現了一個具有多功能的玩偶形象的手機游戲。對于人臉的合成和識別，使用科大訊飛的人臉特征點獲取，然后經過人臉識別—合成機制。人臉識別—合成機制分為三個階段：訓練階段、識別階段和選擇階段。訓練階段對人臉進行擬定、測試和收集數據。識別階段經過人臉相似度算法獲取最像臉。選擇階段就是讀取參數，選取特定的人臉，最后實現玩偶的人臉合成。對于聲音的轉換，使用的是語音轉換算法，實現語音—文本—語音的語音系統；字符庫與動畫庫之間實現動態綁定，中間由文本觸發動畫；實現動畫與語音的同步播放。對于視頻分享，引用了Mob游戲分享平臺，進行視頻的錄制和合成。之后分享在不同的社交平臺；也可以查看錄制合成的視頻文件。

主要實現步驟如下：

步驟1：利用了科大訊飛人臉識別接口的調用，通過用戶輸入一張照片、或者拍攝一張照片，識別出照片上的人臉，獲取照片上人臉上特征點的位置，然后通過人臉相似度算法匹配到我們數據庫中相應大小的人的特征，生成玩偶；

步驟2：然后根據用戶的選擇可以選擇用戶愛好的服裝，進行換裝功能；

步驟3：玩偶復述語音及肢體表情動作功能則依賴于科大訊飛語義合成接口和語音聽寫接口的調用，通過調用接口我們能讓玩偶錄入用戶所說的話，通過識別，再經過KMP、BM算法匹配數據庫中的數據，看是否存在關鍵詞，若存在關鍵字，再復述語音的同時還會做出相應的動作，反之，沒有動作，但是還是會有語音的復述；

步驟4：利用Mob游戲分享平臺的視頻錄制接口，調用視頻合成、視頻錄制、視頻分享接口，錄制一段視頻，并且我們可以分享到新浪微博、朋友圈等各大社交平臺上。

本發明采用上述技術方案，具有以下有益效果：生成與用戶相似的玩偶；能實現語音的錄制，并且能實現表情和動作；用戶體驗得到改善；與好友共同分享自己的玩偶游戲。

附圖說明

圖1為本發明的體系架構圖；

圖2為軟件的功能框架圖；

圖3為軟件的使用流程圖。

具體實施方式

下面結合具體實施例，進一步闡明本發明，應理解這些實施例僅用于說明本發明而不用于限制本發明的范圍，在閱讀了本發明之后，本領域技術人員對本發明的各種等價形式的修改均落于本申請所附權利要求所限定的范圍。

如圖2所示，詳細介紹了應用的各個模塊的具體功能分布，主要分為五個模塊：Talking Avatar生成、Talking Avatar錄音及復述、Talking Avatar肢體動作、Talking Avatar換裝和視頻錄制分享。

如圖3所示，點擊進入應用之后進行男女模式的選擇，將用戶以性別作為區分目的：讓用戶獲得更好的用戶體驗和更利于資源的管理。進入到不同的模式之中，通過相冊導入一張照片，或者調用攝像頭接口拍攝照片，經過人臉識別—合成機制合成玩偶形象。還可以根據年齡和地區選擇不同的音色，合成比較特色的玩偶，比如廣東話、湖南話、老人、小孩等等。人臉識別—合成機制是在訊飛人臉識別和特征點檢測的基礎上，通過人臉相似度算法，與人臉庫中各人臉進行計算，然后冒泡法抉擇出最像臉。發送信息到玩偶庫，與玩偶庫進行對接，匹配玩偶形象。合成玩偶之后，可以根據用戶的個人愛好，更換背景和服裝。在科大訊飛語音的支持下，用戶可以通過文本或者語音兩種方式輸入信息。玩偶可以播放語音，同時出發相應的肢體表情動作。關于語音實現的是語音轉換算法，依賴于科大訊飛語義合成接口和語音聽寫接口的調用，實現由語音—文本—語音的語音轉換，中間文本經再經過KMP、BM算法匹配數據庫中的數據，看是否存在關鍵詞，若存在關鍵字，再復述語音的同時還會做出相應的動作，反之，沒有動作，但是還是會有語音的復述；融合KMP、BM算法實現的關鍵詞提取算法，將后臺字符庫與動畫庫之間動態綁定，支持同義觸發。由關鍵詞獲取文本記錄向字符庫發送信息，字符庫匹配之后動態觸發動畫，實現與語音的同步播放。最后是視頻錄制分享功能，調用了Mob移動分享平臺對視頻進行錄制和合成，錄制一段視頻，合成視頻并存儲在用戶賬戶中。上傳視頻之后可以分享到各社交平臺，比如分享到新浪微博、朋友圈等，也可以查看合成的視頻文件。