專利名稱：一種特定人語音合成技術在手機漫畫配音中的應用方法
技術領域：
本發明涉及語音變聲技術領域，公開了一種特定人語音合成技術在手機漫畫配音中的應用方法，該方法在手機上接收用戶輸入的文字，通過特定人語音合成技術，生成模擬多種不同發音人音調和音色的音頻數據，對圖片或漫畫進行配音的方法和系統，該方法包括:I)通過收集目標發音人的少量語音數據(50-100句)，實現具有其發音特點的語音合成系統的快速構建；2)接收用戶在手機上輸入的文字，將文字通過個性化合成技術，并設置合成模版參數，實現各種模擬男女對話、老少對話等的合成音頻，實現手機圖片、漫畫的配音。利用本發明，可以將用戶輸入的文字，轉化為指定人的聲音甚至是自己親屬的聲音實現對手機圖片、漫畫的配音，增加了趣味性，提升了用戶交互體驗。
背景技術：
現有一些應用“對圖片配音”的解決方案主要是采用人工錄音的方式對圖片進行配音，配音效果單一，不能實現將聲音轉變成不同目標人、甚至是自己親屬聲音的等有趣效果O現有技術的缺點為:現有圖片漫畫配音大多采用人工錄音的方案，配音效果單一，很難滿足用戶對有趣好玩等的應用需求。

發明內容
本發明要解決以下幾個問題:1、從聲音模擬目標人角度來看，需要解決只采集目標人少量語音數據的情況下模擬合成的發音人聲音的相似度問題。2、從業務的角度來看，模擬發音人聲音需要采集發音人一定量的語料，如果讓用戶在采集語料時不感到厭煩，同時不需要花費大量的時間成本。本發明采用的技術方案為:一種特定人語音合成技術在手機漫畫配音中的應用方法，該方法包括如下步驟:步驟I)、模型訓練步驟:a)、特定語料庫準備需要根據用戶日常用語、生日祝福、勵志語錄、網絡流行語的分類構建語料庫，每個分類至少收集百句以上的典型語料；b)、用戶個人虛擬形象設定用戶可以通過手機端程序可以新建自己的虛擬形象，也可以創建給自己的親屬各創建一個虛擬形象；C)、虛擬形象馴養程序模擬養鸚鵡的場景，需要每天不定時對鸚鵡的虛擬形象說話，鸚鵡重復一句，用戶說話的內容由程序隨機從第a)步系統準備的語料庫里面隨機選取，采用這種方式利用用戶的零碎時間采集用戶的聲音數據，并上傳到后臺系統；d)、聲學模型訓練
后臺系統將根據第c)步驟收集過來的用戶聲音數據，進行聲學模型訓練，生成用戶個人虛擬形象音庫資源，給出用戶的虛擬形象模擬用戶聲音的當前相似度，在客戶端虛擬形象上可以采用鸚鵡從幼鳥生長為成鳥或者鸚鵡的人氣值不斷升高等設計來模擬虛擬形象的成長過程；e )、系統預置個性化音庫資源后臺系統在用戶的個人虛擬形象未訓練完成或者希望更多個性化聲音效果時，可以選用系統預置的一些特色的方言、明星音庫；步驟2)、文字配音流程:用戶在手機客戶端程序上，選擇有趣的漫畫或圖片，輸入適合漫畫的文字，輸入完成后用戶可以選擇自己馴養的虛擬形象，也可以以道具的方式購買選用系統預置的虛擬形象，客戶端程序將使用用戶選擇的虛擬形象對應的后臺音庫資源合成出音頻文件，在客戶端合成為MV等視頻文件，生成有聲漫畫，供用戶進行娛樂和分享給好友欣賞；在選擇虛擬形象的過程中，用戶可以根據漫畫上下文需要，給不同的文字選擇不同的虛擬形象如男女，或者自己的親屬虛擬形象，系統將合成出生動的對話效果，增強漫畫的趣味性。本發明與現有技術相比的技術優點為:1、采用特定語音合成技術的技術方案，替換人工錄音，解決了配音單調問題，增強了趣味性。2、用戶可以通過在手機上輸入文本便捷地制作個性化手機有聲圖片或漫畫。3、采用特定人語音合成技術，只需采集少量目標的人聲音數據，即可達到基本相像的效果。


圖1為用戶訓練個性化音庫配音系統構建流程框圖；圖2為聲學模型訓練框圖的示意圖。
具體實施例方式下面結合附圖及具體實施例進一步說明本發明。1、技術及業務流程，如圖1所示。I)、模型訓練流程a)、特定語料庫準備需要根據用戶日常用語、生日祝福、勵志語錄、網絡流行語等分類構建語料庫，每個分類至少收集百句以上的典型語料。b)、用戶個人虛擬形象設定用戶可以通過手機端程序可以新建自己的虛擬形象，也可以創建給自己的親屬各創建一個虛擬形象。C)、虛擬形象馴養程序模擬養鸚鵡的場景，需要每天不定時對鸚鵡(虛擬形象)說話，鸚鵡重復一句，用戶說話的內容由程序隨機從第a)步系統準備的語料庫里面隨機選取，采用這種方式利用用戶的零碎時間通過移動手機網絡遠程采集用戶的聲音數據，同時不讓用戶感到厭煩，并上傳到后臺系統。d)、聲學模型訓練后臺系統將根據第c)步驟收集過來的用戶聲音數據，進行聲學模型訓練，生成用戶個人虛擬形象音庫資源，給出用戶的虛擬形象模擬用戶聲音的當前相似度。在客戶端虛擬形象上可以采用鸚鵡從幼鳥生長為成鳥或者鸚鵡的人氣值不斷升高等設計來模擬虛擬形象的成長過程。具體技術實現算法參考下面介紹的聲學模型訓練方法。e )、系統預置個性化音庫資源后臺系統在用戶的個人虛擬形象未訓練完成或者希望更多個性化聲音效果時，可以選用系統預置的一些特色的方言、明星音庫等。2)、文字配音流程用戶在手機客戶端程序上，選擇有趣的漫畫(圖片)，輸入適合漫畫的文字。輸入完成后用戶可以選擇自己馴養的虛擬形象，也可以以道具的方式購買選用系統預置的虛擬形象?？蛻舳顺绦驅⑹褂糜脩暨x擇的虛擬形象對應的后臺音庫資源合成出音頻文件，在客戶端合成為MV等視頻文件，生成有聲漫畫，供用戶進行娛樂和分享給好友欣賞。在選擇虛擬形象的過程中，用戶可以根據漫畫上下文需要，給不同的文字選擇不同的虛擬形象如男女，或者自己的親屬 虛擬形象，系統將合成出生動的對話效果，增強漫畫的趣味性。2、系統關鍵模塊的詳細說明I)用戶個人虛擬形象音庫資源構建可以模擬成養鸚鵡場景，每天對鸚鵡說一句特定預定的語料，鸚鵡同樣跟學一句，手機程序自動將用戶錄音上傳到系統后臺，進行聲學模型訓練。用戶根據預定的語料和鸚鵡說的越多，系統收集用戶的特定語料就越多，訓練出來的聲學模型對用戶聲音的模擬就越相似。目前實驗結果表明，只要100句以上就能達到基本相像的效果。2)聲學模型訓練算法根據用戶輸入的少量錄音進行聲學模型訓練。具體實現技術除利用科大訊飛專利《一種結合高層描述信息和模型自適應的說話人轉換方法》(專利號200610039680.3)外，還增加了模型自適應算法處理。具體如圖2所示框圖的加粗虛線框圖部分。該算法為最小生成誤差線性回歸模型自適應方法:①、利用自適應數據，由最大似然線性回歸模型自適應算法，計算源說話人到目標說話人的轉換矩陣M ;②、根據源說話人的聲學模型λ和源說話人模型到目標說話人模型的轉換矩陣Μ，得到目標說話人模型，通過傳統的基于最大似然的參數生成方法，估計與自適應數據的聲學參數C各幀相對應的生成聲學參數Μ)，其中:C = [C1, C2, , cT](I)C(I5M) = Tcl5C2,...,^'
」UT為總幀數，C1, C2到Ct定義如下公式(3)，這里采用的聲學參數為線譜頻率參數(Isf)JP:
權利要求
1.一種特定人語音合成技術在手機漫畫配音中的應用方法，其特征在于:該方法包括如下步驟: 步驟I)、模型訓練步驟: a)、特定語料庫準備 需要根據用戶日常用語、生日祝福、勵志語錄、網絡流行語的分類構建語料庫，每個分類至少收集百句以上的典型語料； b)、用戶個人虛擬形象設定 用戶可以通過手機端程序可以新建自己的虛擬形象，也可以給自己的親屬各創建一個鸚鵡虛擬形象； C)、虛擬形象馴養 程序模擬馴養鸚鵡的場景，需要每天不定時對鸚鵡的虛擬形象說話，鸚鵡重復一遍，用戶說話的內容由程序隨機從第a)步系統準備的語料庫里面隨機選取，采用這種方式利用用戶的零碎時間采集用戶的聲音數據，并上傳到后臺系統； d)、聲學模型訓練 后臺系統將根據第c)步驟收集過來的用戶聲音數據，進行聲學模型訓練，生成用戶個人虛擬形象音庫資源，給出用戶的虛擬形象模擬用戶聲音的當前相似度，在客戶端虛擬形象上可以采用鸚鵡從幼鳥生長為成鳥或者鸚鵡的人氣值不斷升高等設計來模擬虛擬形象的成長過程； e)、系統預置個性化音庫資源 后臺系統在用戶的個人虛擬形象未訓練完成或者希望更多個性化聲音效果時，可以選用系統預置的一些特色的方言、明星音庫； 步驟2)、文字配音流程: 用戶在手機客戶端程序上，選擇有趣的漫畫或圖片，輸入適合漫畫的文字，輸入完成后用戶選擇自己馴養的虛擬形象，或者以道具的方式購買選用系統預置的虛擬形象，客戶端程序將使用用戶選擇的虛擬形象對應的后臺音庫資源合成出音頻文件，在客戶端合成為MV等視頻文件，生成有聲漫畫，供用戶進行娛樂和分享給好友欣賞；還可以將合成出的音頻文件設置成用戶彩鈴和來電鈴聲； 在選擇虛擬形象的過程中，用戶可以根據漫畫上下文需要，給不同的文字選擇不同的虛擬形象如男女，或者自己的親屬虛擬形象，系統將合成出生動的對話效果，增強漫畫的趣味性。
全文摘要
本發明公開了一種特定人語音合成技術在手機漫畫配音中的應用方法，該方法在手機上接收用戶輸入的文字，通過特定人語音合成技術，生成模擬多種不同發音人音調和音色的音頻數據，對圖片或漫畫進行配音；接收用戶在手機上輸入的文字，將文字通過特定人語音合成技術，并設置合成模版參數，實現各種模擬男女對話、老少對話等的合成音頻，實現手機圖片、漫畫的配音。本發明將用戶輸入的文字，轉化為指定人的聲音甚至是自己親屬的聲音，實現對手機圖片、漫畫的配音，增加了趣味性，提升了用戶交互體驗。
文檔編號G10L13/033GK103117057SQ20121057931
公開日2013年5月22日 申請日期2012年12月27日 優先權日2012年12月27日
發明者唐義平, 江源, 孫見青, 江濤, 聶小林, 徐佳佳 申請人:安徽科大訊飛信息科技股份有限公司