專利名稱：語音識別方法及電子裝置的制作方法
技術領域：
本發明有關于一種語音識別方法，更具體地，有關于一種語音識別方法及電子裝置。
背景技術：
缺乏足夠計算功率(c omputing power)處理復雜任務是許多消費電子裝置所面臨的問題，其中，消費電子裝置可例如智能電視(smart television)、平板計算機(tab letcomputer)及智能手機等。幸運地是,云計算(cloud computation)的概念已逐步地減輕了此固有限制。具體地，云計算概念允許消費電子裝置作為客戶端(client)進行工作并將復雜任務分配給云端的遠程服務器(remoteserver)。例如語音識別(speech recognition)便是這種可分配任務。然而，遠程服務器使用的大多數語言模型(language model)是為普通用戶(average user)而設計。遠程服務器不能或幾乎不會為每個獨立的用戶而進行語言模型優化。如果沒有對每個獨立用戶的自定義優化，消費電子裝置可能無法向其用戶提供最精確可靠的語音識別結果。

發明內容
有鑒于此，本發明提供一種語音識別方法及電子裝置。本發明提供一種語音識別方法，用于電子裝置，該語音識別方法包括:透過該電子裝置的用戶使用情況收集用戶特定信息，其中，該用戶特定信息特定用于該用戶；記錄該用戶的發言；使遠程服務器產生該記錄的發言的遠程語音識別結果；根據該收集的用戶特定信息產生該記錄的發言的再評分信息；以及根據該再評分信息對該遠程語音識別結果進行再評分。本發明另提供一種語音識別方法，用于電子裝置，該語音識別方法包括:記錄該用戶發言；從該記錄的發言中提取噪聲信息；使遠程服務器產生該記錄的發言的遠程語音識別結果；以及根據該提取的噪聲信息對該遠程語音識別結果進行再評分。本發明再提供一種語音識別電子裝置，包括:信息收集器，用于透過該電子裝置的用戶使用情況收集用戶特定信息，其中，該用戶特定信息特定用于該用戶；錄音器，用于記錄該用戶發言；以及再評分信息產生器，耦接于該信息收集器，該再評分信息產生器用于根據該收集的用戶特定信息產生該記錄的發言的再評分信息；其中，該電子裝置用于使遠程服務器產生該記錄的發言的遠程語音識別結果，以及根據該再評分信息對該遠程語音識別結果進行再評分。本發明還提供一種語音識別電子裝置，包括:錄音器，用于記錄該電子裝置的用戶發言；以及噪聲信息提取器，耦接于該錄音器，且該噪聲信息提取器用于從該記錄的發言中提取噪聲信息；其中，該電子裝置用于使遠程服務器產生該記錄的發言的遠程語音識別結果；并用于根據該提取的噪聲信息對該遠程語音識別結果進行再評分。
本發明提供的語音識別方法可提供相較于“云語音識別結果”更為準確可靠的語音識別結果，改進用戶體驗。


圖1為根據本發明一個實施例分布式語音識別系統的方塊圖；圖2為根據本發明另一個實施例分布式語音識別系統的方塊圖；圖3為圖1/圖2的電子裝置執行語音識別方法的流程圖；圖4/圖5為根據本發明實施例的分布式語音識別系統400/500的方塊圖；圖6為圖4/圖5的電子裝置執行語音識別方法的流程圖；圖7為根據本發明一個實施例的分布式語音識別系統的方塊圖；圖8為根據本發明一個實施例的分布式語音識別系統的方塊圖；圖9為圖7/圖8的電子裝置執行語音識別方法的流程圖；圖10為根據本發明一個實施例分布式語音識別系統的方塊圖；圖11為根據本發明一個實施例的分布式語音識別系統的方塊圖；圖12為圖10/圖11的電子裝置執行語音識別方法的流程圖。
具體實施例方式下面的詳細描述將介紹本發明提出的分布式語音識別系統(distributed speechrecognition system)的若干實施例,其中的每個實施例包括電子裝置和遠程服務器。電子裝置可以為消費電子裝置，例如智能電視、平板計算機、智能手機或可以向其用戶提供語音識別服務或基于語音識別的服務的任何電子裝置。遠程服務器可以位于云端并透過互聯網與電子裝置進行通信。對于語音識別，電子裝置和遠程服務器具有不同優勢；上述多個實施例允許這兩個裝置中的每一個使用各自優勢來促進語音識別。例如，遠程服務器的優勢之一在于它具有優越的計算功率且可使用復雜模型處理語音識別。而另一方面，電子裝置的優勢之一在于它與用戶距離更近且因此可收集用于增強語音識別的一些輔助信息(auxiliaryinformation).而由于下述任何一個原因，遠程服務器不能存取這些輔助信息。例如，輔助信息可包括私人性質的個人信息，因而電子裝置避免與遠程服務器共享個人信息。又例如，帶寬限制和云存儲空間限制也可能阻止電子裝置與遠程服務器共享這些輔助信息。圖1為根據本發明一個實施例分布式語音識別系統100的方塊圖。分布式語音識別系統100包括電子裝置120和遠程服務器140。電子裝置120包括信息收集器(information collector) 122、錄音器 124、再評分信息產生器(rescoringinformationgenerator) 126 以及結果再評分模塊(result rescoring module) 128。遠程服務器 140包括遠程語音識別器(remote speech recognizer) 142。圖2為根據本發明另一個實施例分布式語音識別系統200的方塊圖。分布式語音識別系統200包括電子裝置220和遠程服務器240。圖1和圖2中實施例的不同點在于圖2中是遠程服務器240 (而不是電子裝置220)包括結果再評分模塊128。圖3為圖1/圖2的電子裝置120/220執行語音識別方法的流程圖。首先，在步驟310中，信息收集器122透過電子裝置120/220的用戶使用情況(user’s usage)收集用戶特定信息(user-specific information),其中，該用戶特定信息特定用于該用戶。電子裝置120/220連接或未連接至互聯網時都可執行此步驟，收集的用戶特定信息可包括:用戶的聯系人列表(contact list)、用戶日程表(calendar)中的若干最近事件、若干訂閱的內容/服務，若干最近接收/編輯/發送的消息/郵件、若干最近訪問的網址、若干最近使用的應用程序、若干最近下載/存取的電子書/歌曲/視頻、若干社交網絡服務(例如臉譜(Facebook)、推持(Twitter)、谷歌+ (Google+)和微博)的使用情況以及用戶的聲學特性(acoustic characteristic)等。用戶特定信息可揭示用戶的個人興趣、習慣、情感、最常用詞語等，因此當用戶發言(make an utterance)以使分布式語音識別系統100/200進行識別時，用戶特定信息可建議(suggest)用戶可能使用的潛在詞語(potential word)。換句話說，用戶特定信息可包括可用于語音識別的有價值信息。在步驟320中，錄音器124記錄用戶的發言。由于用戶想要通過發言而不是通過打字(typing)/手寫(writing)的方式向電子裝置120/220輸入字符串(text string),因此用戶可進行發言。又例如，該發言可構成用戶對電子裝置120/220發出的命令。在步驟330中，電子裝置120/220使遠程服務器140/240產生該記錄的發言的遠程語音識別結果。例如，電子裝置120/220要完成所述操作可通過發送記錄的發言或其壓縮版本至遠程服務器140/240，等待一段時間，然后從遠程服務器140/240接收遠程語音識別結果。由于遠程服務器140/240除了未為用戶而進行優化，具有優越的計算功率并使用復雜的語音識別模型，遠程語音識別結果可能是相當好的推測(speculation)。遠程語音識別結果可包括一些連續文本單元(text unit),這些文本單元中的每個都可包括單詞或短語并且每個文本單元都附有一個置信分數(confidencescore)。置信分數越高，遠程服務器140/240越有信心確認附有該置信分數的文本單元為準確的推測。每個文本單元可具有一個以上的替換選擇供使用者或電子裝置120/220從中進行選擇，且其中每個替換選擇都附有一個置信分數。例如，如果在步驟320中用戶說出“the weathertoday is good”的發言，則在步驟330中遠程服務器140/240可產生下列遠程語音識別結果OThe (5.5) weather (2.3) /whether (2.2) today (4.0) i s (3.8) good (3.2)/gold (0.9) o在步驟340中，再評分信息產生器126根據步驟310中收集的用戶特定信息產生記錄的發言的再評分信息。例如，再評分信息可包括單詞/短語的統計模型(statisticalmodel)，該統計模型可以幫助分布式語音識別系統100/200識別步驟320中記錄的用戶的發言的內容。再評分信息產生器126根據電子裝置120/220產生的記錄的發言的本地語音識別結果或者根據步驟330中產生的遠程語音識別結果從收集的用戶特定信息中提取再評分信息。例如，如果根據本地/遠程語音識別結果，電子裝置120/220確定記錄的發言可包括單詞“call”或“dial”，再評分信息產生器126可提供有關于用戶聯系人列表或最近撥打/接收/錯過的呼叫的信息作為再評分信息。再評分信息產生器126也可不參考記錄的發言而產生再評分信息。例如，根據收集的用戶特定信息所指示，再評分信息可僅包括用戶最可能使用的單詞。在步驟350中，電子裝置120/220使結果再評分模塊128根據再評分信息對遠程語音識別結果進行再評分以產生再評分的語音識別結果?！霸僭u分”用在語音識別的情境(context)中表示修改(modify)、更正(correct)或者嘗試修改/更正。由于再評分的語音識別結果可受收集的用戶特定信息影響，而遠程服務器140/240可能無法存取收集的用戶特定信息，因此有可能再評分的語音識別結果可更準確表示步驟320中記錄的用戶的發言。例如，如果遠程語音識別結果表示遠程服務器140/240不確定是否記錄的發言包括姓名“Johnson"或"Jonathan”,而再評分信息指示Johnson是用戶剛錯過其呼叫的聯系人或者Johnson是用戶計劃一會兒之后見面的人，則結果再評分模塊128可相應地改變與“Johnson"和"Jonathan”相應的置信評分,或者直接將"Jonathan”從記錄的語音識別結果中排除。在圖2中，由于結果再評分模塊128位于遠程服務器240中，在步驟350中，電子裝置220必須首先發送再評分信息至遠程服務器240，等待一段時間，然后再從遠程服務器240接收再評分的語音識別結果。圖4/圖5為根據本發明實施例的分布式語音識別系統400/500的方塊圖?？梢员镜卣Z音識別器426來替代圖1/圖2中所示的再評分信息產生器126 ;則圖1/圖2的分布式語音識別系統100/200將改變為圖4/圖5的分布式語音識別系統400/500。本地語音識別器426可使用本地語音識別模型；本地語音識別模型比遠程語音識別器所使用的遠程語音識別模型更簡單。圖6為圖4/圖5的電子裝置420/520執行語音識別方法的流程圖。除了前述的步驟310、步驟320以及步驟330之外，圖6的流程圖更包括步驟615、步驟640以及步驟650。在步驟615中，電子裝置420/520使用在步驟310中信息收集器122收集的用戶特定信息自適應(adapt)本地語音識別模型。如果遠程服務器140/240可向本地語音識別器426提供其統計模型或一些用戶個人信息，本地語音識別器426也可使用此補充信息(supplementaryinformation)作為步驟615中自適應的附加前提(additional basis)。作為步驟615的結果，自適應后的本地語音識別模型更具有用戶特定性(user-specific)，且因此更適合識別步驟320中記錄的特定用戶的發言。在步驟640中，本地語音識別器426使用自適應后的本地語音識別模型來產生記錄的發言的本地語音識別結果。遠程語音識別器142接收的記錄的發言可能為壓縮版本，而本地語音識別器426接收的記錄的發言可為原版或未壓縮版本(raw or uncompressedversion)。由于本地語音識別結果不能用于對遠程語音識別結果進行再評分，可將本地語音識別結果稱為“再評分信息”，并且也可將本地語音識別器426看作再評分信息產生器。與遠程語音識別結果一樣，本地語音識別結果也可包括一些連續文本單元，這些文本單元中的每個都可包括單詞或短語并且每個文本單元都附有一個置信分數。置信分數越高，本地語音識別器426越有信心確認附有該置信分數的文本單元為準確的推測。每個文本單元也可具有一個以上的替換選擇，且其中每個替換選擇都附有一個置信分數。盡管電子裝置420/520的計算功率可能不及遠程服務器140/240，且本地語音識別器426的自適應本地語音識別模型可能比遠程語音識別器142使用的遠程語音識別模型簡單許多，然而步驟615中執行的用戶特定自適應使本地語音識別結果有時可能比遠程語音識別結果更準確。在步驟650中，電子裝置420/520使結果再評分模塊128根據本地語音識別結果對遠程語音識別結果進行再評分以產生再評分的語音識別結果。由于再評分的語音識別結果可受收集的用戶特定信息影響，而遠程服務器可能無法存取收集的用戶特定信息，因而有可能再評分的語音識別結果可更準確表示步驟320中記錄的用戶的發言。例如，如果遠程語音識別結果為“the (5.5) weapon (0.5) today (4.0) is (3.8)good (3.2) ”，而本地語音識別結果為“the(4.4) weather (2.3) tonight (2.1) is (3.4)good(3.6) ”,則再評分的語音識別結果可能是“the weather today is good”從而正確地表示了步驟320中記錄的用戶發言。由于圖4/圖5所示的實施例包括本地語音識別器426，因此如果遠程服務器140/240故障或者網絡較慢，或者如果本地語音識別器426在本地語音識別結果中具有更高的置信分數，電子裝置420/520可跳過步驟650或跳過步驟330和步驟650并直接使用步驟640中產生的本地語音識別結果作為最終的語音識別結果。此種做法可改進電子裝置420/520提供的使用語音識別或基于語音識別的服務的用戶體驗。圖7為根據本發明一個實施例的分布式語音識別系統700的方塊圖。語音識別系統700包括電子裝置720和遠程服務器140。電子裝置720與圖1所示的電子裝置120的不同之處在于電子裝置720包括噪聲信息提取器722但并不包括信息收集器122和再評分信息產生器126。圖8為根據本發明一個實施例的分布式語音識別系統800的方塊圖。分布式語音識別系統800包括電子裝置820和遠程服務器240。電子裝置820與圖7所示的電子裝置720的不同之處在于電子裝置820不包括結果再評分模塊128。對于語音識別，電子裝置720/820比遠程服務器140/240具有一些優勢。例如，電子裝置720/820的其中一個優勢在于它距離進行語音識別的環境更近。因此，電子裝置720/820的可更容易分析辨認伴隨用戶發言的噪聲。這是由于電子裝置720/820可完好地存取記錄的發言但僅向遠程服務器140/240提供記錄的發言的壓縮版本。對于遠程服務器140/240而言使用記錄的發言的壓縮版本進行噪聲分析相對更困難。圖9為圖7/圖8的電子裝置720/820執行語音識別方法的流程圖。除了前述的步驟320以及步驟330之外，圖9的流程圖更包括步驟925和步驟950。在步驟925中，噪聲信息提取器722從記錄的發言中提取噪聲信息。例如，所提取的噪聲信息可包括信噪比(signal-to-noise ratio, SNR)值,該SNR值指示記錄的發言受噪聲污染(taint)的程度。在步驟950中，電子裝置720/820使結果再評分模塊128根據提取的噪聲信息對遠程語音識別結果進行再評分以產生再評分的語音識別結果。例如，當SNR值低時，結果再評分模塊128可對元音(vowel)提供更高的置信分數。又例如，當SNR值高時,結果再評分模塊128可對語音巾貞(speech frame)給予更高權重。由于提取的噪聲信息可影響再評分的語音識別結果，因而再評分的語音識別結果可更準確地表不步驟320中記錄的用戶的發言。在圖8中，由于結果再評分模塊128在遠程服務器240中，在步驟950中，電子裝置820必須首先發送提取的噪聲信息至遠程服務器240，等待一段時間，然后再從遠程服務器240接收再評分的語音識別結果。圖10為根據本發明一個實施例分布式語音識別系統1000的方塊圖。語音識別系統1000包括電子裝置1020和遠程服務器140。電子裝置1020與圖4所示的電子裝置420的不同之處在于電子裝置1020包括噪聲信息提取器722但并不包括信息收集器122。圖11為根據本發明一個實施例的分布式語音識別系統1100的方塊圖。分布式語音識別系統1100包括電子裝置1120和遠程服務器240。電子裝置1120與圖5所示的電子裝置520的不同之處在于電子裝置1120包括噪聲信息提取器722但并不包括信息收集器122。圖12為圖10/圖11的電子裝置1020/1120執行語音識別方法的流程圖。除了前述的步驟320、步驟925、步驟330、步驟640以及步驟650之外，圖12的流程圖更包括步驟1235。在步驟1235中，電子裝置1020/1120使用噪聲信息提取器722提供的噪聲信息自適應本地語音識別器426使用的本地語音識別模型。例如，如果所提取的噪聲信息指示記錄的發言包括許多噪聲，自適應后的本地語音識別模型可能更適合嘈雜的環境；如果所提取的噪聲信息指示記錄的發言相對無噪聲(noise-free)，自適應后的本地語音識別模型可能更適合安靜的環境。盡管自適應后的本地語音識別模型可能比遠程語音識別器142使用的遠程語音識別模型簡單許多，然而在步驟1235中執行的基于噪聲的自適應操作使步驟640中本地語音識別器426產生的本地語音識別結果有時可能比遠程語音識別結果更準確。由于圖10/圖11所示的實施例包括本地語音識別器426，因此如果遠程服務器140/240故障或者網絡較慢，或者如果本地語音識別器426在本地語音識別結果中具有更高的置信分數，電子裝置1020/1120可跳過步驟650或跳過步驟330和步驟650并直接使用步驟640中產生的本地語音識別結果作為最終的語音識別結果。此種做法可改進電子裝置1020/1120提供的使用語音識別或基于語音識別的服務的用戶體驗。在前述實施例中，電子裝置120/220/420/520/720/820/1020/1120可使用步驟350/650/950中結果再評分模塊128所提供的再評分的語音識別結果。電子裝置120/220/420/520/720/820/1020/1120可在屏幕上顯示記錄的語音識別結果、呼叫與結果中包括的姓名對應的電話號碼、將結果添加至編輯文件中、響應該結果而開始或控制應用程序或者使用結果作為搜索查詢(search query)而執行網絡搜索。在前面的具體描述中，本發明參考特定實施例來對發明進行描述。顯然，在不脫離本發明精神和后附的權利要求限定的范圍的前提下可對本發明做些許更改。相應地，具體實施方式
和附圖應看作為說明的目的而非限制目的。
權利要求
1.一種語音識別方法，用于電子裝置，該語音識別方法包括: 透過該電子裝置的用戶使用情況收集用戶特定信息，其中，該用戶特定信息特定用于該用戶； 記錄該用戶的發言； 使遠程服務器產生該記錄的發言的遠程語音識別結果； 根據該收集的用戶特定信息產生該記錄的發言的再評分信息；以及 根據該再評分信息對該遠程語音識別結果進行再評分。
2.如權利要求1所述的語音識別方法，其特征在于，該再評分信息包括本地語音識別結果，且該產生該再評分信息的步驟包括: 根據該收集的用戶特定信息自適應本地語音識別模型；以及 使用該自適應后的本地語音識別模型產生該記錄的發言的該本地語音識別結果。
3.如權利要求1所述的語音識別方法，其特征在于，該語音識別方法更包括: 避免與該遠程服務器共享至少一部分的該收集的用戶特定信息。
4.如權利要求1所述的語音識別方法，其特征在于，該收集的用戶特定信息包括該遠程服務器不能存取的信息。
5.一種語音識別方法，用于電子裝置，該語音識別方法包括: 記錄該用戶發言； 從該記錄的發言中提取噪聲信息； 使遠程服務器產生該記錄的發言的遠程語音識別結果；以及 根據該提取的噪聲信息對該遠程語音識別結果進行再評分。
6.如權利要求5所述的語音識別方法，其特征在于，該對該遠程語音識別結果進行再評分的步驟包括: 使用該提取的噪聲信息自適應本地語音識別模型； 使用該自適應后的本地語音識別模型產生該記錄的發言的本地語音識別結果； 根據該本地語音識別結果對該遠程語音識別結果進行再評分。
7.如權利要求5所述的語音識別方法，其特征在于，該提取的噪聲信息包括信噪比。
8.一種語音識別電子裝置，包括: 信息收集器，用于透過該電子裝置的用戶使用情況收集用戶特定信息，其中，該用戶特定信息特定用于該用戶； 錄音器，用于記錄該用戶發言；以及 再評分信息產生器，耦接于該信息收集器，該再評分信息產生器用于根據該收集的用戶特定信息產生該記錄的發言的再評分信息； 其中，該電子裝置用于使遠程服務器產生該記錄的發言的遠程語音識別結果，以及根據該再評分信息對該遠程語音識別結果進行再評分。
9.如權利要求8所述的語音識別電子裝置，其特征在于，該再評分信息包括本地語音識別結果，且該再評分信息產生器使用本地語音識別模型并使用該收集的用戶特定信息自適應該本地語音識別模型，以及使用該自適應后的本地語音識別模型產生該記錄的發言的該本地語音識別結果。
10.如權利要求8所述的語音識別電子裝置，其特征在于，該收集的用戶特定信息包括該電子裝置避免與該遠程服務器共享的信息。
11.如權利要求8所述的語音識別電子裝置，其特征在于，該收集的用戶特定信息包括該遠程服務器不能存取的信息。
12.—種語音識別電子裝置，包括: 錄音器，用于記錄該電子裝置的用戶發言；以及 噪聲信息提取器，耦接于該錄音器，且該噪聲信息提取器用于從該記錄的發言中提取噪聲信息； 其中，該電子裝置用于使遠程服務器產生該記錄的發言的遠程語音識別結果；并用于根據該提取的噪聲信息對該遠程語音識別結果進行再評分。
13.如權利要求12所述的語音識別電子裝置，其特征在于，該電子裝置更包括本地語音識別器，耦接于該錄音器和該噪聲信息提取器，該本地語音識別器具有本地語音識別模型，且該本地語音識別器用于根據該提取的噪聲信息自適應該本地語音識別模型，并用于使用該自適應后的本地語音識別模型產生該記錄的發言的本地語音識別結果；且該電子裝置用于根據該本地語音識別結果對該遠程語音識別結果進行再評分。
14.如權利要求12所述的語音識別電子裝置，其特征在于，該提取的噪聲信息包括信噪比。
全文摘要
本發明提供一種語音識別方法以及電子裝置。其中，所述的語音識別方法用于電子裝置，該語音識別方法包括透過電子裝置的用戶使用情況收集用戶特定信息，其中，用戶特定信息特定用于用戶；記錄用戶的發言；使遠程服務器產生記錄的發言的遠程語音識別結果；根據收集的用戶特定信息產生記錄的發言的再評分信息；以及根據再評分信息對遠程語音識別結果進行再評分。本發明提供的語音識別方法可提供相較于“云語音識別結果”更為準確可靠的語音識別結果，改進用戶體驗。
文檔編號G10L15/30GK103137129SQ201210388889
公開日2013年6月5日 申請日期2012年10月12日 優先權日2011年12月2日
發明者孫良哲, 鄭堯文, 許肇凌, 林志鴻 申請人:聯發科技股份有限公司