本發明涉及語音識別技術領域，特別是涉及一種文本處理方法和裝置、以及一種用于文本處理的裝置。

背景技術：

隨著語音識別技術的不斷發展，基于語音識別的應用也越來越廣泛。語音識別技術已經滲透入家庭生活、辦公領域、娛樂等應用場景。目前，用戶可以通過例如個人計算機、筆記本電腦、平板電腦、專用的學習終端、智能手機的智能終端上外接或內置的麥克風來輸入語音信號(例如，朗讀一句話)，經由語音識別引擎完成語音識別也即語音信號到文本的轉換，并向用戶提供對應的語音識別結果。

然而，在實際應用中，講話用戶的口頭禪、結巴語等因素容易影響語音識別結果的流暢性，進而影響用戶的使用體驗。例如，語音識別結果“今天這個天氣很不錯啊”中包括講話用戶的口頭禪“這個”；又如，語音識別結果“今今天天氣不錯”中包括講話用戶的結巴語“今”，這使得語音識別結果的流暢性較差。

技術實現要素：

鑒于上述問題，提出了本發明實施例以便提供一種克服上述問題或者至少部分地解決上述問題的文本處理方法、文本處理裝置、用于文本處理的裝置，本發明實施例可以通過目標字符的過濾提高語音識別結果的流暢性，并且，可以有效避免由于從所述源文本中過濾掉目標字符而導致語言質量下降的情況，進而可以提高語音信號對應的語音識別結果的質量。

為了解決上述問題，本發明公開了一種文本處理方法，包括：

從語音信號對應的源文本中獲取符合預置過濾條件的目標字符；

對所述源文本的語言模型得分與目標文本的語言模型得分進行比較；所述目標文本為從所述源文本中過濾掉目標字符后得到的文本；

在所述目標文本的語言模型得分不低于所述源文本的語言模型得分時，將所述目標文本作為所述語音信號對應的語音識別結果輸出。

可選地，所述從語音信號對應的源文本中獲取符合預置過濾條件的目標字符，包括：

從語音信號對應的源文本中獲取與預置詞典中預置過濾字符相匹配的字符，作為目標字符。

可選地，所述預置過濾字符包括：口頭禪字符和/或話語標記字符和/或語氣字符。

可選地，所述從語音信號對應的源文本中獲取符合預置過濾條件的目標字符，包括：

對語音信號對應的源文本進行分詞，以得到所述源文本包括的詞匯；

判斷所述源文本包括的相鄰詞匯是否符合預置的結巴語識別規則，若是，則將相鄰詞匯中在前的詞匯作為目標字符。

可選地，所述預置的結巴語識別規則包括：

相鄰詞匯中在前的詞匯與在后的詞匯相同，或者，相鄰詞匯中在前的詞匯為在后的詞匯的前綴；或者

相鄰詞匯中在前的詞匯的發音與在后的詞匯的發音相同，或者，相鄰詞匯中在前的詞匯的發音與在后的詞匯的前綴的發音相同。

可選地，所述從語音信號對應的源文本中獲取符合預置過濾條件的目標字符，包括：

確定源文本對應的句子成分；

判斷所述源文本包含的相同的句子成分是否符合預置的自我糾正規則，若是，則將相同的句子成分中在前的句子成分對應的字符作為目標字符。

可選地，所述方法還包括：

在所述目標文本的語言模型得分不低于所述源文本的語言模型得分時，從所述目標文本中獲取符合預置過濾條件的第一字符；

對所述目標文本的語言模型得分與第一文本的語言模型得分進行比較；所述第一文本為從所述目標文本中過濾掉第一字符后得到的文本；

在所述第一文本的語言模型得分不低于所述目標文本的語言模型得分時，將所述第一文本作為所述語音信號對應的語音識別結果輸出；或者，在所述第一文本的語言模型得分低于所述目標文本的語言模型得分時，將所述目標文本作為所述語音信號對應的語音識別結果輸出。

另一方面，本發明公開了一種文本處理裝置，包括：

目標字符獲取模塊，用于從語音信號對應的源文本中獲取符合預置過濾條件的目標字符；

比較模塊，用于對所述源文本的語言模型得分與目標文本的語言模型得分進行比較；所述目標文本為從所述源文本中過濾掉目標字符后得到的文本；及

輸出模塊，用于在所述目標文本的語言模型得分不低于所述源文本的語言模型得分時，將所述目標文本作為所述語音信號對應的語音識別結果輸出。

可選地，所述目標字符獲取模塊包括：

第一目標字符獲取子模塊，用于從語音信號對應的源文本中獲取與預置詞典中預置過濾字符相匹配的字符，作為目標字符。

可選地，所述預置過濾字符包括：口頭禪字符和/或話語標記字符和/或語氣字符。

可選地，所述目標字符獲取模塊包括：

分詞子模塊，用于對語音信號對應的源文本進行分詞，以得到所述源文本包括的詞匯；

第一判斷子模塊，用于判斷所述源文本包括的相鄰詞匯是否符合預置的結巴語識別規則，若是，則將相鄰詞匯中在前的詞匯作為目標字符。

可選地，所述預置的結巴語識別規則包括：

相鄰詞匯中在前的詞匯與在后的詞匯相同，或者，相鄰詞匯中在前的詞匯為在后的詞匯的前綴；或者

相鄰詞匯中在前的詞匯的發音與在后的詞匯的發音相同，或者，相鄰詞匯中在前的詞匯的發音與在后的詞匯的前綴的發音相同。

可選地，所述目標字符獲取模塊包括：

句子成分確定子模塊，用于確定源文本對應的句子成分；

第二判斷子模塊，用于判斷所述源文本包含的相同的句子成分是否符合預置的自我糾正規則，若是，則將相同的句子成分中在前的句子成分對應的字符作為目標字符。

可選地，所述裝置還包括：

第一字符獲取模塊，用于在所述目標文本的語言模型得分不低于所述源文本的語言模型得分時，從所述目標文本中獲取符合預置過濾條件的第一字符；

得分比較模塊，用于對所述目標文本的語言模型得分與第一文本的語言模型得分進行比較；所述第一文本為從所述目標文本中過濾掉第一字符后得到的文本；

結果輸出模塊，用于在所述第一文本的語言模型得分不低于所述目標文本的語言模型得分時，將所述第一文本作為所述語音信號對應的語音識別結果輸出；或者，在所述第一文本的語言模型得分低于所述目標文本的語言模型得分時，將所述目標文本作為所述語音信號對應的語音識別結果輸出。

再一方面，本發明公開了一種用于文本處理的裝置，包括有存儲器，以及一個或者一個以上的程序，其中一個或者一個以上程序存儲于存儲器中，且經配置以由一個或者一個以上文本處理器執行所述一個或者一個以上程序包含用于進行以下操作的指令：

從語音信號對應的源文本中獲取符合預置過濾條件的目標字符；

對所述源文本的語言模型得分與目標文本的語言模型得分進行比較；所述目標文本為從所述源文本中過濾掉目標字符后得到的文本；

在所述目標文本的語言模型得分不低于所述源文本的語言模型得分時，將所述目標文本作為所述語音信號對應的語音識別結果輸出。

又一方面，本發明公開了一種機器可讀介質，其上存儲有指令，當由一個或多個處理器執行時，使得裝置執行前述的文本處理方法。

本發明實施例包括以下優點：

本發明實施例的目標文本可以為從所述源文本中過濾掉目標字符后得到的文本，該目標文本可以不帶有例如口頭禪字符的多余字符，故將目標文本作為語音識別結果，可以提高語音識別結果的流暢性。

并且，本發明實施例在所述目標文本的語言模型得分不低于所述源文本的語言模型得分時，將所述目標文本作為所述語音信號對應的語音識別結果輸出；由于語言模型是根據語言客觀事實而進行的語言抽象數學建模，語言模型得分可以反映文本(包括源文本或者目標文本)對應的語言質量，因此本發明實施例可以有效避免由于從所述源文本中過濾掉目標字符而導致語言質量下降的情況，進而可以提高語音信號對應的語音識別結果的質量。在應用于語音翻譯的場景時，本發明實施例還可以提高機器翻譯的質量。

附圖說明

圖1是本發明的一種語音識別系統的示例性結構示意圖；

圖2是本發明的一種文本處理方法實施例的步驟流程圖；

圖3是本發明的一種文本處理裝置實施例的結構框圖；

圖4是根據一示例性實施例示出的一種用于文本處理的裝置作為終端時的框圖；及

圖5是根據一示例性實施例示出的一種用于文本處理的裝置作為服務器時的框圖。

具體實施方式

為使本發明的上述目的、特征和優點能夠更加明顯易懂，下面結合附圖和具體實施方式對本發明作進一步詳細的說明。

本發明實施例提供了一種文本處理方案，該方案可以從語音信號對應的源文本中獲取符合預置過濾條件的目標字符；對所述源文本的語言模型得分與目標文本的語言模型得分進行比較；所述目標文本為從所述源文本中過濾掉目標字符后得到的文本；在所述目標文本的語言模型得分不低于所述源文本的語言模型得分時，將所述目標文本作為所述語音信號對應的語音識別結果輸出。

本發明實施例中，預置過濾條件可用于約束源文本中需要過濾的字符，也即，若源文本中字符符合預置過濾條件則可作為需要過濾的字符。在實際應用中，符合預置過濾條件的字符可以為源文本中的多余字符，符合預置過濾條件的字符的例子可以包括：口頭禪字符、話語標記字符、結巴字符、語氣字符等，可以理解，本發明實施例對于具體的預置過濾條件、以及符合預置過濾條件的字符的具體類型不加以限制。本發明實施例從所述源文本中過濾掉目標字符后得到目標文本，由于該目標文本可以不帶有例如口頭禪字符的多余字符，故可以提高語音識別結果的流暢性。

并且，本發明實施例可以對所述源文本的語言模型得分與目標文本的語言模型得分進行比較，并在所述目標文本的語言模型得分不低于所述源文本的語言模型得分時，將所述目標文本作為所述語音信號對應的語音識別結果輸出；由于語言模型是根據語言客觀事實而進行的語言抽象數學建模，語言模型得分可以反映文本(包括源文本或者目標文本)對應的語言質量，因此本發明實施例可以有效避免由于從所述源文本中過濾掉目標字符而導致語言質量下降的情況，進而可以提高語音信號對應的語音識別結果的質量。

本發明實施例可以應用于語音輸入、人工智能、語音翻譯等任意的需要語音識別的場景中。

參照圖1，示出了本發明的一種語音識別系統的示例性結構示意圖，其具體可以包括：語音識別裝置101和文本處理裝置102。其中，語音識別裝置101和文本處理裝置102可以作為單獨的服務器，此種情況下，二者可以基于網絡通信；或者，語音識別裝置101和文本處理裝置102可以共同設置于同一個服務器中，此種情況下，二者可以基于進程通信；可以理解，本發明實施例對于語音識別裝置101和文本處理裝置102的具體設置方式不加以限制。

其中，語音識別裝置101可用于將語音信號轉換為文本信息，具體地，語音識別裝置101可以輸出源文本。在實際應用中，語音信號可由講話用戶發出，該講話用戶可以為上述需要語音識別的場景中講話并發出語音信號的用戶，則可以通過麥克風或其他語音采集器件接收語音信號，并向語音識別裝置101發送所接收的語音信號；或者，該語音識別裝置101可以具有接收語音信號的功能。

可選地，語音識別裝置101可以采用語音識別技術將語音信號轉換為文本信息。如果將用戶語音信號記作s，對s進行一系列文本處理后得到與之相對應的語音特征序列o，記作o＝{o1，o2，…，oi，…，ot}，其中oi是第i個語音特征，t為語音特征總個數。語音信號s對應的句子可看作是由許多詞組成的一個詞串，記作w＝{w1，w2，…，wn}。語音識別的過程就是根據已知的語音特征序列o，求出最可能的詞串w，其中，i、t、n為正整數。

具體來說，語音識別是一個模型匹配的過程，在這個過程中，可以首先根據人的語音特點建立語音模型，通過對輸入的語音信號的分析，抽取所需的特征，來建立語音識別所需的模板；對用戶所輸入語音進行識別的過程即是將用戶所輸入語音的特征與所述模板比較的過程，最后確定與所述用戶所輸入語音匹配的最佳模板，從而獲得語音識別的結果。具體的語音識別算法，可采用基于統計的隱含馬爾可夫模型的訓練和識別算法，也可采用基于神經網絡的訓練和識別算法、基于動態時間歸整匹配的識別算法等等其他算法，本發明實施例對于具體的語音識別過程不加以限制。

在實際應用中，講話用戶的口頭禪、結巴語等因素容易影響語音識別結果的流暢性。例如，語音識別結果“今天這個天氣很不錯啊”、“今今天天氣不錯”等包括講話用戶的口頭禪、結巴語，故流暢性較差。

針對上述語音識別結果的流暢性較差的問題，文本處理裝置102可以從語音識別裝置101接收語音信號對應的源文本，從該源文本中獲取符合預置過濾條件的目標字符；對所述源文本的語言模型得分與目標文本的語言模型得分進行比較；所述目標文本為從所述源文本中過濾掉目標字符后得到的文本；在所述目標文本的語言模型得分不低于所述源文本的語言模型得分時，將所述目標文本作為所述語音信號對應的語音識別結果輸出。由于目標文本可以為從所述源文本中過濾掉目標字符后得到的文本，該目標文本可以不帶有例如口頭禪字符的多余字符，故可以提高語音識別結果的流暢性。并且，本發明實施例在所述目標文本的語言模型得分不低于所述源文本的語言模型得分時，將所述目標文本作為所述語音信號對應的語音識別結果輸出；由于語言模型是根據語言客觀事實而進行的語言抽象數學建模，語言模型得分可以反映文本(包括源文本或者目標文本)對應的語言質量，因此本發明實施例可以有效避免由于從所述源文本中過濾掉目標字符而導致語言質量下降的情況，進而可以提高語音信號對應的語音識別結果的質量。

方法實施例

參照圖2，示出了本發明的一種文本處理方法實施例的步驟流程圖，具體可以包括如下步驟：

步驟201、從語音信號對應的源文本中獲取符合預置過濾條件的目標字符；

步驟202、對所述源文本的語言模型得分與目標文本的語言模型得分進行比較；所述目標文本可以為從所述源文本中過濾掉目標字符后得到的文本；

步驟203、在所述目標文本的語言模型得分不低于所述源文本的語言模型得分時，將所述目標文本作為所述語音信號對應的語音識別結果輸出。

本發明實施例提供的文本處理方法可應用于裝置(如用于文本處理的裝置)的應用環境中。可選地，上述裝置可以包括：終端或服務器。其中，上述終端可以包括但不限于：智能手機、平板電腦、膝上型便攜計算機、車載電腦、臺式計算機、智能電視機、可穿戴設備等等。上述服務器可以為云服務器或者普通服務器。可以理解，本發明實施例對文本處理方法對應的具體應用環境不加以限制。

在實際應用中，本發明實施例的裝置可以從其他裝置獲取語音信號對應的源文本。或者，本發明實施例的裝置可以通過客戶端應用執行本發明實施例的文本處理方法流程，客戶端應用可以運行在裝置上，例如，該客戶端應用可以為終端上運行的任意app(應用程序，application)，該客戶端應用可以從裝置的其他應用獲取語音信號對應的源文本。或者，本發明實施例的裝置可以通過客戶端應用的功能裝置執行本發明實施例的文本處理方法流程，該功能裝置可以從客戶端應用的其他功能裝置獲取語音信號對應的源文本。可以理解，本發明實施例對于步驟201獲取語音信號對應的源文本的具體方式不加以限制。

在實際應用中，可以將語音信號對應的源文本寫入緩存區，從該緩存區讀取源文本，通過步驟201、步驟202和步驟203對讀取的源文本進行處理，并將所述目標文本作為所述語音信號對應的語音識別結果輸出。可選地，可以在裝置的內存區建立例如隊列、數組、或者鏈表的數據結構作為上述緩存區，本發明實施例對于具體的緩存區不加以限制。上述采用緩存區存儲源文本的方式能夠提高源文本的處理效率，可以理解，采用磁盤存儲源文本的方式也是可行的，本發明實施例對于源文本的具體存儲方式不加以限制。

本發明實施例中，預置過濾條件可用于約束源文本中需要過濾的目標字符，也即，若源文本中字符符合預置過濾條件則可作為需要過濾的目標字符。在實際應用中，符合預置過濾條件的目標字符可以為源文本中的多余字符，符合預置過濾條件的目標字符的例子可以包括：口頭禪字符、話語標記字符、結巴字符、語氣字符等。可以理解，本發明實施例對于符合預置過濾條件的目標字符的具體類型不加以限制

在實際應用中，本領域技術人員可以根據實際應用需求，確定所需的預置過濾條件，進而可以從語音信號對應的源文本中獲取符合預置過濾條件的目標字符。本發明實施例可以提供從語音信號對應的源文本中獲取符合預置過濾條件的目標字符的如下獲取方案：

獲取方案1

獲取方案1可以從語音信號對應的源文本中獲取與預置詞典中預置過濾字符相匹配的字符，作為目標字符。相應地，上述預置過濾條件可以為：源文本包括的字符與預置詞典中預置過濾字符相匹配。

在實際應用中，本領域技術人員可以根據實際應用需求，獲取預置過濾字符，并將收集得到的預置過濾字符保存至預置詞典。可選地，預置過濾字符的例子可以包括：口頭禪字符和/或話語標記字符和/或語氣字符等。

作為一種應用示例，可由用戶預置上述預置過濾字符，具體地，可以向用戶提供設置接口，并通過該設置接口接收用戶提交的預置過濾字符，這樣，可以使用戶根據自身的個性化習慣預置得到上述預置過濾字符，由此可以使得基于預置詞典得到的目標字符和基于目標字符得到的目標文本更加符合用戶的個性化習慣。

當然，由用戶預置上述預置過濾字符的方式只是作為應用示例，實際上，還可以獲取語料，該語料可以為與多余字符相關的語料，例如，可以從互聯網抓取該語料，或者，可以從詞典中獲取該語料等；進一步，可以對該語料進行分析，以得到上述預置過濾字符。

獲取方案2

獲取方案2中，上述從語音信號對應的源文本中獲取符合預置過濾條件的目標字符具體可以包括：對語音信號對應的源文本進行分詞，以得到所述源文本包括的詞匯；判斷所述源文本包括的相鄰詞匯是否符合預置的結巴語識別規則，若是，則將相鄰詞匯中在前的詞匯作為目標字符。相應地，上述預置過濾條件可以為：源文本包括的相鄰詞匯中的在前的詞匯、且該相鄰詞匯符合預置的結巴語識別規則。

預置的結巴語識別規則可用于識別源文本包括的結巴字符。由于通常的結巴字符會存在字符重復的特點，如“今今天天氣不錯”、“你你你不會是是要吃吃吃吃吃了我我吧”等示例中的結巴字符均存在字符重復的特點。針對字符重復的特點，獲取方案2可以針對相鄰詞匯預置對應的結巴語識別規則，并判斷所述源文本包括的相鄰詞匯是否符合預置的結巴語識別規則，由此可以實現結巴字符的識別。

所謂分詞，就是將文本切分成一個一個單獨的詞，是將連續的文本按照一定的規范重新組合成詞序列的過程。以中文分詞技術為例，分詞技術的目標就是將文本切分為一個一個單獨的中文詞語。

本發明實施例中，對語音信號對應的源文本進行分詞，可以采用的分詞方法具體可以包括：基于字符串匹配的分詞方法、基于理解的分詞方法和基于統計的分詞方法等，可以理解，本發明實施例對于對語音信號對應的源文本進行分詞的具體過程不加以限制。在本發明的一種應用示例中，待處理文本為“你好我是小明很高興認識你”，則其對應的詞序列可以包括：“你好/我是/小明/很高興/認識你”。

在本發明的一種可選實施例中，上述預置的結巴語識別規則具體可以包括：

相鄰詞匯中在前的詞匯與在后的詞匯相同，或者，相鄰詞匯中在前的詞匯為在后的詞匯的前綴；或者

相鄰詞匯中在前的詞匯的發音與在后的詞匯的發音相同，或者，相鄰詞匯中在前的詞匯的發音與在后的詞匯的前綴的發音相同。

其中，相鄰詞匯中在前的詞匯的數量、在后的詞匯的數量可以大于等于1。結巴字符重復的特點可以包括如下特點中的任一：

相鄰詞匯中在前的詞匯與在后的詞匯相同，如“你你你不會是是要吃吃吃吃吃了我我吧”包括相鄰詞匯“你/你/你”，其中，兩個在前的詞匯“你”與一個在后的詞匯“你”相同；其中，“/”表示分詞標記。

相鄰詞匯中在前的詞匯為在后的詞匯的前綴。例如，“今/今天/天氣/不錯”包括相鄰詞匯“今/今天”；其中，在前的詞匯“今”為在后的詞匯“今天”的前綴。又如，“今天/天/今天/天氣/不錯”包括相鄰詞匯“今天/天/今天/天氣”，其中，在前的詞匯“今天/天”為在后的詞匯“今天/天氣”的前綴。

在實際應用中，語音識別裝置有可能將同一發音識別為不同的文本，故本發明實施例的結巴字符重復的特點可以包括：相鄰詞匯中在前的詞匯的發音與在后的詞匯的發音相同，或者，相鄰詞匯中在前的詞匯的發音與在后的詞匯的前綴的發音相同。例如，“喝鹽/和/研發/相關”包括相鄰詞匯“喝鹽/和/研發”，其中，在前的詞匯“喝鹽”為在后的詞匯“和/研發”的前綴。

可以理解，本領域技術人員可以根據結巴字符重復的特點，采用所需的預置的結巴語識別規則，本發明實施例對于預置的結巴語識別規則不加以限制。

獲取方案3

獲取方案3中，上述從語音信號對應的源文本中獲取符合預置過濾條件的目標字符具體可以包括：確定源文本對應的句子成分；判斷所述源文本包含的相同的句子成分是否符合預置的自我糾正規則，若是，則將相同的句子成分中在前的句子成分對應的字符作為目標字符。

句子的組成成分叫句子成分，也叫句法成分。在句子中，詞與詞之間有一定的組合關系，按照不同的關系，可以把句子分為不同的組成成分。句子成分由詞或詞組充當。對于漢語而言，現代漢語里一般的句子成分有八種，即主語、謂語、賓語、動語、定語、狀語、補語和中心語；對于英語而言，其句子的組成部分通常包括主語、謂語、賓語、表語、定語、狀語、賓語補足語等；可以理解，本發明實施例還可以應用于日語、漢語、德語、俄語、意大利語等任意的語言，其他語言對應的句子成分相互參照即可。在實際應用中，可以利用句法分析工具確定源文本對應的句子成分，可以理解，本發明實施例對于源文本對應的句子成分的具體確定方式不加以限制。

在實際的講話過程中，用戶可能出現自我糾正的情況，該自我糾正的情況具體可以為：在講話中出現錯誤的情況下進行自我糾正，本發明實施例主要以在同一個句子中進行自我糾正的情況進行說明。本發明實施例通過分析，發現在同一個句子中進行自我糾正的如下特性：自我糾正通常發生在相同的句子成分之間、且相同的句子成分通常具備語義相關性。進一步，本發明實施例依據在同一個句子中進行自我糾正的特性，預置了自我糾正規則，這樣，可以判斷所述源文本包含的相同的句子成分是否符合預置的自我糾正規則，若是，則將相同的句子成分中在前的句子成分對應的字符作為目標字符。

在本發明的一種可選實施例中，預置的自我糾正規則可以包括：源文本所包含相同的句子成分的語義相關。可選地，上述語義相關可以包括：語義相反、語義相似或者相同等，這樣可以使得相同的句子成分可以涉及相同的表達，進而可以提高自我糾正的識別準確率。可以理解，上述預置的自我糾正規則只是作為可選實施例，實際上，本發明實施例對于預置的自我糾正規則不作具體限制。

在本發明的具體實施例中，相同的句子成分可以包括：主語、謂語、賓語、動語、定語、狀語、補語、或者中心語等任意的句子成分。以謂語為例，源文本“今天知道不知道吃什么”中可以包括兩個謂語成分“知道”、“不知道”，且該兩個謂語成分的語義相反，故可以認為兩個謂語成分符合預置的自我糾正規則，并將在前的謂語成分對應的字符作為目標字符。

以上通過獲取方案1至獲取方案3對從語音信號對應的源文本中獲取符合預置過濾條件的目標字符的過程進行了詳細介紹，本領域技術人員可以根據實際應用需求，采用獲取方案1至獲取方案3中的任一或者組合，或者，還可以采用從語音信號對應的源文本中獲取符合預置過濾條件的目標字符的其他獲取方案，本發明實施例對于具體的獲取方案不加以限制。

在步驟201從語音信號對應的源文本中獲取符合預置過濾條件的目標字符之后，步驟202可以對所述源文本的語言模型得分與目標文本的語言模型得分進行比較，其中，目標文本可以為從所述源文本中過濾掉目標字符后得到的文本。

自然語言處理領域中，語言模型是針對一種語言或者多種語言建立的概率模型，目的是建立一個能夠描述給定詞序列在語言中的出現的概率的分布。具體到本發明實施例，可以將語言模型描述的給定詞序列在語言中的出現的概率的分布稱為語言模型得分。可選地，可以從語料庫中獲取語料句子，對該語料句子進行分詞，并依據分詞得到的詞序列，訓練得到上述語言模型。可選地，語言模型描述的給定詞序列可以帶有標點符號、或者不帶有標點符號。在實際應用中，采用的語言模型是否帶有標點符號可以與源文本是否帶有標點符號一致，具體地，若源文本帶有標點符號，則采用的語言模型也帶有標點符號；或者，若源文本不帶有標點符號，則采用的語言模型也不帶有標點符號。

本發明實施例中，語言模型可以包括：n-gram(n元文法)語言模型，和/或，神經網絡語言模型，其中，神經網絡語言模型可以進一步包括：rnnlm(循環神經網絡語言模型，recurrentneuralnetworklanguagemodel)、cnnlm(卷積神經網絡語言模型，convolutionalneuralnetworkslanguagemodel)、dnnlm(深度神經網絡語言模型，deepneuralnetworkslanguagemodel)等。

其中，n-gram語言模型基于這樣一種假設，即第n個詞的出現只與前面n-1個詞相關，而與其它任何詞都不相關，整句的概率就是各個詞出現概率的乘積。

由于n-gram語言模型利用有限的n-1個詞(上文)來預測第n個詞，故n-gram語言模型可以具備長度為n的語義片段的語言模型得分的描述能力，例如，n可以為3、5等較為固定的且數值小于第一長度閾值的正整數。而相對于n-gram語言模型，例如rnnlm的神經網絡語言模型的一個優勢在于：可以真正充分地利用所有上文來預測下一個詞，故rnnlm可以具備長度可變的語義片段的語言模型得分的描述能力，也即，rnnlm適用于較寬長度范圍的語義片段，例如，rnnlm對應的語義片段的長度范圍可以為：1～第二長度閾值，其中，第二長度閾值可以大于第一長度閾值。其中，語義片段可用于表示帶有標點符號的詞序列、或者不帶有標點符號的詞序列。

在本發明的一種可選實施例中，可以采用n元文法語言模型和/或神經網絡語言模型，確定源文本的語言模型得分和/或目標文本的語言模型得分。

其中，采用n元文法語言模型確定源文本的語言模型得分和/或目標文本的語言模型得分的過程可以包括：針對源文本和/或目標文本包含的第一語義片段，采用n元文法語言模型確定對應的語言模型得分；對源文本和/或目標文本包含的所有第一語義片段對應的語言模型得分進行融合，以得到源文本和/或目標文本對應的語言模型得分。

可選地，可以按照從前到后的順序，通過移動方式從所述源文本和/或目標文本中獲取對應的第一語義片段，不同第一語義片段所包含字符單元的數量可以相同，相鄰的第一語義片段可以存在重復的字符單元，所述字符單元可以包括：詞匯和/或標點符號。此種情況下，可由n-gram語言模型確定第一語義片段對應的語言模型得分。假設n＝5，首字符單元的編號為1，則可以按照編號的如下順序：1-5、2-6、3-7、4-8等從所述標點添加結果中獲取對應的長度為5的第三語義片段，并利用n-gram語言模型確定各第一語義片段對應的語言模型得分，例如，將各第一語義片段輸入n-gram，則n-gram可輸出對應的語言模型得分。

可選地，上述對源文本和/或目標文本包含的所有第一語義片段對應的語言模型得分進行融合的過程可以包括：對源文本和/或目標文本包含的所有第一語義片段對應的語言模型得分進行求和、或者乘積、或者加權平均處理等，可以理解，本發明實施例對于對源文本和/或目標文本包含的所有第一語義片段對應的語言模型得分進行融合的具體過程不加以限制。

在本發明的另一種可選實施例中，采用神經網絡語言模型確定源文本的語言模型得分和/或目標文本的語言模型得分的過程可以包括：利用神經網絡語言模型，確定源文本和/或目標文本所包括所有語義片段對應的語言模型得分。由于例如rnnlm的神經網絡語言模型適用于較寬長度范圍的語義片段，故可以將源文本和/或目標文本的所有語義片段作為一個整體，由rnnlm確定源文本和/或目標文本的所有語義片段對應的語言模型得分，例如，將源文本和/或目標文本包括的所有字符單元輸入rnnlm，則rnnlm可輸出對應的語言模型得分。

步驟203在所述目標文本的語言模型得分不低于所述源文本的語言模型得分時，將所述目標文本作為所述語音信號對應的語音識別結果輸出。由于語言模型是根據語言客觀事實而進行的語言抽象數學建模，語言模型得分可以反映文本(包括源文本或者目標文本)對應的語言質量，因此本發明實施例可以有效避免由于從所述源文本中過濾掉目標字符而導致語言質量下降的情況，進而可以提高語音信號對應的語音識別結果的質量。

可以理解，在目標文本的語言模型得分低于所述源文本的語言模型得分時，可以將所述源文本作為所述語音信號對應的語音識別結果輸出，這樣可以提高語音信號對應的語音識別結果的質量。

需要說明的是，可以根據實際應用需求，循環執行本發明實施例的步驟201對應的字符獲取處理和步驟202對應的語言模型得分比較處理。具體地，在步驟203獲得作為所述語音信號對應的語音識別結果的目標文本后，可以繼續對目標文本進行字符獲取處理和比較處理，也即，可以將目標文本作為源文本輸入步驟201。

相應地，本發明實施例的方法還可以包括：在所述目標文本的語言模型得分不低于所述源文本的語言模型得分時，從所述目標文本中獲取符合預置過濾條件的第一字符；對所述目標文本的語言模型得分與第一文本的語言模型得分進行比較；所述第一文本為從所述目標文本中過濾掉第一字符后得到的文本；在所述第一文本的語言模型得分不低于所述目標文本的語言模型得分時，將所述第一文本作為所述語音信號對應的語音識別結果輸出；或者，在所述第一文本的語言模型得分低于所述目標文本的語言模型得分時，將所述目標文本作為所述語音信號對應的語音識別結果輸出。可以理解，還可以在所述第一文本的語言模型得分不低于所述目標文本的語言模型得分時，還可以繼續對第一文本進行字符獲取處理和比較處理。

在本發明的一種應用示例中，假設語音信號對應的源文本為a，從源文本a中過濾掉目標字符后得到文本b，則可以對源文本a與文本b的語言模型得分進行比較，在文本b的語言模型得分低于源文本a的語言模型得分時，將源文本a作為語音識別結果輸出。

在文本b的語言模型得分不低于源文本a的語言模型得分時，判斷文本b中是否包含符合預置過濾條件的第一字符，若否，則將文本b作為語音識別結果輸出；若是，則從文本b中過濾掉第一字符后得到文本c，對文本c與文本b的語言模型得分進行比較，在文本c的語言模型得分低于文本b的語言模型得分時，將文本b作為語音識別結果輸出。

在文本c的語言模型得分不低于源文本b的語言模型得分時，判斷文本c中是否包含符合預置過濾條件的第二字符，若否，則將文本c作為語音識別結果輸出；若是，則從文本c中過濾掉第二字符后得到文本d，對文本c與文本d的語言模型得分進行比較…以此類推。

綜上，本發明實施例的文本處理方法，目標文本可以為從所述源文本中過濾掉目標字符后得到的文本，該目標文本可以不帶有例如口頭禪字符的多余字符，故將目標文本作為語音識別結果，可以提高語音識別結果的流暢性。

并且，本發明實施例在所述目標文本的語言模型得分不低于所述源文本的語言模型得分時，將所述目標文本作為所述語音信號對應的語音識別結果輸出；由于語言模型是根據語言客觀事實而進行的語言抽象數學建模，語言模型得分可以反映文本(包括源文本或者目標文本)對應的語言質量，因此本發明實施例可以有效避免由于從所述源文本中過濾掉目標字符而導致語言質量下降的情況，進而可以提高語音信號對應的語音識別結果的質量。

需要說明的是，對于方法實施例，為了簡單描述，故將其都表述為一系列的運動動作組合，但是本領域技術人員應該知悉，本發明實施例并不受所描述的運動動作順序的限制，因為依據本發明實施例，某些步驟可以采用其他順序或者同時進行。其次，本領域技術人員也應該知悉，說明書中所描述的實施例均屬于優選實施例，所涉及的運動動作并不一定是本發明實施例所必須的。

裝置實施例

參照圖3，示出了本發明的一種處理裝置實施例的結構框圖，具體可以包括：

目標字符獲取模塊301，用于從語音信號對應的源文本中獲取符合預置過濾條件的目標字符；

比較模塊302，用于對所述源文本的語言模型得分與目標文本的語言模型得分進行比較；所述目標文本為從所述源文本中過濾掉目標字符后得到的文本；及

輸出模塊303，用于在所述目標文本的語言模型得分不低于所述源文本的語言模型得分時，將所述目標文本作為所述語音信號對應的語音識別結果輸出。

可選地，所述目標字符獲取模塊301可以包括：

第一目標字符獲取子模塊，用于從語音信號對應的源文本中獲取與預置詞典中預置過濾字符相匹配的字符，作為目標字符。

可選地，所述預置過濾字符可以包括：口頭禪字符和/或話語標記字符和/或語氣字符。

可選地，所述目標字符獲取模塊301可以包括：

分詞子模塊，用于對語音信號對應的源文本進行分詞，以得到所述源文本可以包括的詞匯；

第一判斷子模塊，用于判斷所述源文本可以包括的相鄰詞匯是否符合預置的結巴語識別規則，若是，則將相鄰詞匯中在前的詞匯作為目標字符。

可選地，所述預置的結巴語識別規則可以包括：

相鄰詞匯中在前的詞匯與在后的詞匯相同，或者，相鄰詞匯中在前的詞匯為在后的詞匯的前綴；或者

相鄰詞匯中在前的詞匯的發音與在后的詞匯的發音相同，或者，相鄰詞匯中在前的詞匯的發音與在后的詞匯的前綴的發音相同。

可選地，所述目標字符獲取模塊301可以包括：

句子成分確定子模塊，用于確定源文本對應的句子成分；

第二判斷子模塊，用于判斷所述源文本包含的相同的句子成分是否符合預置的自我糾正規則，若是，則將相同的句子成分中在前的句子成分對應的字符作為目標字符。

可選地，所述裝置還可以包括：

第一字符獲取模塊，用于在所述目標文本的語言模型得分不低于所述源文本的語言模型得分時，從所述目標文本中獲取符合預置過濾條件的第一字符；

得分比較模塊，用于對所述目標文本的語言模型得分與第一文本的語言模型得分進行比較；所述第一文本為從所述目標文本中過濾掉第一字符后得到的文本；

結果輸出模塊，用于在所述第一文本的語言模型得分不低于所述目標文本的語言模型得分時，將所述第一文本作為所述語音信號對應的語音識別結果輸出；或者，在所述第一文本的語言模型得分低于所述目標文本的語言模型得分時，將所述目標文本作為所述語音信號對應的語音識別結果輸出。

對于裝置實施例而言，由于其與方法實施例基本相似，所以描述的比較簡單，相關之處參見方法實施例的部分說明即可。

本說明書中的各個實施例均采用遞進的方式描述，每個實施例重點說明的都是與其他實施例的不同之處，各個實施例之間相同相似的部分互相參見即可。

關于上述實施例中的裝置，其中各個模塊執行操作的具體方式已經在有關該方法的實施例中進行了詳細描述，此處將不做詳細闡述說明。

本發明實施例還提供了一種文本處理裝置，包括有存儲器，以及一個或者一個以上的程序，其中一個或者一個以上程序存儲于存儲器中，且經配置以由一個或者一個以上處理器執行所述一個或者一個以上程序包含用于進行以下操作的指令：從語音信號對應的源文本中獲取符合預置過濾條件的目標字符；對所述源文本的語言模型得分與目標文本的語言模型得分進行比較；所述目標文本為從所述源文本中過濾掉目標字符后得到的文本；在所述目標文本的語言模型得分不低于所述源文本的語言模型得分時，將所述目標文本作為所述語音信號對應的語音識別結果輸出。

可選地，所述從語音信號對應的源文本中獲取符合預置過濾條件的目標字符，包括：從語音信號對應的源文本中獲取與預置詞典中預置過濾字符相匹配的字符，作為目標字符。

可選地，所述預置過濾字符包括：口頭禪字符和/或話語標記字符和/或語氣字符。

可選地，所述從語音信號對應的源文本中獲取符合預置過濾條件的目標字符，包括：對語音信號對應的源文本進行分詞，以得到所述源文本包括的詞匯；判斷所述源文本包括的相鄰詞匯是否符合預置的結巴語識別規則，若是，則將相鄰詞匯中在前的詞匯作為目標字符。

可選地，所述預置的結巴語識別規則包括：相鄰詞匯中在前的詞匯與在后的詞匯相同，或者，相鄰詞匯中在前的詞匯為在后的詞匯的前綴；或者相鄰詞匯中在前的詞匯的發音與在后的詞匯的發音相同，或者，相鄰詞匯中在前的詞匯的發音與在后的詞匯的前綴的發音相同。

可選地，所述從語音信號對應的源文本中獲取符合預置過濾條件的目標字符，包括：確定源文本對應的句子成分；判斷所述源文本包含的相同的句子成分是否符合預置的自我糾正規則，若是，則將相同的句子成分中在前的句子成分對應的字符作為目標字符。

可選地，所述裝置還經配置以由一個或者一個以上處理器執行所述一個或者一個以上程序包含用于進行以下操作的指令：在所述目標文本的語言模型得分不低于所述源文本的語言模型得分時，從所述目標文本中獲取符合預置過濾條件的第一字符；對所述目標文本的語言模型得分與第一文本的語言模型得分進行比較；所述第一文本為從所述目標文本中過濾掉第一字符后得到的文本；在所述第一文本的語言模型得分不低于所述目標文本的語言模型得分時，將所述第一文本作為所述語音信號對應的語音識別結果輸出；或者，在所述第一文本的語言模型得分低于所述目標文本的語言模型得分時，將所述目標文本作為所述語音信號對應的語音識別結果輸出。

圖4是根據一示例性實施例示出的一種用于文本處理的裝置作為終端時的框圖。例如，終端900可以是移動電話，計算機，數字廣播終端，消息收發設備，游戲控制臺，平板設備，醫療設備，健身設備，個人數字助理等。

參照圖4，終端900可以包括以下一個或多個組件：處理組件902，存儲器904，電源組件906，多媒體組件908，音頻組件910，輸入/輸出(i/o)的接口912，傳感器組件914，以及通信組件916。

處理組件902通常控制終端900的整體操作，諸如與顯示，電話呼叫，數據通信，相機操作和記錄操作相關聯的操作。處理元件902可以包括一個或多個處理器920來執行指令，以完成上述的方法的全部或部分步驟。此外，處理組件902可以包括一個或多個模塊，便于處理組件902和其他組件之間的交互。例如，處理組件902可以包括多媒體模塊，以方便多媒體組件908和處理組件902之間的交互。

存儲器904被配置為存儲各種類型的數據以支持在終端900的操作。這些數據的示例包括用于在終端900上操作的任何應用程序或方法的指令，聯系人數據，電話簿數據，消息，圖片，視頻等。存儲器904可以由任何類型的易失性或非易失性存儲設備或者它們的組合實現，如靜態隨機存取存儲器(sram)，電可擦除可編程只讀存儲器(eeprom)，可擦除可編程只讀存儲器(eprom)，可編程只讀存儲器(prom)，只讀存儲器(rom)，磁存儲器，快閃存儲器，磁盤或光盤。

電源組件906為終端900的各種組件提供電力。電源組件906可以包括電源管理系統，一個或多個電源，及其他與為終端900生成、管理和分配電力相關聯的組件。

多媒體組件908包括在所述終端900和用戶之間的提供一個輸出接口的屏幕。在一些實施例中，屏幕可以包括液晶顯示器(lcd)和觸摸面板(tp)。如果屏幕包括觸摸面板，屏幕可以被實現為觸摸屏，以接收來自用戶的輸入信號。觸摸面板包括一個或多個觸摸傳感器以感測觸摸、滑動和觸摸面板上的手勢。所述觸摸傳感器可以不僅感測觸摸或滑動運動動作的邊界，而且還檢測與所述觸摸或滑動操作相關的持續時間和壓力。在一些實施例中，多媒體組件908包括一個前置攝像頭和/或后置攝像頭。當終端900處于操作模式，如拍攝模式或視頻模式時，前置攝像頭和/或后置攝像頭可以接收外部的多媒體數據。每個前置攝像頭和后置攝像頭可以是一個固定的光學透鏡系統或具有焦距和光學變焦能力。

音頻組件910被配置為輸出和/或輸入音頻信號。例如，音頻組件910包括一個麥克風(mic)，當終端900處于操作模式，如呼叫模式、記錄模式和語音識別模式時，麥克風被配置為接收外部音頻信號。所接收的音頻信號可以被進一步存儲在存儲器904或經由通信組件916發送。在一些實施例中，音頻組件910還包括一個揚聲器，用于輸出音頻信號。

i/o接口912為處理組件902和外圍接口模塊之間提供接口，上述外圍接口模塊可以是鍵盤，點擊輪，按鈕等。這些按鈕可包括但不限于：主頁按鈕、音量按鈕、啟動按鈕和鎖定按鈕。

傳感器組件914包括一個或多個傳感器，用于為終端900提供各個方面的狀態評估。例如，傳感器組件914可以檢測到終端900的打開/關閉狀態，組件的相對定位，例如所述組件為終端900的顯示器和小鍵盤，傳感器組件914還可以檢測終端900或終端900一個組件的位置改變，用戶與終端900接觸的存在或不存在，終端900方位或加速/減速和終端900的溫度變化。傳感器組件914可以包括接近傳感器，被配置用來在沒有任何的物理接觸時檢測附近物體的存在。傳感器組件914還可以包括光傳感器，如cmos或ccd圖像傳感器，用于在成像應用中使用。在一些實施例中，該傳感器組件914還可以包括加速度傳感器，陀螺儀傳感器，磁傳感器，壓力傳感器或溫度傳感器。

通信組件916被配置為便于終端900和其他設備之間有線或無線方式的通信。終端900可以接入基于通信標準的無線網絡，如wifi，2g或3g，或它們的組合。在一個示例性實施例中，通信部件916經由廣播信道接收來自外部廣播管理系統的廣播信號或廣播相關信息。在一個示例性實施例中，所述通信部件916還包括近場通信(nfc)模塊，以促進短程通信。例如，在nfc模塊可基于射頻識別(rfid)技術，紅外數據協會(irda)技術，超寬帶(uwb)技術，藍牙(bt)技術和其他技術來實現。

在示例性實施例中，終端900可以被一個或多個應用專用集成電路(asic)、數字信號處理器(dsp)、數字信號處理設備(dspd)、可編程邏輯器件(pld)、現場可編程門陣列(fpga)、控制器、微控制器、微處理器或其他電子元件實現，用于執行上述方法。

在示例性實施例中，還提供了一種包括指令的非臨時性計算機可讀存儲介質，例如包括指令的存儲器904，上述指令可由終端900的處理器920執行以完成上述方法。例如，所述非臨時性計算機可讀存儲介質可以是rom、隨機存取存儲器(ram)、cd-rom、磁帶、軟盤和光數據存儲設備等。

圖5是根據一示例性實施例示出的一種用于文本處理的裝置作為服務器時的框圖。該服務器1900可因配置或性能不同而產生比較大的差異，可以包括一個或一個以上中央處理器(centralprocessingunits，cpu)1922(例如，一個或一個以上處理器)和存儲器1932，一個或一個以上存儲應用程序1942或數據1944的存儲介質1930(例如一個或一個以上海量存儲設備)。其中，存儲器1932和存儲介質1930可以是短暫存儲或持久存儲。存儲在存儲介質1930的程序可以包括一個或一個以上模塊(圖示沒標出)，每個模塊可以包括對服務器中的一系列指令操作。更進一步地，中央處理器1922可以設置為與存儲介質1930通信，在服務器1900上執行存儲介質1930中的一系列指令操作。

服務器1900還可以包括一個或一個以上電源1926，一個或一個以上有線或無線網絡接口1950，一個或一個以上輸入輸出接口1958，一個或一個以上鍵盤1956，和/或，一個或一個以上操作系統1941，例如windowsservertm，macosxtm，unixtm,linuxtm，freebsdtm等等。

在示例性實施例中，還提供了一種包括指令的非臨時性計算機可讀存儲介質，例如包括指令的存儲器1932，上述指令可由服務器1900的處理器執行以完成上述方法。例如，所述非臨時性計算機可讀存儲介質可以是rom、隨機存取存儲器(ram)、cd-rom、磁帶、軟盤和光數據存儲設備等。

一種非臨時性計算機可讀存儲介質，當所述存儲介質中的指令由裝置(終端或者服務器)的處理器執行時，使得裝置能夠執行一種文本處理方法，所述方法包括：從語音信號對應的源文本中獲取符合預置過濾條件的目標字符；對所述源文本的語言模型得分與目標文本的語言模型得分進行比較；所述目標文本為從所述源文本中過濾掉目標字符后得到的文本；在所述目標文本的語言模型得分不低于所述源文本的語言模型得分時，將所述目標文本作為所述語音信號對應的語音識別結果輸出。

可選地，所述從語音信號對應的源文本中獲取符合預置過濾條件的目標字符，包括：從語音信號對應的源文本中獲取與預置詞典中預置過濾字符相匹配的字符，作為目標字符。

可選地，所述預置過濾字符包括：口頭禪字符和/或話語標記字符和/或語氣字符。

可選地，所述從語音信號對應的源文本中獲取符合預置過濾條件的目標字符，包括：對語音信號對應的源文本進行分詞，以得到所述源文本包括的詞匯；判斷所述源文本包括的相鄰詞匯是否符合預置的結巴語識別規則，若是，則將相鄰詞匯中在前的詞匯作為目標字符。

可選地，所述預置的結巴語識別規則包括：相鄰詞匯中在前的詞匯與在后的詞匯相同，或者，相鄰詞匯中在前的詞匯為在后的詞匯的前綴；或者相鄰詞匯中在前的詞匯的發音與在后的詞匯的發音相同，或者，相鄰詞匯中在前的詞匯的發音與在后的詞匯的前綴的發音相同。

可選地，所述從語音信號對應的源文本中獲取符合預置過濾條件的目標字符，包括：確定源文本對應的句子成分；判斷所述源文本包含的相同的句子成分是否符合預置的自我糾正規則，若是，則將相同的句子成分中在前的句子成分對應的字符作為目標字符。

可選地，所述方法還包括：在所述目標文本的語言模型得分不低于所述源文本的語言模型得分時，從所述目標文本中獲取符合預置過濾條件的第一字符；對所述目標文本的語言模型得分與第一文本的語言模型得分進行比較；所述第一文本為從所述目標文本中過濾掉第一字符后得到的文本；在所述第一文本的語言模型得分不低于所述目標文本的語言模型得分時，將所述第一文本作為所述語音信號對應的語音識別結果輸出；或者，在所述第一文本的語言模型得分低于所述目標文本的語言模型得分時，將所述目標文本作為所述語音信號對應的語音識別結果輸出。

本領域技術人員在考慮說明書及實踐這里公開的發明后，將容易想到本發明的其它實施方案。本發明旨在涵蓋本發明的任何變型、用途或者適應性變化，這些變型、用途或者適應性變化遵循本發明的一般性原理并包括本公開未公開的本技術領域中的公知常識或慣用技術手段。說明書和實施例僅被視為示例性的，本發明的真正范圍和精神由下面的權利要求指出。

應當理解的是，本發明并不局限于上面已經描述并在附圖中示出的精確結構，并且可以在不脫離其范圍進行各種修改和改變。本發明的范圍僅由所附的權利要求來限制

以上所述僅為本發明的較佳實施例，并不用以限制本發明，凡在本發明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發明的保護范圍之內。

以上對本發明所提供的一種文本處理方法、一種文本處理裝置、以及一種用于文本處理的裝置，進行了詳細介紹，本文中應用了具體個例對本發明的原理及實施方式進行了闡述，以上實施例的說明只是用于幫助理解本發明的方法及其核心思想；同時，對于本領域的一般技術人員，依據本發明的思想，在具體實施方式及應用范圍上均會有改變之處，綜上所述，本說明書內容不應理解為對本發明的限制。