一種測試場景說法覆蓋度的方法和裝置制造方法
【專利摘要】本發明公開了一種測試場景說法覆蓋度的方法和裝置，以高效、準確地對語音產品的語義識別功能進行測試。所述方法包括：向測試服務器發送文本樣本的測試請求，所述文本樣本是直接以文字表示的場景說法構成的測試用樣本；將所述測試服務器返回的測試結果與預期的結果進行對比；輸出所述進行對比后的結果。與現有技術相比，本發明實施例提供的方法無需測試語義識別功能的人員海量講話，一方面可以節省測試的人力成本，無需消耗測試人員過多的體力即可完成測試，另一方面，文本樣本易于編寫、擴展，在收集到新的文本樣本后直接通過腳本就可執行，語義識別功能的測試效率高，也可根據需求反復選擇文本樣本進行回歸測試。
【專利說明】一種測試場景說法覆蓋度的方法和裝置

【技術領域】
[0001] 本發明涉及終端應用領域，具體涉及一種測試場景說法覆蓋度的方法和裝置。

【背景技術】
[0002] 隨著通信技術、特別是模式識別技術的進步，終端的語音產品的功能已經從自動 語音識別（Automatic Speech Recognition，ASR)向語義識別（Semantic Recognition，SR) 發展。所謂語義識別，是指機器在聽到人的講話內容后，能夠識別語言中承載的人的意圖。 具有語義識別的語音產品在產品成型或上市前，通常會進行語義識別方面的功能測試，以 便通過測試得到的結果獲知產品功能是否能夠達到預期，進而完善語音產品的語義識別功 能。
[0003] 鑒于語音產品更新換代快，市場競爭激烈，良好、高效的功能測試方案是語音產品 功能不斷完善，迅速占領市場的保證。現有技術提供的一種對語音產品進行功能測試的方 法是：通過人工以語音方式向語音產品輸入大量的、各種不同句式的句子，進而去驗證業務 服務器是否能夠給出對應的語義識別結果。
[0004] 上述現有技術提供的對語音產品進行功能測試的方法的主要缺陷在于，測試必須 是通過語音輸入，而測試不同場景一般需支持海量的問法，很多時候只是變通一個字或者 增加一個語氣詞就意味著是一種不同的問法。因此，通過人工以語音輸入方式對語音產品 進行語義識別功能的測試，不僅難以快速有效覆蓋不同場景進而影響測試結果的準確性， 而且實際執行時由于需要大量講話導致體力消耗較大。


【發明內容】

[0005] 本發明實施例提供一種測試場景說法覆蓋度的方法和裝置，以高效、準確地對語 音產品的語義識別功能進行測試。
[0006] -種測試場景說法覆蓋度的方法，包括：向測試服務器發送文本樣本的測試請求， 所述文本樣本是直接以文字表示的場景說法構成的測試用樣本；將所述測試服務器返回的 測試結果與預期的結果進行對比；輸出所述進行對比后的結果。
[0007] -種測試場景說法覆蓋度的裝置，所述裝置包括：
[0008] 發送模塊，用于向測試服務器發送文本樣本的測試請求，所述文本樣本是直接以 文字表示的場景說法構成的測試用樣本；
[0009] 結果對比模塊，用于將所述測試服務器返回的測試結果與預期的結果進行對比；
[0010] 結果輸出模塊，用于輸出所述進行對比后的結果。
[0011] 從上述本發明實施例可知，由于向測試服務器發送的文本樣本是直接以文字表示 的場景說法構成的測試用樣本，而不是通過測試人員說話的方式向語音產品輸入句子。因 此，與現有技術通過人工以語音方式向語音產品輸入大量的、各種不同句式的句子去測試 語義識別功能相比，本發明實施例提供的方法無需測試語義識別功能的人員海量講話，一 方面可以節省測試的人力成本，無需消耗測試人員過多的體力即可完成測試，另一方面，文 本樣本易于編寫、擴展，在收集到新的文本樣本后直接通過腳本就可執行，語義識別功能的 測試效率高，也可根據需求反復選擇文本樣本進行回歸測試。

【專利附圖】

【附圖說明】
[0012] 圖1是本發明實施例提供的測試場景說法覆蓋度的方法的基本流程示意圖；
[0013] 圖2是本發明實施例提供的測試場景說法覆蓋度的裝置邏輯結構示意圖；
[0014] 圖3是本發明另一實施例提供的測試場景說法覆蓋度的裝置邏輯結構示意圖；
[0015] 圖4是本發明另一實施例提供的測試場景說法覆蓋度的裝置邏輯結構示意圖；
[0016] 圖5-a是本發明另一實施例提供的測試場景說法覆蓋度的裝置邏輯結構示意圖；
[0017] 圖5-b是本發明另一實施例提供的測試場景說法覆蓋度的裝置邏輯結構示意圖；
[0018] 圖5-c是本發明另一實施例提供的測試場景說法覆蓋度的裝置邏輯結構示意圖；
[0019] 圖6-a是本發明另一實施例提供的測試場景說法覆蓋度的裝置邏輯結構示意圖；
[0020] 圖6_b是本發明另一實施例提供的測試場景說法覆蓋度的裝置邏輯結構示意圖；
[0021] 圖6-c是本發明另一實施例提供的測試場景說法覆蓋度的裝置邏輯結構示意圖。

【具體實施方式】
[0022] 本發明實施例提供一種測試場景說法覆蓋度的方法，包括：向測試服務器發送文 本樣本的測試請求，所述文本樣本是直接以文字表示的場景說法構成的測試用樣本；將所 述測試服務器返回的測試結果與預期的結果進行對比；輸出所述進行對比后的結果。本發 明實施例還提供相應的一種測試場景說法覆蓋度的裝置。以下分別進行詳細說明。
[0023] 本發明實施例的測試場景說法覆蓋度的方法可應用于個人電腦、智能手機等裝有 語音產品的終端，其基本流程可參考圖1，主要包括步驟：
[0024] S101，向測試服務器發送文本樣本的測試請求，所述文本樣本是直接以文字表示 的場景說法構成的測試用樣本。
[0025] 現有技術對語義識別功能進行測試時，是測試人員或其他人員向裝有語音產品的 終端輸入語音(例如，通過話筒喊話)，語音傳送到接入服務器后，由接入服務器將該語音轉 入語音識別引擎。接入服務器再將語音識別引擎返回的以文字表示的語音識別結果發送給 業務服務器進行語義識別。從上述對現有技術的描述可知，現有技術具有人工向裝有語音 產品的終端輸入語音以及語音識別引擎對語音進行識別后得出以文字表示的識別結果兩 個步驟。由于語音識別技術比較成熟，大多數語音識別引擎都能夠對語音進行有效識別，鑒 于此，本發明實施例提供的測試場景說法覆蓋度的方法可以省去語音識別這一過程，即向 測試服務器發送文本樣本而不是向接入服務器發送語音。在本發明實施例中，文本樣本是 直接以文字表示的場景說法構成的測試用樣本，可以作為測試請求的一部份內容，攜帶在 發送給測試服務器的測試請求中。所謂直接以文字表示的場景說法，是指不是將以語音表 示的場景說法通過語音識別引擎的識別后轉換成以文字表示的場景說法，而是指該場景說 法從輸入終端開始一直至發送到測試服務器都是以文本表示，中間沒有經過任何識別和/ 或轉換環節。
[0026] S102,將測試服務器返回的測試結果與預期的結果進行對比。
[0027] 作為步驟S101中文本樣本的一個實施例，文本樣本的格式可以是：文字串+預期 場景的標識（IDentifier，ID)即"文字串，預期場景的標識"，其中，文字串是前述實施例中 提及的直接以文字表示的場景說法。例如，對于一個視頻場景說法的測試，文本樣本格式可 以是"最近有什么好看的視頻，26"，其中，"最近有什么好看的視頻"就是文字串，而"26"就 是預期場景的標識。相應于文本樣本的格式是文字串+預期場景的標識這一實施例，將測 試服務器返回的測試結果與預期的結果進行對比可以是：解析測試服務器返回的測試請求 響應，獲得識別場景的標識；將識別場景的標識與預期場景的標識進行對比。例如，對于發 送給測試服務器的文本樣本"最近有什么好看的視頻，26"，終端解析測試服務器返回的測 試請求響應，獲得的識別場景的標識可能是26,也可能是其他，例如，36, 54等等。
[0028] 為了進一步進行更加精確的測試，作為步驟S101中文本樣本的另一實施例，文本 樣本的格式可以是：文字串+預期場景的標識（IDentifier，ID)+預期場景的子場景的標識 即"文字串，預期場景的標識，預期場景的子場景的標識"，類似地，文字串是前述實施例中 提及的直接以文字表示的場景說法。例如，對于一個視頻場景說法的測試，文本樣本格式可 以是"最近有什么好看的視頻，26,15"，其中，"最近有什么好看的視頻"就是文字串，而"26" 和" 15"分別是預期場景的標識和預期場景的子場景的標識。相應于文本樣本的格式是文 字串+預期場景的標識+所述預期場景的子場景的標識這一實施例，將測試服務器返回的 測試結果與預期的結果進行對比可以是：解析測試服務器返回的測試請求響應，獲得識別 場景的標識和識別場景的子場景的標識；將識別場景的標識與預期場景的標識進行對比以 及將識別場景的子場景的標識與預期場景的子場景的標識進行對比。例如，對于發送給測 試服務器的文本樣本"最近有什么好看的視頻，26,15"，終端解析測試服務器返回的測試請 求響應，獲得的識別場景的標識可能是26,也可能是其他，例如，36, 54等等；獲得的識別場 景的子場景的標識可能是15,也可能是其他，例如，12,10等等。
[0029] 上述實施例中，測試服務器返回的測試結果還可以包括結果串，其中，結果串是對 直接以文字表示的場景說法的意圖領會結果。相應地，上述測試場景說法覆蓋度的方法還 可以包括：將結果串與預期的場景說法意圖領會結果對比，以獲得語音產品對場景說法的 意圖領會的正確率。在通過發送測試請求向測試服務器發送文本樣本之前，本發明實施例 提供的測試場景說法覆蓋度的方法還包括：錄入文本樣本。錄入的文本樣本可以在終端本 地存儲，也可以異地存儲，在需要時可以從中讀取、拷貝，也可以隨時編寫文本樣本。當然， 上述的文本樣本是可以批量發送、測試服務器批量執行的，提高效率。
[0030] 為了更好地說明上述本發明實施例提供的測試場景說法覆蓋度的方法，以下以場 景是視頻場景為例進行說明，假設用于測試視頻場景的文本樣本有8個，如下表1所示：
[0031]

【權利要求】
1. 一種測試場景說法覆蓋度的方法，其特征在于，所述方法包括： 向測試服務器發送文本樣本的測試請求，所述文本樣本是直接W文字表示的場景說法 構成的測試用樣本； 將所述測試服務器返回的測試結果與預期的結果進行對比； 輸出所述進行對比后的結果。
2. 根據權利要求1所述的方法，其特征在于，所述文本樣本的格式為；文字串+預期場 景的標識，所述文字串是所述直接W文字表示的場景說法； 所述將所述測試服務器返回的測試結果與預期的結果進行對比包括： 解析所述測試服務器返回的測試請求響應，獲得識別場景的標識； 將所述識別場景的標識與所述預期場景的標識進行對比。
3. 根據權利要求1所述的方法，其特征在于，所述文本樣本的格式為；文字串+預期 場景的標識+所述預期場景的子場景的標識，所述文字串是所述直接W文字表示的場景說 法； 所述將所述測試服務器返回的測試結果與預期的結果進行對比包括： 解析所述測試服務器返回的測試請求響應，獲得識別場景的標識和所述識別場景的子 場景的標識； 將所述識別場景的標識與所述預期場景的標識進行對比W及將所述識別場景的子場 景的標識與所述預期場景的子場景的標識進行對比。
4. 根據權利要求1至3任意一項所述的方法，其特征在于，所述巧IJ試服務器返回的測試 結果還包括結果串，所述結果串是對所述直接W文字表示的場景說法的意圖領會結果； 所述方法還包括；將所述結果串與預期的場景說法意圖領會結果對比，W獲得語音產 品對場景說法的意圖領會的正確率。
5. 根據權利要求1至3任意一項所述的方法，其特征在于，向測試服務器發送文本樣本 的測試請求之前，所述方法還包括；錄入所述文本樣本。
6. -種測試場景說法覆蓋度的裝置，其特征在于，所述裝置包括： 發送模塊，用于向測試服務器發送文本樣本的測試請求，所述文本樣本是直接W文字 表示的場景說法構成的測試用樣本； 結果對比模塊，用于將所述測試服務器返回的測試結果與預期的結果進行對比； 結果輸出模塊，用于輸出所述進行對比后的結果。
7. 根據權利要求6所述的裝置，其特征在于，所述文本樣本的格式為；文字串+預期場 景的標識，所述文字串是所述直接W文字表示的場景說法； 所述結果對比模塊包括： 第一解析單元，用于解析所述測試服務器返回的測試請求響應，獲得識別場景的標 識； 第一對比單元，用于將所述識別場景的標識與所述預期場景的標識進行對比。
8. 根據權利要求6所述的裝置，其特征在于，所述文本樣本的格式為；文字串+預期 場景的標識+所述預期場景的子場景的標識，所述文字串是所述直接W文字表示的場景說 法； 所述結果對比模塊包括： 第二解析單元，用于解析所述測試服務器返回的測試請求響應，獲得識別場景的標識 和所述識別場景的子場景的標識； 第二對比單元，用于將所述識別場景的標識與所述預期場景的標識進行對比W及將所 述識別場景的子場景的標識與所述預期場景的子場景的標識進行對比。
9. 根據權利要求6至8任意一項所述的裝置，其特征在于，所述測試服務器返回的測試 結果還包括結果串，所述結果串是對所述直接W文字表示的場景說法的意圖領會結果； 所述裝置還包括：測試模塊，用于將所述結果串與預期的場景說法意圖領會結果對比， W獲得語音產品對場景說法的意圖領會的正確率。
10. 根據權利要求6至8任意一項所述的裝置，其特征在于，所述裝置還包括： 文本錄入模塊，用于錄入所述文本樣本。
【文檔編號】G10L25/48GK104347081SQ201310341998
【公開日】2015年2月11日 申請日期:2013年8月7日 優先權日:2013年8月7日
【發明者】陳玫, 徐浩, 韓貴平, 吳景, 廖玲 申請人:騰訊科技（深圳）有限公司