本發明涉及聾啞人與正常人的交互技術領域，尤其涉及一種聾啞人與正常人的輔助對話系統、方法及智能手機。

背景技術：

聾啞人由于聽覺功能的缺失，在與正常人交流中存在著較大的障礙，特別是在聾啞人就醫、購物等必須進行交流的場景，這種障礙就顯得更為突出。

通常情況下，聾啞人會隨身攜帶一個筆記本，需要交流時在本子上通過書寫文字的方式，與正常人進行交流。這種方式雖然在一定程度上解決了聾人與正常人交流的問題，但還是不很方便，一是隨時攜帶筆記本，二是交流時雙方交互寫字也不自然便捷。

為了給聾啞人與正常人之間的對話提供便利，出現了一些技術方案，主要可分為兩類：

第一類是基于手語和語音(或文字)的雙向轉換，即通過手語采集和識別裝置來獲取聾啞人的手語輸入，再轉換成語音輸出給正常人，而正常人通過語音或文字輸入，再通過文字或轉換成手語顯示給聾啞人。這類方案涉及的專利申請有一種便攜式聾啞人交流設備(申請號：201610538192.0)、聾啞人進行信息交流的方法、裝置及智能終端(申請號：201610168501.X)、一種聾啞患者交流裝置(申請號：201510706510.5)、實現聾啞人智能通訊的系統(申請號：201410783982.6)、一種聾啞人交流智能輔助系統及交流的方法(申請號：201610393525.5)、聾啞人與人的智能信息交流裝置及其交流方法(申請號：201610324696.2)、聾啞人語言轉換器(申請號：201320276478.8)、一種輔助聾啞人對話的智能眼鏡(申請號：201510419346.X)。

另一類是通過專門的裝置獲取聾啞人的腦電波進行轉換，這類方案的專利申請有聾啞人交流帽(申請號：201220639893.0)。

上述方案中，第一類方案雖然可以部分實現聾啞人與正常人的交互，但手語交互還是很不準確，采集設備在實際使用中很難操作；而語音識別由于涉及的應用場景很復雜，一般的語音識別方法也達不到實用的程度。第二類方法一方面造價很高，一般人用不起，攜帶也不方便，而且技術難度高，只能正確獲取少量的詞匯。

技術實現要素：

為了解決上述問題，本發明的目的在于提出了一種聾啞人與正常人的輔助對話系統、方法及智能手機。系統重點面向醫院、銀行、購物、出行等聾人生活中必須進行交流溝通的場景，提供了一種基于語音識別/合成的與正常人進行對話的系統。該系統基于智能手機上的多種傳感器進行智能場景感知，根據得到的場景信息進行針對性的語音端點檢測、語音增強，并選擇加載適合的語音識別模型，從而可提高語音識別的準確性至可實用級別。

具體地說，本發明公開了一種基于智能手機的聾啞人與正常人的輔助對話系統，包括：對話交互模塊、場景感知模塊、數據采集及預處理模塊、語音識別模塊、語音合成模塊，其中：

場景感知模塊，用于感知并確定聾啞人與正常人的對話場景；

數據采集及預處理模塊，用于采集正常人話音，生成聲音數據，對該聲音數據進行預處理，生成語音數據；

語音識別模塊，用于接收識別該語音數據，并加載對應該對話場景的語音識別模型，根據該語音識別模型將該語音數據識別并轉換成文字信息；

語音合成模塊，用于將聾啞人輸入對話的文本內容轉換成語音信息，并發給正常人；

對話交互模塊，用于控制整個交互流程以及聾啞人與系統之間的交互。

該聾啞人與正常人的輔助對話系統，其中該對話交互模塊，包括：

流程控制模塊，用于控制整個交互流程；

對話文本輸入模塊，用于聾啞人在觸摸屏上輸入對話的文本內容；

對話信息顯示模塊，用于將該文字信息發送到智能終端觸摸屏，顯示給聾啞人看。

該聾啞人與正常人的輔助對話系統，其中該數據采集及預處理模塊，包括根據該對話場景進行對該聲音數據的起始點和結束點檢測、去除噪音。

該聾啞人與正常人的輔助對話系統，其中該場景感知模塊，包括：

位置分析模塊，根據GPS，獲取聾啞人所處的位置數據，并根據該位置數據，通過調用地圖軟件確定聾啞人位置屬性；

運動分析模塊,根據調用運動傳感器，獲取聾啞人的運動屬性；

語義分析模塊，根據分析聾啞人首次輸入的該文本內容，獲取該文本內容的語義屬性；

場景確定模塊，根據該位置屬性、該運動屬性以及該語義屬性，通過加權融合的算法確定場景信息。

該聾啞人與正常人的輔助對話系統，其中該數據采集及預處理模塊，包括：

數據采集子模塊，用于持續實時采集該聲音數據并存入緩沖池；

數據預處理子模塊，用于從該緩沖池中取出該聲音數據，并從該聲音數據中提取語音數據，對該語音數據進行語音增強處理后發送給該語音識別模塊。

本發明還提出了一種聾啞人與正常人的輔助對話方法，其中包括以下步驟：

場景感知步驟，感知并確定聾啞人與正常人的對話場景；

數據采集及預處理步驟，采集正常人話音，生成聲音數據，對該聲音數據進行預處理，生成語音數據，并將該語音數據發送給語音識別步驟；

語音識別步驟，接收該語音數據，并加載對應該對話場景的語音識別模型，根據該語音識別模型將該語音數據識別并轉換成文字信息，該語音識別模型包括聲學模型和語言模型；

語音合成步驟，將聾啞人輸入對話的文本內容，轉換成語音信息，并發給正常人聽；

對話交互步驟，控制整個交互流程。

該聾啞人與正常人的輔助對話方法，其中該對話交互步驟，包括：

流程控制步驟，控制整個交互流程；

對話文本輸入步驟，通過觸摸屏，輸入聾啞人對話的文本內容；

對話信息顯示步驟，發送該文字信息到智能終端觸摸屏，顯示給聾啞人看。

該聾啞人與正常人的輔助對話方法，其中該數據采集及預處理步驟，包括：

數據采集步驟，持續實時采集該聲音數據并存入緩沖池；

數據預處理步驟，從該緩沖池中取出該聲音數據，并從該聲音數據中提取語音數據，對該語音數據進行語音增強處理后發送給該語音識別步驟。

該聾啞人與正常人的輔助對話方法，其中該數據預處理步驟，

每次從緩沖池中取一段固定時長的該聲音數據；

判斷該聲音數據中是否包含有語音，采用的判斷方法為基于預先訓練的分類器的方法：預先為每種場景訓練一個語音分類器，該分類器為混合高斯模型、支持向量機、人工神經網絡模型中的一種；

若判斷包含有語音，則進行記錄后，繼續取后續該聲音數據進行處理；

若判斷未包含有語音，則查詢是否有語音記錄，若沒有，則繼續取后續聲音處理，若有，則計算累計間隔時間，若該累計間隔時間小于預先規定的閾值，則繼續取后續該聲音數據進行處理，若該累計間隔時間大于預先規定的該閾值，則根據語音記錄，截取從第一次記錄到最后一次記錄時間內所包含的全部該聲音數據作為該語音數據，對該語音數據進行語音增強處理后發送給該語音識別步驟。

本發明還包括一種采用該輔助對話系統的智能手機，包括外置遠講拾音器，采用直接插入或者無線方式與智能手機連接。

本發明技術效果在于基于智能手機上的多種傳感器感知并確定對話場景，根據得到的對話場景信息進行針對性的語音檢測、語音增強，并選擇加載適合的語音識別模型，從而可提高語音識別的準確性至可實用級別。系統重點面向醫院、銀行、購物、出行等聾人生活中必須進行交流溝通的場景，提供了一種基于語音識別/合成的與正常人進行對話的系統，可大大提升聾啞人生活的便捷性，減少與正常人溝通時的障礙。

附圖說明

圖1為系統環境組成圖；

圖2為系統框圖組成圖；

圖3為交互過程的流程圖；

圖4為對話交互模塊流程圖；

圖5為場景感知模塊流程圖；

圖6為基于場景的聲音采集及預處理模塊流程圖。

具體實施方式

如圖1所示，本發明包括智能手機及外置遠講拾音器。智能手機應具有CPU、存儲器、觸摸屏、無線通信、GPS、麥克風(MIC)、揚聲器、音頻接口等模塊和器件，還具加速度和陀螺儀等運動傳感器模塊。智能手機上內置的MIC適合近距離拾音，如果使用者(聾啞人)離說話人(正常人)比較遠的話，采集聲音的效果就會降低，從而影響語音識別的準確性，通過外置的遠講MIC，就可以避免這種情況。外置MIC可以是直接插在智能手機的MIC插孔中，也可以是通過藍牙無線連接。

如圖2所示，本發明還包括運行在智能手機的一種應用系統(app)，包括對話交互模塊、場景感知模塊、數據采集及預處理模塊、語音識別模塊、語音合成模塊。

對話交互模塊，用于控制整個交互流程以及聾啞人與系統之間的交互，該對話交互模塊包括三個子模塊：流程控制模塊，與各模塊相連，用于控制整個系統按照交互流程運行；對話文本輸入模塊，用于聾啞人在觸摸屏上輸入對話的文本內容；對話信息顯示模塊，連接于語音識別模塊之后，正常人說的話，經過語音識別后，轉化成文字信息，然后將該文字信息顯示在智能手機上給聾啞人看。

數據采集及預處理模塊，用于采集正常人話音，生成聲音數據，并對該聲音數據進行預處理，生成語音數據，包括根據預先判斷的該對話場景特征進行對該聲音數據的起始點和結束點檢測、去除噪音等，并將采集到的一段完整的語音數據發送給語音識別模塊。

語音識別模塊，用于接收識別該語音數據，加載對應該對話場景的語音識別模型，并根據該語音識別模型將該語音數據轉換成文字信息，在流程控制模塊的控制下，將該文字信息發送到對話信息顯示模塊。在語音識別時，加載對應該對話場景的語音識別模型，使得該語音識別模型更適應當前場景的語音。

語音合成模塊，用于將聾啞人輸入的該文本對話內容，轉換成語音信息，并在流程控制模塊的控制下，將該語音信息發給正常人，例如用智能終端(例如智能手機)上的揚聲器播放給正常人聽。

圖3為本發明的輔助對話系統交互過程的流程圖，首先啟動系統，聾啞人通過對話文本輸入模塊首次輸入文本內容，之后場景感知模塊通過感知分析聾啞人的位置、運動信息以及該文本內容信息，確定對話場景，流程控制模塊調用語音合成模塊，播放該文本內容給對方正常人聽，對方聽后用語音回復，數據采集及預處理模塊根據該對話場景采集對方輸入語音，對其進行預處理，并判斷采集到的對方輸入語音是否完整，若不完整，則繼續采集對方輸入語音，若完整，則將處理后的語音發送給語音識別模塊，流程控制模塊調用語音識別模塊，將處理后的該語音轉換成文字信息，并將該文字信息發送給對話信息顯示模塊，顯示語音識別的內容給聾啞人看，流程控制模塊判斷對話是否結束，若沒結束，則聾啞人輸入文字(文本)內容并再次調用語音合成模塊，若是則結束對話。

下面用一個實施例來進一步說明本發明。

本發明中，智能終端采用智能手機，其主要性能指標如下：

CPU：4核1.6GHz；

操作系統：Android 6.0；

數據無線網絡：支持2G/3G/4G移動網絡；

存儲器：32GROM/4GRAM；

觸摸屏：5.5英寸2560×1440分辨率；

聲音接口類型：3.5mm 4極耳機插頭；

無線接口：WIFI、NFC、藍牙；

麥克風：MEMS麥克風；

揚聲器：立體聲外放揚聲器；

主要傳感器：GPS、加速度、陀螺儀；

本發明中，外置遠講拾音器采用某品牌的麥克風，其主要性能指標如下：

輸入聲壓：110db；

頻率響應：20Hz～20kHz；

靈敏度：-43dB；

阻抗：2.2Ω；

接口類型：3.5mm 4極耳機插頭；

指向性：全指向；

外置遠講拾音器采用直接插入或者無線的方式與智能手機連接。

本發明在上述智能手機的Android 6.0操作系統環境上開發的一種應用系統(app)，包括對話交互模塊、場景感知模塊、數據采集及預處理模塊、語音識別模塊、語音合成模塊。其中：

對話交互模塊用于控制整個交互按流程以及聾啞人與系統之間的交互，其流程見圖4。該模塊包括三個子模塊，其中：流程控制模塊，用于控制整個交互流程；對話文本輸入模塊，用于聾啞人在觸摸屏上輸入對話的文本內容；對話信息顯示模塊，用于把正常人說的話經過語音識別后的文字信息，并將該文字信息顯示在智能手機上給聾啞人看。

場景感知模塊，用于感知并確定聾啞人與正常人的對話場景，其流程見圖5。該模塊由對話交互模塊來調用，該場景感知模塊包括以下4個模塊：

位置分析模塊，通過調用智能手機上的定位模塊GPS，獲取聾啞人當時所處的位置數據，并根據該位置數據，通過調用第三方地圖軟件確定聾啞人位置屬性。本實施例中，位置屬性定義為下述五個類別之一：銀行、醫院、商店、馬路、其它。

運動分析模塊，通過調用智能手機上的運動傳感器模塊,獲取聾啞人當時的運動屬性。本實施例中，具體實施方式為：調用智能終端上的加速度計模塊，獲取加速度數據，將加速度數據積分得到速度數據，計算一段時長(參考值5-60秒，本實施例中為30秒)內的平均速度，利用預設的閾值，根據平均速度確定其運動屬性。在本實施例中，將運動屬性定義為下述三個類別之一：靜止、步行、交通工具。

語義分析模塊，分析聾啞人首次輸入的對話文本內容得到其語義屬性。本實施例中，具體實施方式為：定義語義屬性為下述五個類別之一：銀行、醫院、商店、馬路、交通工具。利用預先采集或人工生成的對應各個場景對話的文本語料預先訓練對應各個場景的主題模型。對聾啞人首次輸入的對話文本進行主題判別，確定屬于哪個主題。主題模型及主題判別可采用當前常用的方法，如基于向量空間模型(VSM)、潛在語義分析(LSA)、隱含狄利克雷分布(LDA)等。本實施例中采用向量空間模型方法，即將各個場景的訓練語料和聾啞人首次輸入的對話文本都進行分詞后表示為詞向量，然后計算詞向量間的余弦距離，選取距離最小的場景為最終判別的場景。

場景確定模塊，根據該位置屬性、該運動屬性以及該語義屬性，通過加權融合的算法確定對話場景(即場景信息，聾啞人當時所處的具體場景)。在本實施例中，將對話場景定義為如下五個類別之一：銀行、醫院、商店、馬路、交通工具。所述加權融合算法的具體過程為：首先，建立位置屬性、運動屬性、關鍵詞語義屬性的取值與場景信息的取值之間的對應關系。本實施例中，定義的對應關系為：

位置屬性：銀行->銀行，醫院->醫院，商店->商店，馬路->{馬路，交通工具}，其它->交通工具

運動屬性：{靜止、步行}->{銀行、醫院、商店、馬路}，交通工具->交通工具

關鍵詞語義屬性：銀行->銀行，醫院->醫院，商店->商店，馬路->馬路，交通工具->交通工具

接照該對應關系，可得到每種屬性下每種場景的得分：設p₁，m₁,s₁分別表示位置屬性、運動屬性、關鍵詞語義屬性下“銀行”場景的得分；p₂，m₂,s₂分別表示位置屬性、運動屬性、關鍵詞語義屬性下“醫院”場景的得分；p₃，m₃,s₃分別表示位置屬性、運動屬性、關鍵詞語義屬性下“商店”場景的得分；p₄，m₄,s₄分別表示位置屬性、運動屬性、關鍵詞語義屬性下“馬路”場景的得分；p₅，m₅,s₅分別表示位置屬性、運動屬性、關鍵詞語義屬性下“交通工具”場景的得分。若每種屬性的取值對應相應的場景，則該得分為1，否則為0。定義

S_i＝c_p*p_i+c_m*m_i+c_s*s_i,i＝1，2，3，4，5

其中，S₁-S₅分別表示最終確定的場景為“銀行”、“醫院”、“商店”、“馬路”、“交通工具”的得分，c_p,c_m,c_s分別為各屬性對應的權重，在本實施例中，取值分別為：0.3,0.3,0.4。根據S₁-S₅，選取得分最高的場景為最終確定的對話場景。

數據采集及預處理模塊用于采集正常人話音，生成聲音數據，并對該聲音數據進行預處理，生成語音數據。根據不同對話場景的特點，可以更加準確地確定對話者所說的一段語音的起始點和結束點，有針對性地去除聲音采集過程中的噪音(如汽車上的喇叭聲、場景中的人聲等等)，從而獲取這段完整的對話語音數據，送到后續的語音識別模塊進行識別。在本實施例中，采用連接至智能手機MIC口的外置遠講拾音器采集正常人話音。在另一個實施例中，采用與智能手機通過藍牙進行無線連接的外置遠講拾音器采集正常人話音。在另一個實施例中，采用智能手機內置的麥克風采集正常人話音。在本實施例中，采集的正常人話音數據為16KHz采樣、16位量化的單聲道PCM編碼數據。數據采集及預處理模塊的流程圖見圖6。該模塊包括兩個子模塊：圖6左側虛線部分為數據采集子模塊，負責持續實時采集聲音數據并存入緩沖池。圖6右側虛線部分為數據預處理子模塊，負責從緩沖池中取出數據并檢測語音數據，若檢測到語音數據后則截取完整的語音數據、對其進行語音增強處理后返回。其具體過程包括：

(1)每次從緩沖池中取一段固定時長的聲音數據。本實施例中，設定取1秒的聲音數據；

(2)對固定時長的該聲音數據，進行基于場景的語音檢測，即判斷該聲音數據中是否包含有語音。采用的方法為基于預先訓練的分類器的方法：預先為每種場景訓練一個語音分類器。分類器可采用混合高斯模型(GMM)、支持向量機(SVM)、人工神經網絡(ANN)等已有模型。在本實施例中，采用SVM模型。預先在每種場景下采集大量包含和不包含語音的聲音數據并進行相應的標記，形成訓練數據集。然后用訓練數據集訓練分類器模型。訓練方法采用當前已有的方法和工具，如libSVM工具。在數據預處理時，根據場景感知模塊所判斷得到的對話場景，采用與該對話場景對應的分類器，對當前聲音數據進行分類，判斷其是否包含有語音；

(3)若判斷包含有語音，則進行記錄后，繼續取后續聲音數據進行處理；若判斷未包含有語音，則查詢是否有語音的記錄，如沒有則繼續取后續聲音處理。如果有，則計算累計間隔時間，即最后一次記錄到語音數據的時間與當前數據的時間差，若累計間隔時間小于預先規定的閾值，則認為可能仍存在連續的語音，繼續取后續聲音處理；若累計間隔時間大于預先規定的閾值，則認為語音已經結束，進行下一步處理；

(4)根據語音記錄，截取從第一次記錄到最后一次記錄時間所包含的全部聲音數據作為語音數據，對其進行語音增強操作后返回。語音增強用于去除背景噪音，可采用當前常用的各種語音增強方法，如背景譜減法、維納濾波法等。本實施例中采用維納濾波法。

語音識別模塊用于將接收到的一段聲音數據，識別并轉換成文字信息，該模塊由對話交互模塊來調用。語音識別模塊可內置于智能手機中，也可通過網絡調用服務器端的語音識別云服務。在本實施例中，語音識別模塊通過智能手機的網絡(WI-FI或數據網絡)調用服務器的語音識別云服務。在初次進行識別時，基于場景感知模塊判斷的場景進行語音識別場景設置。根據場景設置，語音識別模塊加載相應的語音識別模型，包括針對特別場景的聲學模型和語言模型,從而提高語音識別的正確率，更加適應多種應用場景。針對特別場景的聲學模型和語言模型采用相應場景的語音或文本數據訓練得到。語音識別系統的構建和聲學模型、語言模型的訓練可采用當前已有的方法和工具。在本實施例中，語音識別模塊采用開源工具HTK(Hidden Markov Model Toolkit)構建，自動語音識別模塊采用當前已有技術構建：聲學特征為MFCC(Mel Frequency Cepstrum Coefficient)、短時能量及其一階、二階差分，聲學模型為帶調三音子的HMM(Hidden Markov Model)模型，語言模型為3-gram模型，詞表規模為120K，解碼算法為基于令牌傳遞的深度優先搜索算法。

語音合成模塊用于將正常人輸入的文字信息轉換成語音，并通過智能手機上的喇叭(揚聲器)輸出，該模塊由對話交互模塊來調用。本實施例中，語音合成模塊調用第三方的語音合成引擎。

此外，本發明還提供一種聾啞人與正常人的輔助對話方法，包括以下步驟：

場景感知步驟，感知并確定聾啞人與正常人的對話場景；

數據采集及預處理步驟，采集正常人對話聲音，生成聲音數據，對該聲音數據進行預處理，生成語音數據；

語音識別步驟，接收該語音數據，并加載對應該對話場景的語音識別模型，根據該語音識別模型將該語音數據識別并轉換成文字信息，該語音識別模型包括聲學模型和語言模型；

語音合成步驟，將聾啞人輸入對話的文本內容，轉換成語音信息，并發給正常人聽；

對話交互步驟，控制整個交互流程。

其中對話交互步驟包括：

流程控制步驟，控制整個交互流程；

對話文本輸入步驟，通過觸摸屏，輸入聾啞人對話的文本內容；

對話信息顯示步驟，發送該文字信息到智能終端觸摸屏，顯示給聾啞人看。

數據采集及預處理步驟，包括根據該對話場景進行對話語音的起始點和結束點檢測、去除噪音。

場景感知步驟，包括：

位置分析步驟，根據智能終端GPS，獲取聾啞人所處的位置數據，并調用第三方的地圖軟件，根據該位置數據，確定聾啞人位置屬性；

運動傳感器步驟,通過調用智能終端加速度和陀螺儀，獲取聾啞人的運動屬性；

語義分析步驟，根據分析聾啞人首次輸入的對話文本，獲取該對話文本的語義屬性；

場景確定步驟，根據該位置屬性、該運動屬性以及該語義屬性，通過加權融合的算法確定場景信息。

數據采集及預處理步驟，包括：

數據采集步驟，持續實時采集聲音數據并存入緩沖池；

數據預處理步驟，從該緩沖池中取出該聲音數據，并從該聲音數據中提取語音數據，對該語音數據進行語音增強處理后發送給該語音識別步驟。

用于從該緩沖池中取出該聲音數據，并從該聲音數據中提取語音數據，對該語音數據進行語音增強處理后發送給該語音識別步驟。

數據預處理步驟，

每次從緩沖池中取一段固定時長的聲音數據；

判斷該聲音數據中是否包含有語音，采用的判斷方法為基于預先訓練的分類器的方法：預先為每種場景訓練一個語音分類器，該分類器為混合高斯模型、支持向量機、人工神經網絡模型中的一種；

若判斷包含有語音，則進行記錄后，繼續取后續該聲音數據進行處理；

若判斷未包含有語音，則查詢是否有語音的記錄，若沒有，則繼續取后續聲音處理，若有，則計算累計間隔時間，若該累計間隔時間小于預先規定的閾值，則繼續取后續該聲音數據進行處理，若該累計間隔時間大于預先規定的閾值，則根據語音記錄，截取從第一次記錄到最后一次記錄時間內所包含的全部該聲音數據作為該語音數據，對該語音數據進行語音增強處理后發送給該語音識別步驟。

本發明還提出一種智能手機，包括外置遠講拾音器，該拾音器采用直接插入或者無線方式與智能手機連接。

雖然本發明以上述實施例公開，但具體實施例僅用以解釋本發明，并不用于限定本發明，任何本技術領域技術人員，在不脫離本發明的構思和范圍內，可作一些的變更和完善，故本發明的權利保護范圍以權利要求書為準。