本發(fā)明涉及通信領(lǐng)域，具體而言，涉及一種回聲消除方法、裝置以及通話設(shè)備。

背景技術(shù)：

網(wǎng)絡(luò)電話(Voice over Internet Protocol，VoIP)就是將模擬信號(hào)數(shù)字化，以數(shù)據(jù)封包(Data Packet)的形式在IP網(wǎng)絡(luò)(IP Network)上做實(shí)時(shí)傳遞。簡(jiǎn)單的說(shuō)就是通過(guò)互聯(lián)網(wǎng)直接撥打?qū)Ψ降墓潭娫捄褪謾C(jī)，包括國(guó)內(nèi)長(zhǎng)途和國(guó)際長(zhǎng)途，而且資費(fèi)是傳統(tǒng)電話費(fèi)用的10％到20％，正因?yàn)槿绱耍W(wǎng)絡(luò)電話越來(lái)越受到人們的青睞。

但VoIP通話還存在很多問(wèn)題，比如通話中有回聲，特別是在多路通話中回聲現(xiàn)象比較嚴(yán)重。嚴(yán)重影響通話質(zhì)量，降低了用戶的體驗(yàn)。

目前針對(duì)上述問(wèn)題主要通過(guò)直接利用一些經(jīng)典去回聲算法直接對(duì)上行錄音數(shù)據(jù)進(jìn)行回聲消除。這種方法能消除回聲的效果因通話設(shè)備的不同而不同，這是因?yàn)樵械慕?jīng)典算法并未將通話設(shè)備的固有時(shí)延考慮到。特別是在現(xiàn)如今通話設(shè)備音頻模塊結(jié)構(gòu)越來(lái)越復(fù)雜，使通話設(shè)備的固有時(shí)延越來(lái)越長(zhǎng)，通話設(shè)備的固有時(shí)延對(duì)后續(xù)回聲消除的效果影響越來(lái)越大。這使經(jīng)典去回聲算法越來(lái)越不可靠。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于提供一種回聲消除方法，用以改善上述問(wèn)題。

本發(fā)明的另一目的在于提供一種回聲消除裝置，用以改善上述問(wèn)題。

本發(fā)明的另一目的在于提供一種通話設(shè)備，用以改善上述問(wèn)題。

為了實(shí)現(xiàn)上述目的，本發(fā)明實(shí)施例采用的技術(shù)方案如下：

本發(fā)明實(shí)施例提供一種回聲消除方法，用于消除通話設(shè)備的VoIP多路通話中上行的錄音數(shù)據(jù)中混入的下行的放音數(shù)據(jù)，緩存所述錄音數(shù)據(jù)以及所述放音數(shù)據(jù)；分別用時(shí)間戳標(biāo)記所述錄音數(shù)據(jù)以及所述放音數(shù)據(jù)；獲取所述通話設(shè)備的固定時(shí)延；根據(jù)所述固定時(shí)延，校正所述錄音數(shù)據(jù)的時(shí)間戳以及所述放音數(shù)據(jù)的時(shí)間戳，獲得校正錄音數(shù)據(jù)以及校正放音數(shù)據(jù)；依據(jù)所述校正放音數(shù)據(jù)對(duì)所述校正錄音數(shù)據(jù)作回聲消除處理。

本發(fā)明實(shí)施例提供還一種回聲消除裝置，用于消除通話設(shè)備的VoIP多路通話中上行的錄音數(shù)據(jù)中混入的下行的放音數(shù)據(jù)，所述裝置包括：緩存模塊，用于緩存所述錄音數(shù)據(jù)以及所述放音數(shù)據(jù)；標(biāo)記模塊，用于分別用時(shí)間戳標(biāo)記所述錄音數(shù)據(jù)以及所述放音數(shù)據(jù)；獲取模塊，用于獲取所述通話設(shè)備的固定時(shí)延；校正模塊，用于根據(jù)所述固定時(shí)延，校正所述錄音數(shù)據(jù)的時(shí)間戳以及所述放音數(shù)據(jù)的時(shí)間戳，獲得校正錄音數(shù)據(jù)以及校正放音數(shù)據(jù)；消除模塊，用于依據(jù)所述校正放音數(shù)據(jù)對(duì)所述校正錄音數(shù)據(jù)作回聲消除處理。

本發(fā)明實(shí)施例提供還一種通話設(shè)備，所述通話設(shè)備包括：存儲(chǔ)器；處理器；以及回聲消除裝置，用于消除通話設(shè)備的VoIP多路通話中上行的錄音數(shù)據(jù)中混入的下行的放音數(shù)據(jù)，所述回聲消除裝置存儲(chǔ)于所述存儲(chǔ)器中并包括一個(gè)或多個(gè)由所述處理器執(zhí)行的軟件功能模組，所述回聲消除裝置包括：緩存模塊，用于緩存所述錄音數(shù)據(jù)以及所述放音數(shù)據(jù)；標(biāo)記模塊，用于分別用時(shí)間戳標(biāo)記所述錄音數(shù)據(jù)以及所述放音數(shù)據(jù)；獲取模塊，用于獲取所述通話設(shè)備的固定時(shí)延；校正模塊，用于根據(jù)所述固定時(shí)延，校正所述錄音數(shù)據(jù)的時(shí)間戳以及所述放音數(shù)據(jù)的時(shí)間戳，獲得校正錄音數(shù)據(jù)以及校正放音數(shù)據(jù)；消除模塊，用于依據(jù)所述校正放音數(shù)據(jù)對(duì)所述校正錄音數(shù)據(jù)作回聲消除處理。

與現(xiàn)有技術(shù)相比，本發(fā)明提供的一種回聲消除方法、裝置以及通話設(shè)備。通過(guò)分別用時(shí)間戳標(biāo)記所述錄音數(shù)據(jù)以及所述放音數(shù)據(jù)；獲取所述通話設(shè)備的固定時(shí)延；根據(jù)所述固定時(shí)延，校正所述錄音數(shù)據(jù)的時(shí)間戳以及所述放音數(shù)據(jù)的時(shí)間戳，獲得校正錄音數(shù)據(jù)以及校正放音數(shù)據(jù)。這樣便將通話設(shè)備自身結(jié)構(gòu)產(chǎn)生的固定時(shí)延對(duì)后續(xù)回聲消除產(chǎn)生的影響消除，提高了回聲消除的準(zhǔn)確性，提高VoIP多路通話的通話質(zhì)量和效果，使人們?cè)谑褂肰oIP這樣的低成本的通話方式的同時(shí)也能得到高品質(zhì)的效果。

為使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能更明顯易懂，下文特舉較佳實(shí)施例，并配合所附附圖，作詳細(xì)說(shuō)明如下。

附圖說(shuō)明

為了更清楚地說(shuō)明本發(fā)明實(shí)施例的技術(shù)方案，下面將對(duì)實(shí)施例中所需要使用的附圖作簡(jiǎn)單地介紹，應(yīng)當(dāng)理解，以下附圖僅示出了本發(fā)明的某些實(shí)施例，因此不應(yīng)被看作是對(duì)范圍的限定，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他相關(guān)的附圖。

圖1為本發(fā)明較佳實(shí)施例提供的通話設(shè)備的方框示意圖。

圖2示出了本發(fā)明實(shí)施例提供的回聲消除裝置的方框示意圖。

圖3為圖2示出的回聲消除裝置中獲取模塊的方框示意圖。

圖4示出了本發(fā)明實(shí)施例提供的回聲消除方法流程圖。

圖5為圖4示出的回聲消除方法流程圖中獲取所述通話設(shè)備的固定時(shí)延子步驟流程圖。

圖6為圖4示出的回聲消除方法流程圖中對(duì)校正錄音數(shù)據(jù)作回聲消除處理的子步驟流程圖。

圖標(biāo)：100-通話設(shè)備；101-存儲(chǔ)器；102-存儲(chǔ)控制器；103-處理器；104-外設(shè)接口；105-音頻模塊；106-網(wǎng)絡(luò)通信模塊；200-回聲消除裝置；201-音頻獲得模塊；202-緩存模塊；203-標(biāo)記模塊；204-查詢模塊；205-提取單元；206-獲取模塊；207-運(yùn)算單元；208-校正模塊；209-消除模塊。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。通常在此處附圖中描述和示出的本發(fā)明實(shí)施例的組件可以以各種不同的配置來(lái)布置和設(shè)計(jì)。因此，以下對(duì)在附圖中提供的本發(fā)明的實(shí)施例的詳細(xì)描述并非旨在限制要求保護(hù)的本發(fā)明的范圍，而是僅僅表示本發(fā)明的選定實(shí)施例。基于本發(fā)明的實(shí)施例，本領(lǐng)域技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)的前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

應(yīng)注意到：相似的標(biāo)號(hào)和字母在下面的附圖中表示類似項(xiàng)，因此，一旦某一項(xiàng)在一個(gè)附圖中被定義，則在隨后的附圖中不需要對(duì)其進(jìn)行進(jìn)一步定義和解釋。同時(shí)，在本發(fā)明的描述中，術(shù)語(yǔ)“第一”、“第二”等僅用于區(qū)分描述，而不能理解為指示或暗示相對(duì)重要性。

圖1示出本發(fā)明較佳實(shí)施例提供的通話設(shè)備100的方框示意圖。通話設(shè)備100優(yōu)選為移動(dòng)終端設(shè)備，例如可以包括智能手機(jī)、平板電腦、膝上型便攜計(jì)算機(jī)、車載電腦、個(gè)人數(shù)字助理(personal digital assistant，PDA)、穿戴式移動(dòng)終端等等。所述通話設(shè)備100包括回聲消除裝置200、存儲(chǔ)器101、存儲(chǔ)控制器102、處理器103、外設(shè)接口104、音頻模塊105、網(wǎng)絡(luò)通信模塊106。

所述存儲(chǔ)器101、存儲(chǔ)控制器102、處理器103、外設(shè)接口104、音頻模塊105、網(wǎng)絡(luò)通信模塊106各元件相互之間直接或間接地電性連接，以實(shí)現(xiàn)數(shù)據(jù)的傳輸或交互。例如，這些元件相互之間可通過(guò)一條或多條通訊總線或信號(hào)線實(shí)現(xiàn)電性連接。所述回聲消除裝置200包括至少一個(gè)可以軟件或固件(firmware)的形式存儲(chǔ)于所述存儲(chǔ)器101中或固化在所述通話設(shè)備100的操作系統(tǒng)(operating system，OS)中的軟件功能模塊。所述處理器103用于執(zhí)行存儲(chǔ)器101中存儲(chǔ)的可執(zhí)行模塊，例如所述回聲消除裝置200包括的軟件功能模塊或計(jì)算機(jī)程序。

其中，存儲(chǔ)器101可以是，但不限于，隨機(jī)存取存儲(chǔ)器(Random Access Memory，RAM)，只讀存儲(chǔ)器(Read Only Memory，ROM)，可編程只讀存儲(chǔ)器(Programmable Read-Only Memory，PROM)，可擦除只讀存儲(chǔ)器(Erasable Programmable Read-Only Memory，EPROM)，電可擦除只讀存儲(chǔ)器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存儲(chǔ)器101用于存儲(chǔ)程序，所述處理器103在接收到執(zhí)行指令后，執(zhí)行所述程序，本發(fā)明任一實(shí)施例揭示的流程定義的服務(wù)器所執(zhí)行的方法可以應(yīng)用于處理器103中，或者由處理器103實(shí)現(xiàn)。

處理器103可以是一種集成電路芯片，具有信號(hào)處理能力。上述的處理器103可以是通用處理器，包括中央處理器(Central Processing Unit，CPU)、網(wǎng)絡(luò)處理器(Network Processor，NP)、語(yǔ)音處理器以及視頻處理器等；還可以是數(shù)字信號(hào)處理器、專用集成電路、現(xiàn)場(chǎng)可編程門陣列或者其他可編程邏輯器件、分立門或者晶體管邏輯器件、分立硬件組件。可以實(shí)現(xiàn)或者執(zhí)行本發(fā)明實(shí)施例中的公開的各方法、步驟及邏輯框圖。通用處理器可以是微處理器或者該處理器103也可以是任何常規(guī)的處理器等。

所述外設(shè)接口104用于將各種輸入/輸出裝置耦合至處理器103以及存儲(chǔ)器101。在一些實(shí)施例中，外設(shè)接口104、處理器103以及存儲(chǔ)控制器102可以在單個(gè)芯片中實(shí)現(xiàn)。在其他一些實(shí)例中，他們可以分別由獨(dú)立的芯片實(shí)現(xiàn)。

音頻模塊105用于向用戶提供音頻接口。在本實(shí)施例中，所述音頻模塊105可以包括一個(gè)或多個(gè)麥克風(fēng)、一個(gè)或多個(gè)揚(yáng)聲器以及音頻電路。

網(wǎng)絡(luò)通信模塊106用于接收下行放音數(shù)據(jù)以及發(fā)送上行錄音數(shù)據(jù)。在本實(shí)施例中，網(wǎng)絡(luò)通信模塊106可以但不限于是網(wǎng)絡(luò)通信芯片。

在其他實(shí)施例中通話設(shè)備100還包括視頻處理模塊，用于解碼處理視頻數(shù)據(jù)。

第一實(shí)施例

請(qǐng)參考圖2，圖2為本發(fā)明較佳實(shí)施例提供的一種回聲消除裝置200的功能模塊示意圖。回聲消除裝置200用于消除通話設(shè)備100在VoIP多路通話中上行的錄音數(shù)據(jù)中混入的下行的放音數(shù)據(jù)。回聲消除裝置200既可以消除語(yǔ)音通話中的回聲，也可以消除視頻通話中的語(yǔ)音交互部分出現(xiàn)的回聲。需要說(shuō)明的是，參與VoIP多路通話的多個(gè)通話設(shè)備100中作為發(fā)送端的通話設(shè)備100收錄聲音，將收錄的聲音作為錄音數(shù)據(jù)，并轉(zhuǎn)換為數(shù)字信號(hào)傳送至作為接收端的通話設(shè)備100，再由作為接收端的通話設(shè)備100解碼轉(zhuǎn)換為播放的聲音，也就是放音數(shù)據(jù)。放音數(shù)據(jù)是由作為發(fā)送端的通話設(shè)備100傳送過(guò)來(lái)的，所以相對(duì)于作為接收端的通話設(shè)備100來(lái)說(shuō)放音數(shù)據(jù)為下行的數(shù)據(jù)，也被稱作下行的放音數(shù)據(jù)；錄音數(shù)據(jù)是由發(fā)送端收錄的聲音，并需要傳送至作為接收端的通話設(shè)備100，所以相對(duì)作為發(fā)送端的通話設(shè)備100來(lái)說(shuō)，錄音數(shù)據(jù)為上行的數(shù)據(jù)，也被稱作上行的錄音數(shù)據(jù)。同一個(gè)通話設(shè)備100既可以作為接收端也可以作為發(fā)送端。所以通話設(shè)備100在收錄上行的錄音數(shù)據(jù)時(shí)，會(huì)將正在播放的下行的放音數(shù)據(jù)錄入其中，就造成上行的錄音數(shù)據(jù)中混入的下行的放音數(shù)據(jù)，從而產(chǎn)生有回聲的現(xiàn)象。

本發(fā)明實(shí)施例提供的回聲消除裝置200包括：音頻獲得模塊201、緩存模塊202、標(biāo)記模塊203、查詢模塊204、獲取模塊206、校正模塊208以及消除模塊209。

音頻獲得模塊201，可用于接收通過(guò)音頻模塊105錄入的錄音數(shù)據(jù)。例如，接收音頻模塊105中的麥克風(fēng)在利用VoIP多路通話過(guò)程中收錄到的聲音。音頻獲得模塊201，還可用于接收音頻模塊105接收并解碼后的放音數(shù)據(jù)。例如，接收音頻模塊105中的音頻電路在VoIP多路通話過(guò)程中接收并解碼后的需由揚(yáng)聲器播放的聲音。

緩存模塊202，用于緩存所述錄音數(shù)據(jù)以及所述放音數(shù)據(jù)。以方便后續(xù)對(duì)所述錄音數(shù)據(jù)以及所述放音數(shù)據(jù)的處理。例如，緩存模塊202可以是一個(gè)臨時(shí)存儲(chǔ)器，具備數(shù)據(jù)交換速度很快特點(diǎn)，且方便新數(shù)據(jù)快速替換已處理完的數(shù)據(jù)。在實(shí)時(shí)通話過(guò)程中，可以快速對(duì)放音數(shù)據(jù)以及錄音數(shù)據(jù)進(jìn)行處理，保證通話的實(shí)時(shí)性。

標(biāo)記模塊203，用于分別用時(shí)間戳標(biāo)記錄音數(shù)據(jù)以及放音數(shù)據(jù)。例如，分別對(duì)錄音數(shù)據(jù)以及放音數(shù)據(jù)進(jìn)行采樣點(diǎn)時(shí)間戳標(biāo)記，使每一幀錄音數(shù)據(jù)以及每一幀放音數(shù)據(jù)均有對(duì)應(yīng)的時(shí)間標(biāo)簽。為獲得通話設(shè)備100的固定時(shí)延以及消除錄音數(shù)據(jù)和放音數(shù)據(jù)的數(shù)據(jù)抖動(dòng)做準(zhǔn)備。需要說(shuō)明的是，數(shù)據(jù)抖動(dòng)會(huì)造成放音數(shù)據(jù)以及錄音數(shù)據(jù)的內(nèi)容出現(xiàn)卡頓，影響通信質(zhì)量，也妨礙之后對(duì)回聲消除的效果。

查詢模塊204，用于查詢所述通話設(shè)備100的存儲(chǔ)器101是否已存儲(chǔ)固定時(shí)延。本實(shí)施例中，通話設(shè)備100的固定時(shí)延可以預(yù)先被存儲(chǔ)至存儲(chǔ)器101內(nèi)。

請(qǐng)參照?qǐng)D3，獲取模塊206，包括提取單元205以及運(yùn)算單元207。

當(dāng)查詢模塊204查詢到存儲(chǔ)器101內(nèi)已存在所述固定時(shí)延時(shí)，獲取模塊206，用于直接從通話設(shè)備100的存儲(chǔ)器101中獲取所述固定時(shí)延。

提取單元205，用于當(dāng)查詢模塊204未查詢到存儲(chǔ)器101內(nèi)存在所述固定時(shí)延時(shí)，分別提取放音數(shù)據(jù)以及錄音數(shù)據(jù)的梅爾頻率倒譜系數(shù)特征。需要說(shuō)明的是，梅爾頻率倒譜系數(shù)(Mel-FrequencyCepstralCoefficients，MFCCs)特征就是組成梅爾頻率倒譜的系數(shù)特征。倒譜就是語(yǔ)音的頻譜圖。一段語(yǔ)音通常被分為很多幀，每幀語(yǔ)音都對(duì)應(yīng)于一個(gè)頻譜，頻譜表示頻率與能量的關(guān)系。也就是說(shuō)每一幀語(yǔ)音有他獨(dú)有的梅爾頻率倒譜系數(shù)特征。

運(yùn)算單元207，用于根據(jù)所述放音數(shù)據(jù)的梅爾頻率倒譜系數(shù)特征和時(shí)間戳以及所述錄音數(shù)據(jù)的梅爾頻率倒譜系數(shù)特征和時(shí)間戳，利用動(dòng)態(tài)時(shí)間規(guī)整，獲取所述通話設(shè)備100的固定時(shí)延。并將固定時(shí)延存儲(chǔ)于存儲(chǔ)器101。需要說(shuō)明的是固定時(shí)延即為由于通話設(shè)備100自身機(jī)構(gòu)而產(chǎn)生的放音數(shù)據(jù)從被接收到播放以及錄音數(shù)據(jù)音頻從產(chǎn)生到被收錄的時(shí)間差。不同的通話設(shè)備100具有不同復(fù)雜程度的結(jié)構(gòu)，因此對(duì)于不同的通話設(shè)備100有不同的固定時(shí)延。動(dòng)態(tài)時(shí)間規(guī)整(Dynamic Time Warping，DTW)為一種對(duì)語(yǔ)音信號(hào)進(jìn)行伸長(zhǎng)或縮短直到與標(biāo)準(zhǔn)模式的長(zhǎng)度一致的算法。運(yùn)算單元207包括處理子單元、比對(duì)子單元、時(shí)間戳獲取子單元以及分析子單元。

處理子單元，用于利用所述動(dòng)態(tài)時(shí)間規(guī)整處理所述錄音數(shù)據(jù)以及所述放音數(shù)據(jù)。例如，分別對(duì)錄音數(shù)據(jù)以及放音數(shù)據(jù)進(jìn)行壓縮或伸長(zhǎng)，使錄音數(shù)據(jù)與放音數(shù)據(jù)的長(zhǎng)度一致，以方便后續(xù)比對(duì)子單元對(duì)錄音數(shù)據(jù)以及放音數(shù)據(jù)進(jìn)行比對(duì)。

比對(duì)子單元，用于比對(duì)動(dòng)態(tài)時(shí)間規(guī)整處理后的放音數(shù)據(jù)的梅爾頻率倒譜系數(shù)特征以及錄音數(shù)據(jù)的梅爾頻率倒譜系數(shù)特征，獲取所述緩存的放音數(shù)據(jù)與所述緩存的錄音數(shù)據(jù)中相同的梅爾頻率倒譜系數(shù)特征。需要說(shuō)明的事，因?yàn)槊恳粠Z(yǔ)音有他獨(dú)有的梅爾頻率倒譜系數(shù)特征，所以可以認(rèn)定錄音數(shù)據(jù)中所包含的具有相同梅爾頻率倒譜系數(shù)特征的語(yǔ)音片段為放音數(shù)據(jù)被錄入錄音數(shù)據(jù)中的部分。

時(shí)間戳獲取子單元，用于獲得所述相同的梅爾頻率倒譜系數(shù)特征在放音數(shù)據(jù)中對(duì)應(yīng)的第一時(shí)間戳以及在錄音數(shù)據(jù)中對(duì)應(yīng)的第二時(shí)間戳。需要說(shuō)明的是，錄音數(shù)據(jù)中具有相同的梅爾頻率倒譜系數(shù)特征的語(yǔ)音片段在錄音數(shù)據(jù)標(biāo)記時(shí)間戳?xí)r被標(biāo)記了一個(gè)相應(yīng)的時(shí)間戳標(biāo)記記號(hào)，也就是第一時(shí)間戳；及放音數(shù)據(jù)中具有相同的梅爾頻率倒譜系數(shù)特征的語(yǔ)音片段在放音數(shù)據(jù)標(biāo)記時(shí)間戳?xí)r被標(biāo)記了一個(gè)相應(yīng)的時(shí)間戳標(biāo)記記號(hào)，也就是第二時(shí)間戳。

分析子單元，用于根據(jù)所述第一時(shí)間戳以及所述第二時(shí)間戳，運(yùn)算后獲取通話設(shè)備100的固定時(shí)延。

校正模塊208，用于根據(jù)所述固定時(shí)延，校正錄音數(shù)據(jù)的時(shí)間戳以及放音數(shù)據(jù)的時(shí)間戳，獲得校正錄音數(shù)據(jù)以及校正放音數(shù)據(jù)。例如，把放音數(shù)據(jù)中原有的每一個(gè)時(shí)間戳的時(shí)間值均加上固定時(shí)延形成放音數(shù)據(jù)校正后的時(shí)間戳，比如放音數(shù)據(jù)中的一幀數(shù)據(jù)時(shí)間戳為1分0秒，且固定時(shí)延為5秒，則校正放音數(shù)據(jù)中的這一幀數(shù)據(jù)的時(shí)間戳則為1分5秒。這樣能在后續(xù)消除回聲過(guò)程中，放音數(shù)據(jù)與錄音數(shù)據(jù)中具有相同梅爾頻率倒譜系數(shù)特征的數(shù)據(jù)部分在時(shí)間上對(duì)齊，以使錄音數(shù)據(jù)中混入的放音數(shù)據(jù)更完整的被剔除。使回聲消除效果更好。同時(shí)標(biāo)記時(shí)間戳以及校正還能消除錄音數(shù)據(jù)以及放音數(shù)據(jù)的數(shù)據(jù)抖動(dòng)，使通話效果更加好。

消除模塊209用于依據(jù)所述校正放音數(shù)據(jù)對(duì)所述校正錄音數(shù)據(jù)作回聲消除處理。消除模塊209包括回聲時(shí)延估計(jì)單元、回聲消除單元、濾波單元以及舒適噪音生成單元。

回聲時(shí)延估計(jì)單元，用于估計(jì)所述校正錄音數(shù)據(jù)以及所述校正放音數(shù)據(jù)的回聲時(shí)延。需要說(shuō)明的是，回聲時(shí)延為放音數(shù)據(jù)被播出后到被收錄入錄音數(shù)據(jù)的時(shí)間差，它與聲音的傳播速度有關(guān)，而與通話設(shè)備100結(jié)構(gòu)無(wú)關(guān)。

回聲消除單元，用于根據(jù)所述回聲時(shí)延、所述校正放音數(shù)據(jù)以及所述校正錄音數(shù)據(jù)，消除所述校正錄音數(shù)據(jù)中混入的所述放音數(shù)據(jù)，獲得無(wú)回聲錄音數(shù)據(jù)。例如，可以根據(jù)所述回聲時(shí)延、所述校正放音數(shù)據(jù)以及所述校正錄音數(shù)據(jù)，采用歸一化最小均方自適應(yīng)算法對(duì)校正錄音數(shù)據(jù)進(jìn)行回聲消除。

濾波單元，用于對(duì)所述無(wú)回聲錄音數(shù)據(jù)進(jìn)行非線性濾波，獲得濾波錄音數(shù)據(jù)。進(jìn)一步消除雜音，提高通話質(zhì)量。

舒適噪音生成單元，用于根據(jù)所述濾波錄音數(shù)據(jù)，利用舒適度噪音生成處理濾波錄音數(shù)據(jù)。需要說(shuō)明的是，舒適噪音生成(comfort noise generator，CNG)是一個(gè)在通話過(guò)程中出現(xiàn)短暫靜音時(shí)用來(lái)為電話通信產(chǎn)生背景噪聲的程序。這樣處理后能提高人們的通話質(zhì)量以及體驗(yàn)感。

第二實(shí)施例

請(qǐng)參考圖4，圖4為本發(fā)明較佳實(shí)施例提供的一種回聲消除方法的流程圖。回聲消除方法包括以下步驟：

步驟S101，獲取錄音數(shù)據(jù)以及放音數(shù)據(jù)。

在本發(fā)明實(shí)施例中，步驟S101可以由音頻獲得模塊201執(zhí)行。

步驟S102，緩存錄音數(shù)據(jù)以及放音數(shù)據(jù)。以方便后續(xù)對(duì)錄音數(shù)據(jù)以及放音數(shù)據(jù)的處理。

在本發(fā)明實(shí)施例中，步驟S102可以由緩存模塊202執(zhí)行。

步驟S103，分別用時(shí)間戳標(biāo)記錄音數(shù)據(jù)以及放音數(shù)據(jù)。

在本發(fā)明實(shí)施例中，步驟S103可以由標(biāo)記模塊203執(zhí)行。

步驟S104，查詢通話設(shè)備100的存儲(chǔ)器101是否已存儲(chǔ)固定時(shí)延。

在本發(fā)明實(shí)施例中，步驟S104可以由查詢模塊204執(zhí)行。當(dāng)查詢到存儲(chǔ)器101未存儲(chǔ)固定時(shí)延，則流程進(jìn)入步驟S105，通過(guò)步驟S105以及S106獲取所述通話設(shè)備100的固定時(shí)延；當(dāng)查詢模塊204查詢到存儲(chǔ)器101已存儲(chǔ)固定時(shí)延，則可以由獲取模塊206直接從存儲(chǔ)器101中獲取通話設(shè)備100的固定時(shí)延，并流程進(jìn)入步驟S107。這樣可以在已獲取固定時(shí)延的情況減少步驟，提高工作效率。

步驟S105，分別提取放音數(shù)據(jù)以及錄音數(shù)據(jù)的梅爾頻率倒譜系數(shù)特征。

在本發(fā)明實(shí)施例中，步驟S105可以由提取單元205執(zhí)行。

步驟S106，根據(jù)放音數(shù)據(jù)的梅爾頻率倒譜系數(shù)特征和時(shí)間戳以及錄音數(shù)據(jù)的梅爾頻率倒譜系數(shù)特征和時(shí)間戳，利用動(dòng)態(tài)時(shí)間規(guī)整，獲取通話設(shè)備100的固定時(shí)延。

在本發(fā)明實(shí)施例中，步驟S106可以由運(yùn)算單元207執(zhí)行。請(qǐng)參考圖5，步驟S106還包括以下子步驟：

步驟S1061，利用動(dòng)態(tài)時(shí)間規(guī)整處理錄音數(shù)據(jù)以及放音數(shù)據(jù)。

在本發(fā)明實(shí)施例中，步驟S1061可以由處理子單元執(zhí)行。

步驟S1062，比對(duì)動(dòng)態(tài)時(shí)間規(guī)整處理后的放音數(shù)據(jù)的梅爾頻率倒譜系數(shù)特征以及錄音數(shù)據(jù)的梅爾頻率倒譜系數(shù)特征，獲取放音數(shù)據(jù)與錄音數(shù)據(jù)中相同的梅爾頻率倒譜系數(shù)特征。

在本發(fā)明實(shí)施例中，步驟S1062可以由比對(duì)子單元執(zhí)行。

步驟S1063，獲得相同的梅爾頻率倒譜系數(shù)特征在放音數(shù)據(jù)中對(duì)應(yīng)的第一時(shí)間戳以及在錄音數(shù)據(jù)中對(duì)應(yīng)的第二時(shí)間戳。

在本發(fā)明實(shí)施例中，步驟S1063可以由時(shí)間戳獲取子單元執(zhí)行。

步驟S1064，根據(jù)第一時(shí)間戳以及第二時(shí)間戳，運(yùn)算后獲取通話設(shè)備100的固定時(shí)延。

在本發(fā)明實(shí)施例中，步驟S1064可以由分析子單元執(zhí)行。

步驟S107，根據(jù)固定時(shí)延，校正錄音數(shù)據(jù)的時(shí)間戳以及放音數(shù)據(jù)的時(shí)間戳，獲得校正錄音數(shù)據(jù)以及校正放音數(shù)據(jù)。

在本發(fā)明實(shí)施例中，步驟S107可以由校正模塊208執(zhí)行。

步驟S108，依據(jù)校正放音數(shù)據(jù)對(duì)校正錄音數(shù)據(jù)作回聲消除處理。

在本發(fā)明實(shí)施例中，步驟S108可以由消除模塊209執(zhí)行。請(qǐng)參考圖6，步驟S108還包括以下子步驟：

步驟S1081，估計(jì)校正錄音數(shù)據(jù)以及校正放音數(shù)據(jù)的回聲時(shí)延。

在本發(fā)明實(shí)施例中，步驟S1081可以由回聲時(shí)延估計(jì)單元執(zhí)行。

步驟S1082，根據(jù)回聲時(shí)延、校正放音數(shù)據(jù)以及校正錄音數(shù)據(jù)，消除校正錄音數(shù)據(jù)中混入的放音數(shù)據(jù)，獲得無(wú)回聲錄音數(shù)據(jù)。

在本發(fā)明實(shí)施例中，步驟S1082可以由回聲消除單元執(zhí)行。

步驟S1083，對(duì)無(wú)回聲錄音數(shù)據(jù)進(jìn)行非線性濾波，獲得濾波錄音數(shù)據(jù)。

在本發(fā)明實(shí)施例中，步驟S1083可以由濾波單元執(zhí)行。

步驟S1084，根據(jù)濾波錄音數(shù)據(jù)，利用舒適度噪音生成處理濾波錄音數(shù)據(jù)。獲得最終上行的錄音數(shù)據(jù)。

在本發(fā)明實(shí)施例中，步驟S1084可以由舒適噪音生成單元執(zhí)行。

綜上所述，本發(fā)明提供的一種回聲消除方法及裝置通過(guò)緩存所述錄音數(shù)據(jù)以及所述放音數(shù)據(jù)；并分別用時(shí)間戳標(biāo)記錄音數(shù)據(jù)以及放音數(shù)據(jù)；獲取所述通話設(shè)備的固定時(shí)延；然后利用固定時(shí)延校正所述錄音數(shù)據(jù)的時(shí)間戳以及所述放音數(shù)據(jù)的時(shí)間戳，獲得校正錄音數(shù)據(jù)以及校正放音數(shù)據(jù)。這樣便將通話設(shè)備自身結(jié)構(gòu)產(chǎn)生的時(shí)延消除對(duì)后續(xù)回聲消除的影響除去，提高了回聲消除的準(zhǔn)確性。同時(shí)消除錄音數(shù)據(jù)以及放音數(shù)據(jù)的數(shù)據(jù)波動(dòng)，避免錄音數(shù)據(jù)以及放音數(shù)據(jù)出現(xiàn)卡頓現(xiàn)象，提高通話質(zhì)量，提高VoIP多路通話的通話質(zhì)量和效果，使人們?cè)谑褂肰oIP這樣的低成本的通話方式的同時(shí)也能得到高品質(zhì)的效果。

在本申請(qǐng)所提供的幾個(gè)實(shí)施例中，應(yīng)該理解到，所揭露的裝置和方法，也可以通過(guò)其它的方式實(shí)現(xiàn)。以上所描述的裝置實(shí)施例僅僅是示意性的，例如，附圖中的流程圖和框圖顯示了根據(jù)本發(fā)明的多個(gè)實(shí)施例的裝置、方法和計(jì)算機(jī)程序產(chǎn)品的可能實(shí)現(xiàn)的體系架構(gòu)、功能和操作。在這點(diǎn)上，流程圖或框圖中的每個(gè)方框可以代表一個(gè)模塊、程序段或代碼的一部分，所述模塊、程序段或代碼的一部分包含一個(gè)或多個(gè)用于實(shí)現(xiàn)規(guī)定的邏輯功能的可執(zhí)行指令。也應(yīng)當(dāng)注意，在有些作為替換的實(shí)現(xiàn)方式中，方框中所標(biāo)注的功能也可以以不同于附圖中所標(biāo)注的順序發(fā)生。例如，兩個(gè)連續(xù)的方框?qū)嶋H上可以基本并行地執(zhí)行，它們有時(shí)也可以按相反的順序執(zhí)行，這依所涉及的功能而定。也要注意的是，框圖和/或流程圖中的每個(gè)方框、以及框圖和/或流程圖中的方框的組合，可以用執(zhí)行規(guī)定的功能或動(dòng)作的專用的基于硬件的系統(tǒng)來(lái)實(shí)現(xiàn)，或者可以用專用硬件與計(jì)算機(jī)指令的組合來(lái)實(shí)現(xiàn)。

另外，在本發(fā)明各個(gè)實(shí)施例中的各功能模塊可以集成在一起形成一個(gè)獨(dú)立的部分，也可以是各個(gè)模塊單獨(dú)存在，也可以兩個(gè)或兩個(gè)以上模塊集成形成一個(gè)獨(dú)立的部分。

所述功能如果以軟件功能模塊的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷售或使用時(shí)，可以存儲(chǔ)在一個(gè)計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中。基于這樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說(shuō)對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分或者該技術(shù)方案的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來(lái)，該計(jì)算機(jī)軟件產(chǎn)品存儲(chǔ)在一個(gè)存儲(chǔ)介質(zhì)中，包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個(gè)實(shí)施例所述方法的全部或部分步驟。而前述的存儲(chǔ)介質(zhì)包括：U盤、移動(dòng)硬盤、只讀存儲(chǔ)器(ROM，Read-Only Memory)、隨機(jī)存取存儲(chǔ)器(RAM，Random Access Memory)、磁碟或者光盤等各種可以存儲(chǔ)程序代碼的介質(zhì)。

需要說(shuō)明的是，在本文中，諸如第一和第二等之類的關(guān)系術(shù)語(yǔ)僅僅用來(lái)將一個(gè)實(shí)體或者操作與另一個(gè)實(shí)體或操作區(qū)分開來(lái)，而不一定要求或者暗示這些實(shí)體或操作之間存在任何這種實(shí)際的關(guān)系或者順序。而且，術(shù)語(yǔ)“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過(guò)程、方法、物品或者設(shè)備不僅包括那些要素，而且還包括沒(méi)有明確列出的其他要素，或者是還包括為這種過(guò)程、方法、物品或者設(shè)備所固有的要素。在沒(méi)有更多限制的情況下，由語(yǔ)句“包括一個(gè)……”限定的要素，并不排除在包括所述要素的過(guò)程、方法、物品或者設(shè)備中還存在另外的相同要素。

以上所述僅為本發(fā)明的優(yōu)選實(shí)施例而已，并不用于限制本發(fā)明，對(duì)于本領(lǐng)域的技術(shù)人員來(lái)說(shuō)，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。應(yīng)注意到：相似的標(biāo)號(hào)和字母在下面的附圖中表示類似項(xiàng)，因此，一旦某一項(xiàng)在一個(gè)附圖中被定義，則在隨后的附圖中不需要對(duì)其進(jìn)行進(jìn)一步定義和解釋。

以上所述，僅為本發(fā)明的具體實(shí)施方式，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到變化或替換，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)所述以權(quán)利要求的保護(hù)范圍為準(zhǔn)。