本發明涉及本發明涉及一種語音通信領域的噪聲消除技術,特別是基于通信終端的位置、對發送端音頻信號進行噪聲消除的技術,可應用于單對單音頻通話及多方音頻通話領域。
背景技術:
隨著互聯網、移動互聯網基礎設施的不斷完善,人們在生活和工作中對即時通信軟件的使用頻率越來越高,其中的語音通話功能大有取代傳統的電話業務之勢,實時語音通話仍然是當前及未來人們遠距離溝通的主要手段。出于歷史原因,語音通信領域傳統的語音編碼算法或標準均采用由終端完成背景噪聲類型的檢測及背景噪聲的消除,但受限于終端軟硬件能力,這種背景噪聲消除的技術往往僅能根據終端自身采集到的聲音估計其所處環境的噪聲,也僅能采用預置的噪聲消除算法,這就造成了最終噪聲消除的效果仍然存在不盡如人意之處。
通信技術從模擬方式發展到數字方式后,為了提高通信系統的容量,聲音信號在進行網絡傳輸前必須要先進行編碼。國際電報電話咨詢委員會(CCITT)、國際標準化組織(ISO)、美國電信工業協會(TIA/EIA)、第三代合作伙伴計劃(3GPP)等組織先后提出了一系列有關語音編碼的建議和標準,如應用于公共電話網中針對200~3400Hz窄帶語音信號進行編解碼的G.711(64kb/s)和G.721(32kb/s),應用于綜合業務數字網傳輸寬帶音頻數據的G.722標準,應用于VOIP的G.729(8kb/s)和G.723,應用于衛星通信的G.728(16kb/s和8kb/s),應用于互聯網語音通話的GIPS(變速率),應用于移動通信系統的AMR、WB-AMR、EVRC等。這些標準或建議中大部分都包含了在語音編碼前對背景噪聲進行識別和噪聲抑制、提升解碼聲音質量的技術,而且這些噪聲抑制的方法均在終端中以預置算法的方式實現。
隨著云計算、大數據和機器學習技術的發展,使得通過終端收集環境數據、在云端通過大數據分析和機器學習技術對環境數據進行分析、歸類,進而更準確地估計終端所處環境的背景噪聲成為了可能。再加上人類的社會化屬性,人們的語音通信活動所處的環境在時間和空間維度都存在大量的重合,這一事實,這就意味著如果能夠把每個人在與他人進行語音通信時的背景噪聲都收集起來,再通過大數據分析和機器學習,就能夠獲得按照空間和時間進行分類的背景噪聲,并且在時間維度上存在周期性分布的特性。進而,通過對這些經過分類的背景噪聲進行訓練還可以獲得更有針對性的噪聲消除算法,從而使得經過噪聲消除處理后的語音質量更高,進一步提升用戶的通話體驗。
現有的噪聲消除技術作為音頻編碼器的一部分,一般預置在終端上,由終端在進行音頻壓縮編碼前完成。現有方案均表現為在終端上預置一種噪聲消除算法,在進行噪聲消除時,算法通過不斷迭代來學習背景噪聲的特征,并相應優化算法的各種參數。可以看出,現有方案的最大缺陷就是受限于終端的軟硬件能力,無法在終端上實現高復雜度、高準確性的噪聲識別算法,終端無法快速、準確地識別出所處環境的背景噪聲,從而無法快速獲得針對當前噪聲的最佳噪聲消除方案。
技術實現要素:
本發明的為了克服現有語音或視頻通話過程中由終端完成噪聲抑制的實現方案的不足之處,提供了一種基于位置信息的背景噪聲消除方法及裝置。
本發明提供的基于位置信息的背景噪聲消除方法,包括:
獲知終端的位置信息;
根據所述終端的位置信息確定所述終端的噪聲消除策略,或者,根據時間信息和所述終端的位置信息確定所述終端的噪聲消除策略;
將所述噪聲消除策略通知至所述終端,或者使用所述噪聲消除策略對所述終端的聲音數據進行背景噪聲消除處理。
上述方法還具有以下特點:
所述位置信息包括地理信息和速度信息,所述地理信息包括地理坐標
和/或場所類別,所述速度信息包括運動速度和/或運動加速度。
上述方法還具有以下特點:
所述根據所述終端的位置信息確定所述終端的噪聲消除策略包括:將所述位置信息映射為空間標簽,在噪聲消除策略數據庫中查詢與所述空間標簽對應的背景噪聲類型,查詢與所述背景噪聲類型對應的噪聲消除策略集,選擇噪聲消除策略集中優先級別最高的噪聲消除策略;
所述根據時間信息和所述終端的位置信息確定所述終端的噪聲消除策略包括:將所述時間信息映射為時間標簽,將所述位置信息映射為空間標簽,將所述時間標簽和所述空間標簽構成時空標簽,在噪聲消除策略數據庫中查詢與所述時空標簽對應的背景噪聲類型,查詢與所述背景噪聲類型對應的噪聲消除策略集,選擇噪聲消除策略集中優先級別最高的噪聲消除策略。
上述方法還具有以下特點:
所述方法還包括:獲取所述終端的背景噪聲數據;
所述根據所述終端的位置信息確定所述終端的噪聲消除策略包括:提取所述背景噪聲數據的特征向量,將所述位置信息映射為空間標簽,在噪聲消除策略數據庫查詢與所述空間標簽對應的背景噪聲集合,確定所述背景噪聲集合所對應的所有噪聲特征向量中與所述背景噪聲數據的特征向量最匹配的噪聲特征向量,確定此噪聲特征向量所對應的背景噪聲類型,確定此背景噪聲類型對應的噪聲消除策略集中優先級最高的噪聲消除策略;
所述根據時間信息和所述終端的位置信息確定所述終端的噪聲消除策略包括:提取所述背景噪聲數據的特征向量,將所述時間信息映射為時間標簽,將所述位置信息映射為空間標簽,將所述時間標簽和所述空間標簽構成時空標簽,在噪聲消除策略數據庫查詢與所述時空標簽對應的背景噪聲集合,確定所述背景噪聲集合所對應的所有噪聲特征向量中與所述背景噪聲數據的特征向量最匹配的噪聲特征向量,確定此噪聲特征向量所對應的背景噪聲類型,確定此背景噪聲類型對應的噪聲消除策略集中優先級最高的噪聲消除策略。
上述方法還具有以下特點:
所述方法還包括所述服務器構建所述噪聲消除策略數據庫的方法,具體包括:所述服務器獲得終端的背景噪聲樣本數據和位置信息,將所述位置信息映射為空間標簽,將相同空間標簽的背景噪聲樣本數據存儲為背景噪聲樣本集,針對每個背景噪聲樣本集提取各背景噪聲樣本的噪聲參數并通過分類器進行分類訓練獲得多個特征向量,每個特征向量對應于一個背景噪聲類型,為每個背景噪聲類型設置與其對應的噪聲消除策略集;
或者,所述服務器獲得終端的背景噪聲樣本數據和位置信息和時間信息,將所述位置信息映射為空間標簽,將所述時間信息映射為時間標簽,將所述時間標簽和所述空間標簽構成時空標簽,將相同時空標簽的背景噪聲樣本數據存儲為背景噪聲樣本集,針對每個背景噪聲樣本集提取各背景噪聲樣本的噪聲參數并通過分類器進行分類訓練獲得多個特征向量,每個特征向量對應于一個背景噪聲類型,為每個背景噪聲類型設置與其對應的噪聲消除策略集;
其中,所述確定所述背景噪聲集合所對應的所有噪聲特征向量中與所述背景噪聲數據的特征向量最匹配的噪聲特征向量包括:計算所述背景噪聲數據的噪聲參數,根據所述分類器計算得到此噪聲參數對應的特征向量,計算此特征向量與所述背景噪聲集所對應的各噪聲特征向量的匹配距離,最小的匹配距離所對應噪聲特征向量為與所述背景噪聲數據的特征向量最匹配的噪聲特征向量。
上述方法還具有以下特點:
所述方法還包括:接收終端返回的針對此噪聲消除策略的評分,根據此評分更新與所述背景噪聲類型對應的噪聲消除策略集中相應噪聲消除策略的優先級別。
本發明提供的應用于服務器中的基于位置信息的背景噪聲消除裝置,包括:位置信息獲取模塊、分析模塊,處理模塊、通信模塊;
位置信息獲取模塊用于獲取終端的位置信息;
分析模塊用于根據所述終端的位置信息確定所述終端的噪聲消除策略,或者,根據時間信息和所述終端的位置信息確定所述終端的噪聲消除策略;
處理模塊用于使用所述噪聲消除策略對所述終端的聲音數據進行背景噪聲消除處理;
通信模塊用于將所述噪聲消除策略通知至所述終端。
上述基于位置信息的背景噪聲消除裝置還具有以下特點:
所述分析模塊包括:噪聲消除策略庫、映射單元、噪聲消除策略確定單元;
所述映射單元,用于將所述位置信息映射為空間標簽,或者,將所述時間信息映射為時間標簽,將所述位置信息映射為空間標簽,將所述時間標簽和所述空間標簽構成時空標簽;
所述噪聲消除策略確定單元,用于在噪聲消除策略數據庫中查詢與所述空間標簽對應的背景噪聲類型,查詢與所述背景噪聲類型對應的噪聲消除策略集,選擇噪聲消除策略集中優先級別最高的噪聲消除策略,或者,在噪聲消除策略數據庫中查詢與所述時空標簽對應的背景噪聲類型,查詢與所述背景噪聲類型對應的噪聲消除策略集,選擇噪聲消除策略集中優先級別最高的噪聲消除策略;
或者,所述分析模塊包括:噪聲消除策略庫、背景噪聲數據獲取單元、映射單元、噪聲消除策略確定單元;
所述背景噪聲數據獲取單元,用于獲取所述終端的背景噪聲數據;
所述映射單元,用于將所述位置信息映射為空間標簽,或者,將所述時間信息映射為時間標簽,將所述位置信息映射為空間標簽,將所述時間標簽和所述空間標簽構成時空標簽;
所述噪聲消除策略確定單元,用于提取所述背景噪聲數據的特征向量,在噪聲消除策略數據庫查詢與所述空間標簽對應的背景噪聲集合,確定所述背景噪聲集合所對應的所有噪聲特征向量中與所述背景噪聲數據的特征向量最匹配的噪聲特征向量,確定此噪聲特征向量所對應的背景噪聲類型,確定此背景噪聲類型對應的噪聲消除策略集中優先級最高的噪聲消除策略;或者,提取所述背景噪聲數據的特征向量,在噪聲消除策略數據庫查詢與所述時空標簽對應的背景噪聲集合,確定所述背景噪聲集合所對應的所有噪聲特征向量中與所述背景噪聲數據的特征向量最匹配的噪聲特征向量,確定此噪聲特征向量所對應的背景噪聲類型,確定此背景噪聲類型對應的噪聲消除策略集中優先級最高的噪聲消除策略。
本發明還提供了一種基于位置信息的背景噪聲消除方法,包括:
終端將位置信息發送至服務器,或者將位置信息和采集到的背景噪聲數據發送至服務器,或者將位置信息和采集到的包含背景噪聲數據和語音的數據的聲音數據發送至服務器;
所述終端從所述服務器收到噪聲消除策略后,根據所述噪聲消除策略對聲音數據進行噪聲消除后向語音或視頻對話終端發送。
本發明還提供了一種應用于終端中的基于位置信息的背景噪聲消除裝置,包括位置采集單元、聲音采集單元、控制單元、編碼單元、背景噪聲提取單元、噪聲消除單元、通信單元;
所述位置采集單元,用于確定所述終端的位置信息;
所述聲音采集單元,用于采集聲音數據;
所述控制單元,用于在聲音數據為背景噪聲數據時,控制編碼單元對所述背景噪聲數據進行編碼后,控制所述通信單元將所述位置信息和編碼后的背景噪聲數據向服務器發送;還用于在聲音數據為語音數據時,控制背景噪聲提取單元提出背景噪聲數據,控制編碼單元對所述背景噪聲數據進行編碼后,控制所述通信單元將所述位置信息和編碼后的背景噪聲數據向服務器發送;還用于在通信單元從服務器收到噪聲消除策略后,控制所述噪聲消除單元對用于音頻或視頻通話的語音數據進行噪聲消除后,控制所述通信單元向音頻或視頻通話對端發送。
本發明利用相同場景的背景噪聲類似的特點,使用分布式架構和大數據技術,收集大量終端在不同空間維度和不同時間維度的背景噪聲,對不同類型的空間維度和時間維度的背景噪聲進行分類。本發明的方案中在終端進行語音通信時,服務器適應性的為不同場景下的終端確定與相應場景所對應的背景噪聲消除策略,可以有效提升用戶在通話過程中的聽覺體驗。
附圖說明
構成本發明的一部分的附圖用來提供對本發明的進一步理解,本發明的示意性實施例及其說明用于解釋本發明,并不構成對本發明的不當限定。在附圖中:
圖1是實施例一中基于位置的背景噪聲消除方法的流程圖:
圖2是實施例二中應用于服務器的背景噪聲消除裝置的結構圖;
圖3是實施例二中背景噪聲消除裝置的分析模塊的結構圖;
圖4是實施例二中背景噪聲消除裝置的分析模塊的另一結構圖;
圖5是實施例四中應用于服務器的背景噪聲消除裝置的結構圖;
圖6是實施例六中基于位置的背景噪聲消除方法的流程圖;
圖7是實施例七中應用于終端的背景噪聲消除裝置的結構圖。
具體實施方式
為使本發明實施例的目的、技術方案和優點更加清楚,下面將結合本發明實施例中的附圖,對本發明實施例中的技術方案進行清楚、完整地描述,顯然,所描述的實施例是本發明一部分實施例,而不是全部的實施例。基于本發明中的實施例,本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例,都屬于本發明保護的范圍。需要說明的是,在不沖突的情況下,本申請中的實施例及實施例中的特征可以相互任意組合。
實施例一
圖1是實施例一基于位置信息的背景噪聲消除方法的流程圖;此方法由服務器執行,此方法包括:
步驟1,獲知終端的位置信息;
步驟2,根據終端的位置信息確定此終端的噪聲消除策略,或者,根據時間信息和此終端的位置信息確定此終端的噪聲消除策略;
步驟3,將噪聲消除策略通知至終端,或者使用此噪聲消除策略對此終端的聲音數據進行背景噪聲消除處理。
其中,步驟1中位置信息包括地理信息和速度信息,所述地理信息包括地理坐標和/或場所類別,所述速度信息包括運動速度和/或運動加速度。獲知終端的位置信息采用以下幾種方式中的一種:通過離線方式獲知終端的位置信息,通過無線方式采集終端的位置信息,終端采集其位置信息并發送至服務器、終端選擇其場所類別并發送至服務器。步驟2中的時間信息是與位置信息相對應的時間即具體指終端采集到上述位置信息時的時間,或者服務器獲知上述終端的位置信息的時間。步驟2中的噪聲消除策略包括噪聲消除算法及此算法所需的各參數的值。
服務器維護噪聲消除策略數據庫,噪聲消除策略數據庫中具有與空間標簽或者同時與空間標簽和時間標簽相對應的背景噪聲類型、噪聲消除策略集。步驟2中包括兩種實現方式。第一種實現方式中只采用空間標簽。因為在多數場景中例如地鐵、公交車等場景下,不同時間段時此場景的噪聲的變化不大。第二種實現方式中,采用空間標簽和時間標簽。實現過程中第二種實現方式比第一種實現方式更加精確。
本方法中可通過以下兩種方式實現步驟2。
方式一
服務器中的噪聲消除策略數據庫是經過訓練及分類完成后只具有標簽、背景噪聲類型、噪聲消除策略集之間對應關系的噪聲消除策略數據庫,服務器根據終端的位置信息和此噪聲消除策略數據庫確定終端的噪聲消除策略,具體的:
根據終端的位置信息確定終端的噪聲消除策略包括:將位置信息映射為空間標簽,在噪聲消除策略數據庫中查詢與空間標簽對應的背景噪聲類型,查詢與背景噪聲類型對應的噪聲消除策略集,選擇噪聲消除策略集中優先級別最高的噪聲消除策略。
根據時間信息和終端的位置信息確定終端的噪聲消除策略包括:將時間信息映射為時間標簽,將位置信息映射為空間標簽,將時間標簽和空間標簽構成時空標簽,在噪聲消除策略數據庫中查詢與時空標簽對應的背景噪聲類型,查詢與背景噪聲類型對應的噪聲消除策略集,選擇噪聲消除策略集中優先級別最高的噪聲消除策略。
方式二
服務器中的噪聲消除策略數據庫是具有背景噪聲集合、噪聲特征向量,以及噪聲特征向量、背景噪聲類型、噪聲消除策略集之間對應關系的噪聲消除策略數據庫,服務器根據終端的位置信息和此噪聲消除策略數據庫確定終端的噪聲消除策略,具體的:
使用空間信息構建噪聲消除策略數據庫的方法包括:獲得大量終端的背景噪聲樣本數據和位置信息,將位置信息映射為空間標簽。將相同空間標簽的背景噪聲樣本數據存儲為背景噪聲樣本集,針對每個背景噪聲樣本集提取各背景噪聲樣本的噪聲參數并通過分類器進行分類訓練獲得多個特征向量,每個特征向量對應于一個背景噪聲類型,為每個背景噪聲類型設置與其對應的噪聲消除策略集。背景噪聲參數包括線性預測編碼(linear predictive coding,LPC)參數、功率譜、音調、信噪比中至少一種。
使用空間信息和時間信息構建噪聲消除策略數據庫的方法包括:獲得大量終端的背景噪聲樣本數據和位置信息和時間信息,將位置信息映射為空間標簽,將時間信息映射為時間標簽,將時間標簽和空間標簽構成時空標簽。將相同時空標簽的背景噪聲樣本數據存儲為背景噪聲樣本集,針對每個背景噪聲樣本集提取各背景噪聲樣本的噪聲參數并通過分類器進行分類訓練獲得多個特征向量,每個特征向量對應于一個背景噪聲類型,為每個背景噪聲類型設置與其對應的噪聲消除策略集。
獲取終端的背景噪聲數據的方法包括:通過離線方式獲取,通過無線傳輸方式從終端獲取,直接獲取終端的背景噪聲數據或者獲取終端的聲音噪聲數據并從中提取出背景噪聲數據。
根據終端的位置信息和上述噪聲消除策略數據庫確定終端的噪聲消除策略包括:提取背景噪聲數據的特征向量,將位置信息映射為空間標簽,在噪聲消除策略數據庫查詢與所述空間標簽對應的背景噪聲集合,確定背景噪聲集合所對應的所有噪聲特征向量中與所述背景噪聲數據的特征向量最匹配的噪聲特征向量,確定此噪聲特征向量所對應的背景噪聲類型,確定此背景噪聲類型對應的噪聲消除策略集中優先級最高的噪聲消除策略。
根據時間信息和終端的位置信息和上述噪聲消除策略數據庫確定終端的噪聲消除策略包括:提取背景噪聲數據的特征向量,將時間信息映射為時間標簽,將位置信息映射為空間標簽,將時間標簽和空間標簽構成時空標簽,在噪聲消除策略數據庫查詢與所述時空標簽對應的背景噪聲集合,確定背景噪聲集合所對應的所有噪聲特征向量中與所述背景噪聲數據的特征向量最匹配的噪聲特征向量,確定此噪聲特征向量所對應的背景噪聲類型,確定此背景噪聲類型對應的噪聲消除策略集中優先級最高的噪聲消除策略。
其中,確定背景噪聲集合所對應的所有噪聲特征向量中與背景噪聲數據的特征向量最匹配的噪聲特征向量包括:計算背景噪聲數據的噪聲參數,根據上述分類器計算得到此噪聲參數對應的特征向量,計算此特征向量與背景噪聲集所對應的各噪聲特征向量的匹配距離,最小的匹配距離所對應噪聲特征向量為與背景噪聲數據的特征向量最匹配的噪聲特征向量。
在方式二中更新此噪聲消除策略數據庫的方法包括對背景噪聲數據樣本、特征向量和背景噪聲類型和更新,具體包括:將從終端獲取的背景噪聲數據作為新的樣本增加到背景噪聲數據庫中,使用增加了新樣本的背景噪聲數據庫進行分類器的訓練,訓練完成后得到更新后的分類器系數,和新的特征向量和背景噪聲類型。
在方式二中更新此噪聲消除策略數據庫的方法還包括對噪聲消除策略集的更新,具體包括:將噪聲消除策略發送至終端后,接收終端返回的針對此噪聲消除策略的評分,根據此評分更新與背景噪聲類型對應的噪聲消除策略集中相應噪聲消除策略的優先級別。越多終端對某一噪聲消除策略的評分越高,此噪聲消除策略在相應的噪聲消除策略集中的優先級別越高。
實施例二
圖2是實施例二中基于位置信息的背景噪聲消除裝置的結構圖,此裝置應用于服務器中,包括:位置信息獲取模塊、分析模塊,處理模塊、通信模塊。
位置信息獲取模塊用于獲取終端的位置信息;
分析模塊用于根據終端的位置信息確定終端的噪聲消除策略,或者,根據時間信息和終端的位置信息確定終端的噪聲消除策略;
處理模塊用于使用噪聲消除策略對上述終端的聲音數據進行背景噪聲消除處理;
通信模塊用于將噪聲消除策略通知至上述終端。
圖3是實施例二中背景噪聲消除裝置中分析模塊的結構圖,對應于實施例一的方式一,分析模塊包括:噪聲消除策略庫、映射單元、噪聲消除策略確定單元。
映射單元用于將位置信息映射為空間標簽,或者,將時間信息映射為時間標簽,將位置信息映射為空間標簽,將時間標簽和空間標簽構成時空標簽;
噪聲消除策略確定單元用于在噪聲消除策略數據庫中查詢與空間標簽對應的背景噪聲類型,查詢與背景噪聲類型對應的噪聲消除策略集,選擇噪聲消除策略集中優先級別最高的噪聲消除策略,或者,在噪聲消除策略數據庫中查詢與時空標簽對應的背景噪聲類型,查詢與背景噪聲類型對應的噪聲消除策略集,選擇噪聲消除策略集中優先級別最高的噪聲消除策略;
圖4是實施例二中背景噪聲消除裝置中分析模塊的另一種結構圖,對應于實施例一的方式二,分析模塊包括:噪聲消除策略庫、背景噪聲數據獲取單元、映射單元、噪聲消除策略確定單元;噪聲消除策略確定單元包括背景噪聲匹配子單元、噪聲消除策略選擇子單元;
背景噪聲數據獲取單元用于獲取終端的背景噪聲數據;
映射單元用于將位置信息映射為空間標簽,或者,將時間信息映射為時間標簽,將位置信息映射為空間標簽,將時間標簽和空間標簽構成時空標簽;
背景噪聲匹配子單元用于提取背景噪聲數據的特征向量,在噪聲消除策略數據庫查詢與空間標簽或時空標簽對應的背景噪聲集合,確定背景噪聲集合所對應的所有噪聲特征向量中與背景噪聲數據的特征向量最匹配的噪聲特征向量,確定此噪聲特征向量所對應的背景噪聲類型;
噪聲消除策略選擇子單元用于確定與上述背景噪聲類型對應的噪聲消除策略集,選擇噪聲消除策略集中優先級別最高的噪聲消除策略。
實施例三
實施例三中,背景噪聲消除裝置還包括用于對噪聲消除策略庫進行建立和維護的維護單元;
維護單元用于將相同空間標簽的背景噪聲數據作為背景噪聲樣本集存儲于背景噪聲庫或者將相同時空標簽的背景噪聲數據作為背景噪聲樣本集,對各背景噪聲樣本集提取背景噪聲參數并通過分類器進行分類訓練獲得多個特征向量,每個特征向量對應于一個背景噪聲類型,每個背景噪聲類型設置與其對應的噪聲消除策略。背景噪聲參數包括LPC參數、功率譜、音調、信噪比中至少一種。
實施例四
圖5是實施例四中應用于服務器的背景噪聲消除裝置的結構圖;與實施例三中的裝置相比,此裝置還包括混音模塊。此實施例適用于多終端進行多方會議的應用場景。混音模塊用于將參與通話的各終端的進行噪聲消除后的語音數據進行混音。通信單元將混音后的語音數據向會議的對端發送。
實施例五
與實施例三中的裝置相比,此裝置的分析模塊還包括噪聲消除單元。服務器從終端收到的是語音數據時,噪聲消除單元根據噪聲消除策略選擇單元確定的最優的噪聲消除策略對語音數據進行噪聲消除處理。通信模塊將進行噪聲消除處理后的語音數據向終端的對端發送。
實施例六
圖6是實施例六中基于位置信息的背景噪聲消除的方法流程圖。此方法由終端執行,此方法包括:終端將位置信息發送至服務器,或者將位置信息和采集到的背景噪聲數據發送至服務器,或者將位置信息和采集到的包含背景噪聲數據和語音的數據的聲音數據發送至服務器;終端從服務器收到噪聲消除策略后,根據噪聲消除策略對聲音數據進行噪聲消除后向語音或視頻對話終端發送。
實施例七
圖7是實施例七中應用于服務器的背景噪聲消除裝置的結構圖;應用于終端中基于位置信息的背景噪聲消除裝置包括位置采集模塊、聲音采集模塊、控制模塊、編碼模塊、背景噪聲提取模塊、噪聲消除模塊、通信模塊。
位置采集模塊用于確定所述終端的位置信息;
聲音采集模塊用于采集聲音數據;
控制模塊用于在聲音數據為背景噪聲數據時,控制編碼模塊對所述背景噪聲數據進行編碼后,控制所述通信模塊將所述位置信息和編碼后的背景噪聲數據向服務器發送;還用于在聲音數據為語音數據時,控制背景噪聲提取模塊提出背景噪聲數據,控制編碼模塊對背景噪聲數據進行編碼后,控制通信模塊將位置信息和編碼后的背景噪聲數據向服務器發送;還用于在通信模塊從服務器收到噪聲消除策略后,控制噪聲消除模塊對用于音頻或視頻通話的語音數據進行噪聲消除后,控制通信模塊向音頻或視頻通話對端發送。
本發明基于終端的位置信息和服務器的噪聲數據庫,可以提高背景噪聲的識別度,使去噪處理更加精確有效。本發明的方案在經常在同一場景下進行音、視通話的終端,或者經常在同一時間段、同一場景下進行音、視頻通話的終端上具有非常的好的噪聲消除效果。
下面通過具體實施例詳細說明本發明。
具體實施例一
步驟S101:服務器收集多個終端在不同位置發送的多個背景噪聲數據,構建相同時空標簽下的背景噪聲集,對背景噪聲集中各背景噪聲樣本提取背景噪聲參數,此參數包括LPC系數、功率譜、音調和信噪比中至少一個,將提取出的背景噪聲參數輸入分類模型(例如分支持向量機SVM或神經網絡)的輸入端進行分類訓練,訓練完成后獲得帶有標簽的背景噪聲特征向量集存儲于噪聲數據庫中,每個背景噪聲特征向量集中每個特征向量對應一種背景噪聲類型。為每種背景噪聲類型設置噪聲消除策略集,噪聲消除策略集中包括具有優先級順序的噪聲消除策略。
步驟S102,第一終端發起與第二終端的音頻通話后,第一終端首先與服務器建立連接。終端采集用戶的位置信息,位置信息包括地理坐標、運動速度、運動加速度、場所類別。第一終端通過麥克風采集聲音信號,在用戶不發出語音的情況采集到的聲音信號即為終端所處環境的背景噪聲數據。將此背景噪聲數據按照預置的壓縮算法(如G.711)進行編碼,將位置信息和編碼后的背景噪聲數據發送至服務器。
步驟S103:服務器收到終端上報的位置信息和背景噪聲數據,將位置信息映射為空間標簽,將當前時間映射為時間段標簽,時間段標簽和空間標簽組成時空標簽,在背景噪聲庫中查找與此時空標簽對應的背景噪聲集。
步驟S104,服務器計算終端上報的背景噪聲數據的噪聲參數。根據服務器進行分類訓練時的分類器計算終端上報的背景噪聲數據的噪聲參數的特征向量,在步驟S102中確定出的各背景噪聲集的所有特征向量集中與此特征向量最匹配的特征向量,從而獲知相應的背景噪聲類型,其中,匹配規則為加權歐式距離。
步驟S105,服務器確定與S104確定出的背景噪聲類型所對應的噪聲消除策略集,從中選擇優先級最高的噪聲消除策略。
步驟S106,服務器將S105中選擇出的噪聲消除策略通知至第一終端,第一終端使用此噪聲消除策略對語音信號進行消噪處理后編碼并發送至第二終端。
步驟S107,第一終端檢測到背景噪聲發生顯著變化后,將背景噪聲和位置信息上報給務器進行更新。轉至步驟S103。
具體實施例二
步驟S201:服務器收集多個終端在不同位置發送的多個背景噪聲數據,構建相同時空標簽下的背景噪聲集,對背景噪聲集中各背景噪聲樣本提取背景噪聲參數,此參數包括LPC系數、功率譜、音調和信噪比中至少一個,將提取出的背景噪聲參數輸入分類模型(例如分支持向量機SVM或神經網絡)的輸入端進行分類訓練,訓練完成后獲得帶有標簽的背景噪聲特征向量集存儲于噪聲數據庫中,每個背景噪聲特征向量集中每個特征向量對應一種背景噪聲類型。
步驟S202,第一終端發起與第二終端的音頻通話后,第一終端首先與服務器建立連接。終端采集用戶的位置信息,位置信息包括地理坐標、運動速度、運動加速度、場所類別。第一終端通過麥克風采集包括第一終端用戶語音的聲音信號,將此聲音信號按照預置的壓縮算法(如G.711)進行編碼,將位置信息和編碼后的聲音信號發送至服務器。
步驟S203:服務器收到終端上報的位置信息和聲音信號,將聲音信號解碼后提取出其中的背景噪聲信息。將位置信息映射為空間標簽,將當前時間映射為時間段標簽,時間段標簽和空間標簽組成時空標簽,在背景噪聲庫中查找與此時空標簽對應的背景噪聲集。
步驟S204,服務器計算提取出的背景噪聲數據的噪聲參數,根據服務器進行分類訓練時的分類器計算終端上報的背景噪聲數據的噪聲參數的特征向量,在步驟S103中確定出的各背景噪聲集的所有特征向量集中與此特征向量最匹配的特征向量,從而獲知相應的背景噪聲類型,其中,匹配規則為加權歐式距離。
步驟S205,服務器確定與S204確定出的背景噪聲類型所對應的噪聲消除策略集,從中選擇優先級的噪聲消除策略。
步驟S206,服務器使用此噪聲消除策略對語音信號進行消噪后編碼并發送至第二終端。
具體實施例三
步驟S301:服務器收集多個終端在不同位置發送的多個背景噪聲數據,構建相同時空標簽下的背景噪聲集,對背景噪聲集中各背景噪聲樣本提取背景噪聲參數,此參數包括LPC系數、功率譜、音調和信噪比中至少一個,將提取出的背景噪聲參數輸入分類模型(例如分支持向量機SVM或神經網絡)的輸入端進行分類訓練,訓練完成后獲得帶有標簽的背景噪聲特征向量集存儲于噪聲數據庫中,每個背景噪聲特征向量集中每個特征向量對應一種背景噪聲類型。
步驟S302,第一終端發起與第二終端的音頻通話后,第一終端首先與服務器建立連接。終端采集用戶的位置信息,位置信息包括地理坐標、運動速度、運動加速度、場所類別。第一終端通過麥克風采集包括第一終端用戶語音的聲音信號,使用預設的噪聲識別算法從所述語音信號中分離出背景噪聲數據。將背景噪聲數據按照預置的壓縮算法(如G.711)進行編碼,將位置信息和編碼后的背景噪聲數據發送至服務器。
步驟S303:服務器收到終端上報的位置信息和背景噪聲數據。將位置信息映射為空間標簽,將當前時間映射為時間段標簽,時間段標簽和空間標簽組成時空標簽,在背景噪聲庫中查找與此時空標簽對應的背景噪聲集。
步驟S304,服務器計算終端的背景噪聲數據的噪聲參數,此噪聲參數包括LPC參數、功率譜、音調和信噪比。根據服務器進行分類訓練時的分類器計算終端上報的背景噪聲數據的噪聲參數的特征向量,在步驟S303中確定出的各背景噪聲集的所有特征向量集中與此特征向量最匹配的特征向量,從而獲知相應的背景噪聲類型,其中,匹配規則為加權歐式距離。
步驟S305,服務器確定與S304確定出的背景噪聲類型所對應的噪聲消除策略集,從中選擇最優的噪聲消除策略,還確定與S304確定出的背景噪聲類型所對應的噪聲識別算法;將噪聲消除策略和噪聲識別算法通知至第一終端。
步驟S306,服務器將S305中選擇出的最優的噪聲消除策略和噪聲識別算法通知至第一終端,第一終端使用此噪聲消除策略對語音信號進行消噪后編碼并發送至第二終端。
步驟S307,第一終端使用從服務器獲知的噪聲識別算法從語音信號中分離出背景噪聲數據后,將此背景噪聲數據和位置信息上報給服務器進行更新。轉到步驟S303。
本發明利用相同場景的背景噪聲類似的特點,使用分布式架構和大數據技術,收集大量終端在不同空間維度和不同時間維度的背景噪聲,對不同類型的空間維度和時間維度的背景噪聲進行分類。本發明的方案中在終端進行語音通信時,服務器適應性的為不同場景下的終端確定與相應場景所對應的背景噪聲消除策略,可以有效提升用戶在通話過程中的聽覺體驗。
上面描述的內容可以單獨地或者以各種方式組合起來實施,而這些變型方式都在本發明的保護范圍之內。
本領域普通技術人員可以理解上述方法中的全部或部分步驟可通過程序來指令相關硬件完成,所述程序可以存儲于計算機可讀存儲介質中,如只讀存儲器、磁盤或光盤等。可選地,上述實施例的全部或部分步驟也可以使用一個或多個集成電路來實現,相應地,上述實施例中的各模塊/單元可以采用硬件的形式實現,也可以采用軟件功能模塊的形式實現。本發明不限制于任何特定形式的硬件和軟件的結合。
需要說明的是,在本文中,術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含,從而使得包括一系列要素的物品或者設備不僅包括那些要素,而且還包括沒有明確列出的其他要素,或者是還包括為這種物品或者設備所固有的要素。在沒有更多限制的情況下,由語句“包括……”限定的要素,并不排除在包括所述要素的物品或者設備中還存在另外的相同要素。
以上實施例僅用以說明本發明的技術方案而非限制,僅僅參照較佳實施例對本發明進行了詳細說明。本領域的普通技術人員應當理解,可以對本發明的技術方案進行修改或者等同替換,而不脫離本發明技術方案的精神和范圍,均應涵蓋在本發明的權利要求范圍當中。