本發明涉及會議管理的，尤其涉及一種智能會議管理方法及系統。

背景技術：

1、隨著計算機技術和網絡技術的發展，企業、政府機構、教育部門等各類組織發現傳統的會議管理模式效率低下，難以應對日益增長的會議數量和復雜性，越來越多的組織開始采用數字化工具來優化內部流程；會議管理也不例外，人們開始利用軟件來輔助會議管理，包括電子文檔和電子郵件；隨著科技的不斷發展改變現有的工作方式，使溝通更加高效便捷，尤其誕生了遠程工作和虛擬會議；

2、但是，傳統的會議管理，通常采用固定攝像頭視角進行會議記錄及遠程會議，難以靈活捕捉所有參與者，尤其是大型會議中位于角落或邊緣位置的人可能不在最佳視野內，固定攝像頭難以自動調整視角以保持最佳拍攝效果，且通常不具備智能識別功能，如人臉識別，使得重要發言人的特寫鏡頭難以自動獲?。?/p>

3、針對上述的技術缺陷，現提出一種解決方案。

技術實現思路

1、本發明的目的在于提供一種智能會議管理系統，去解決上述提出的技術缺陷，本發明通過對麥克風陣列的語音信號實時獲取，對不同麥克風接收到的語音信號的時間差和強度差，進行聲源位置初步判斷，當麥克風位置與聲音源位置坐標部分重合時，獲取模糊位置，對模糊位置附近的人臉數據獲取，通過唇動識別，對發言人位置進行判斷，通過獲取的發言人信息，對發言人信息進行處理并輸出，并對圖像信息進行數字變焦和圖像裁剪；對語音信息，進行獲取背景噪聲的頻譜特性，從混合信號中減去噪聲成分，并將處理后的發言人信息進行輸出。

2、本發明的目的可以通過以下技術方案實現：一種智能會議管理系統，包括語音識別與處理模塊、攝像頭控制模塊、人臉識別與跟蹤模塊和用戶管理模塊；

3、語音識別與處理模塊，通過麥克風陣列來捕捉各時間點的聲音信號，通過處理獲取聲音信號的幅度，比較不同麥克風接收到的聲音信號時間差和強度差，生成聲源位置坐標，并進行初步判斷，當麥克風位置與聲音源位置坐標部分重合時，此時聲源位置定義為模糊位置，將模糊位置進行輸出；

4、攝像頭控制模塊，通過獲取模糊位置，通過獲取模糊位置，計算模糊位置與周圍n個麥克風位置之間的距離，進行人臉圖像捕捉，并將捕捉到的人臉圖像輸出；

5、人臉識別與跟蹤模塊，用于獲取捕捉到的人臉圖像，并對人臉圖像進行預處理，對預處理后的人臉圖像進行唇動識別及判斷，并將唇動判斷結果輸出；

6、用戶管理模塊，通過對唇動判斷結果的獲取，將該位置上的發言人信息進行輸出，其中發言人信息包括圖像信息和語音信息。

7、優選的，聲音信號的時間差獲取過程如下：

8、依據麥克風各時間點的聲音信號，并將x麥克風和y麥克風各時間點的聲音信號進行歸一化處理，生成互相關指數；

9、通過數值方法來求解，構建幾何方程組，通過tdoa方法計算聲源的初步位置。

10、優選的，聲音信號強度差獲取過程如下：

11、通過獲取麥克風i接收到的聲音信號的幅度，以及麥克風時間點n處的聲音信號，生成幅度峰值，對于麥克風i，生成幅度峰值ai，并計算不同麥克風之間的強度差；

12、通過強度差計算聲源與每個麥克風的相對距離，構建幾何方程組，通過強度差方法計算聲源的位置。

13、優選的，聲源位置坐標獲取過程如下：

14、將tdoa和強度差提供的位置信息調整比例系數k值，得到聲源位置坐標，公式為：

15、

16、

17、式中，xs和ys分別為聲源估計點聲源位置坐標的橫坐標和縱坐標；k為比例系數。

18、優選的，初步判斷的過程如下：

19、根據聲源位置坐標為圓心，半徑r，作虛擬圓，同時以每個麥克風的位置為圓心，半徑r，作虛擬圓，計算兩個圓的交集面積，使用幾何方法來計算兩個圓的交集面積a；

20、設置交集面積a的相交閾值c1，并對交集面積a進行閾值判斷：

21、當兩個圓的交集面積a大于等于c1時，判斷此時聲源位置坐標與麥克風位置重合，此時麥克風位置的發言人正在發言；

22、當兩個圓的交集面積a小于c1時，判斷此時聲源位置坐標與麥克風位置部分重合，此時聲源位置坐標定義為模糊位置。

23、優選的，計算模糊位置與n個麥克風位置之間的距離過程如下：

24、通過麥克風陣列，計算模糊位置與麥克風位置之間的歐氏距離，創建列表來存儲n個麥克風的距離及其對應的索引，使用元組列表，其中元組包含n個麥克風的索引和對應的距離，對存儲的距離列表進行排序，根據選擇的麥克風索引，提取對應的麥克風位置。

25、優選的，人臉圖像捕捉過程如下：

26、通過移動攝像頭對焦到模糊位置區域，捕獲人臉圖像；使用人臉檢測算法opencv中的haar級聯分類器對捕獲的人臉圖像進行人臉檢測，使用人臉檢測算法對人臉圖像進行處理，并從原始圖像中裁剪出相應的人臉圖像。

27、優選的，人臉圖像預處理過程如下：

28、將裁剪后的人臉圖像轉換為灰度圖像，對灰度圖像進行歸一化處理，并調整圖像的直方圖分布，獲取dlib庫，通過面部標志檢測中預訓練面部標志檢測模型，獲取唇部像素，使用邊緣檢測提取唇部區域的邊緣及輪廓；

29、統計像素的lbp值，生成lbp直方圖，計算兩個lbp直方圖在每個lbp值處的頻次差異，并對其進行加權求和計算卡方距離；通過卡方距離公式，逐元素計算卡方距離，通過訓練數據統計分析，設定閾值為q，進行唇動判斷：

30、當卡方距離大于等于q，則認為唇部在運動，即此時正在發言；

31、當卡方距離小于q，認為唇部靜止，即此時沒有進行發言。

32、優選的，圖像信息和語音信息處理過程如下：

33、圖像信息處理：通過獲取唇動識別，對發言人所在的區域通過插值算法進行數字變焦，裁剪出發言人所在的區域；

34、語音信息處理：通過頻譜分析技術，獲取背景噪聲的頻譜特性，根據獲取的噪聲頻譜特性，建立噪聲模型，從混合信號中減去噪聲成分。

35、一種智能會議管理方法，包括：

36、步驟一：通過對多麥克風陣列的語音信號實時獲取，對不同麥克風接收到的語音信號的時間差和強度差，進行聲源位置初步判斷，當麥克風位置與聲音源位置坐標部分重合時，此時聲源位置定義為模糊位置，將模糊位置進行輸出；

37、步驟二：通過獲取模糊位置，對模糊位置附近的人臉數據獲取，通過唇動識別，對發言人位置進行判斷：當識別出發言人位置時，獲取發言人信息；當未識別出發言人位置時，顯示默認鏡頭；

38、步驟三：通過獲取的發言人信息，對發言人信息進行處理并輸出，其中發言人信息包括圖像信息和語音信息；通過對圖像信息進行數字變焦和圖像裁剪，同時對語音信息，進行獲取背景噪聲的頻譜特性，從混合信號中減去噪聲成分，并將處理后的發言人信息進行輸出。

39、本發明的有益效果如下：

40、（1）本發明通過麥克風陣列來捕捉各時間點的聲音信號，通過處理獲取聲音信號的幅度，比較不同麥克風接收到的聲音信號時間差和強度差，生成聲源位置坐標，并進行初步判斷，通過獲取兩單位圓的交集面積，進行閾值判斷，判斷此時聲源位置坐標與麥克風位置部分重合，麥克風位置的發言人可能正在發言，可以自動鎖定發言人，并調動攝像頭，對發言人進行視頻記錄保存，使得會議記錄更加高效便捷。

41、（2）本發明通過輪廓檢測算法來提取輪廓，并統計所有像素的lbp值，生成lbp直方圖，通過計算兩個lbp直方圖在每個lbp值處的頻次差異，并對其進行加權求和，來計算卡方距離，衡量兩個直方圖之間的相似性，有效地比較和區分不同幀之間的唇部運動，結合模糊位置信息準確鎖定發言人，提高識別的準確性，避免誤判。