本發(fā)明涉及黑板模型，具體為基于黑板模型協作的音視頻在線學習方法。

背景技術：

1、隨著時代的快速發(fā)展，智能黑板模型已逐步出世，其模型依據上課過程中對應教師的語音內容，從云數據庫中選取與之相關的文本內容，并進行輸出，方便對應的教學內容等；

2、但智能黑板模型在進行協作處理進程，不僅需要對所采集的音視頻內容進行實時處理，同時還需要根據所處理的特征文本，進行內容的相關選定，并將所選定的內容進行輸出，在實際的處理進程中，其處理進程較為緩慢，就會導致內容輸出時，其輸出效率過于緩慢，導致使用者無法得到較好的使用體驗。

技術實現思路

1、針對現有技術的不足，本發(fā)明提供了基于黑板模型協作的音視頻在線學習方法，解決了實際處理進程以及內容輸出時，所關聯的效率均過于緩慢的問題。

2、為實現以上目的，本發(fā)明通過以下技術方案予以實現：基于黑板模型協作的音視頻在線學習方法，包括以下步驟：

3、步驟一、對上課過程中所產生的音頻信號進行獲取，并基于所獲取音頻信號的相關特征，生成具體的音頻特征文本，具體子步驟為：

4、s11、按照標準的音頻采樣參數進行采集，采樣位數為16位，將采集到的單個音頻信號分割成短幀，使單個音頻信號生成若干個短幀，并生成短幀序列；

5、s12、對短幀序列內每一個短幀進行特征提取，基于每個短幀所關聯的mfcc特征值，確認此音頻信號的音頻綜合特征：

6、s121、對每個短幀進行fft，將時域信號轉換為頻域信號，得到頻譜；fft?的公式為：，其中x[k]是頻域信號，x[n]是時域信號，n是幀的長度，其中n為時域信號的索引，表示時間點，k為頻域信號的索引，表示頻率點，j為虛數單位，表示復指數函數；

7、s122、再對fft的結果取模平方，得到功率譜：p[k]=|x[k]|2；

8、s123、將功率譜通過一組梅爾濾波器，將線性頻率轉換為梅爾頻率，梅爾頻率的轉換公式為：，其中，f是線性頻率，fmel是梅爾頻率；

9、s124、再對每個梅爾濾波器的輸出取對數，得到對數能量：，其中hm[k]是第m個梅爾濾波器的頻率響應，e[m]是對數能量；

10、s125、將對數能量進行離散余弦變換，得到?mfcc?系數，其中離散余弦變換的公式為：，其中c[n]是第n個mfcc系數，m是梅爾濾波器的數量，將前?12-13?個?mfcc?系數進行均值處理，確認此短幀的mfcc特征值；

11、s126、將短幀序列內所存在的若干個短幀均采用步驟s121-s125相同的處理步驟依次確認對應短幀的mfcc特征值，再將若干個短幀的mfcc特征值進行求和，鎖定此音頻信號的音頻綜合特征；

12、s13、基于對應音頻信號所關聯的音頻綜合特征，將此音頻信號與預設的特征核對表進行核對，確認此音頻信號所關聯的核對字符，其中特征核對表為預設表，并將持續(xù)不斷的音頻信號所關聯的核對字符進行排序，生成該階段的音頻特征文本，其中持續(xù)不斷的音頻信號之間的間隔時間低于1秒；

13、步驟二、將此音頻特征文本與云端數據庫進行字符核對，從云端數據庫內選定核對文本，再對核對文本進行位置確認，將所確認的位置標定為索引位置，具體子步驟為：

14、s21、將所確認的音頻特征文本標定為主文本，并從云端數據庫內確認其他核對文本的文本標題，將所確認的文本標題作為次文本，從所確定的若干組次文本中選定相似度文本：將次文本與主文本進行字符核對，將相同的字符標定為同類字符，并記錄同類字符總個數g，再將次文本的字符總數標定為h1，將主文本的字符總數標定為h2，采用：zb1=g÷h1以及zb2=g÷h2確認同類字符占比值zb1以及zb2，再基于zb1以及zb2鎖定均值占比，將均值占比≥60％的次文本標定為相似度文本；

15、s22、從云端數據庫內確認相似度文本的存儲位置，并將所確認的存儲位置標定為索引位置；

16、步驟三、基于所確認的索引位置以及預設的索引路徑，將索引位置所關聯的文本內容進行類型劃分，確認多組類型內容，并依據索引路徑總數，對多組類型內容進行類型組合，確認組合內容，并將多個組合內容整合為待索引內容組，具體方式為：

17、s31、基于索引位置所關聯的文本內容，確認對應文本內容內所包括的不同類型，將不同類型的內容進行劃分，將同一類型的內容劃分為同一類，鎖定多組不同類型的類型內容，在劃分過程中設定劃分標記；

18、s32、確認預設的索引路徑總數并標定為zs，再確認不同類型的類型內容的總個數，并標定為zg，若zs≥zg，則無需進行類型組合，直接將對應的類型內容標定為組合內容，并將多個組合內容整合為待索引內容組，若zs＜zg，則將多組不同類型的類型內容進行類型隨機組合，并持續(xù)若干個組合進程，在每個組合進程中，多組組合內容的總數始終與zg一致，從每個組合進程中選定最佳進程，具體方式為：

19、s321、確認每個組合進程中不同組合內容的數據容量，并將所確認的不同數據容量標定為ri，其中i代表不同的組合內容，再將所確認的多組數據容量ri進行方差處理，鎖定關于此組合進程的進程方差；

20、s322、對每個不同組合進程所關聯的進程方差依次進行確認，并從所確認的不同進程方差中，選定最小的進程方差，將最小進程方差所關聯的組合進程標定為最佳進程；

21、s33、將最佳進程所關聯的多組組合內容標定為待索引內容組；

22、步驟四、根據所標定的待索引內容組，將待索引內容組內部的組合內容依據預設的索引路徑進行索引輸出，基于索引過程中所產生的索引特征，確定對應索引路徑最適合進行索引輸出的組合內容，將所確定的組合內容標定為執(zhí)行內容，并進行索引輸出，具體子步驟為：

23、s41、基于索引路徑的總數zs，從單個組合內容中選定部分內容，并將所選定的部分內容均分為zs個分引內容，將zs個分引內容依次分配至所關聯的索引路徑中，并通過所關聯的索引路徑進行內容輸出，并記錄對應索引路徑的多組索引速率，將多組索引速率進行均值處理，確認對應索引路徑的索引均速，并標定為syo，其中o代表不同的索引路徑，關于此組合內容，選定syomax所關聯的索引路徑作為此組合內容的執(zhí)行路徑，并將此組合內容標定為執(zhí)行內容，依據此執(zhí)行路徑將執(zhí)行內容索引輸出；

24、s42、其索引路徑中每存在一組執(zhí)行路徑時，則將其總數下調數值1，并采用步驟s41相同的方式，對剩余的組合內容進行處理，確認對應組合內容所關聯的執(zhí)行路徑以及所確定的執(zhí)行內容，依據所確定的執(zhí)行路徑將所確定的執(zhí)行內容進行索引輸出；

25、依據此處理方式，對不同的組合內容依次進行處理，并進行內容索引，進行快速輸出，索引后的多組組合內容依據所設定的劃分標記進行重組，確認文本內容，并將確認后的文本內容直接顯示在黑板模型上。

26、本發(fā)明提供了基于黑板模型協作的音視頻在線學習方法。與現有技術相比具備以下有益效果：

27、本發(fā)明通過在對上課音頻信號的處理中，通過將音頻分割成短幀并提取?mfcc?特征值，充分考慮了音頻的時域和頻域特性，模擬了人耳對聲音的感知。這種精細的處理方式能夠準確捕捉音頻信號的特征，為后續(xù)的文本匹配提供了堅實基礎，使得鎖定的對應語音內容關聯文本更加準確，有助于學習者精準獲取課程關鍵信息；

28、在將音頻特征文本與云端數據庫進行核對時，通過計算同類字符占比值并確定均值占比，篩選出相似度文本；這種科學的篩選方法能夠快速從大量文本中定位到與音頻特征文本相關度高的內容，減少了不必要的搜索時間，提高了數據匹配的效率；

29、對索引位置所關聯的文本內容進行類型劃分，將同一類型的內容歸為一類，并設定劃分標記；這種清晰的劃分方式有助于對不同類型的內容進行有針對性的處理和管理，為后續(xù)的類型組合和索引輸出提供了便利；類型組合智能高效：根據索引路徑總數和類型內容總個數的關系，智能決定是否進行類型組合，并通過計算進程方差選定最佳進程；這種優(yōu)化組合方式能夠合理分配資源，使得不同類型的內容能夠在有限的索引路徑下得到高效處理，避免了資源的浪費，提高了整體的索引效率。