本發(fā)明涉及智慧教育、智能監(jiān)控的，特別是指一種基于大模型的學(xué)生課堂行為的分析方法、裝置及計算機(jī)可讀取存儲介質(zhì)。

背景技術(shù)：

1、隨著互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等技術(shù)的快速發(fā)展，教育信息化成為推動教育現(xiàn)代化的重要手段。智慧課堂行為分析技術(shù)正是在這一背景下應(yīng)運而生，利用先進(jìn)的信息技術(shù)手段，為教育提供更加精準(zhǔn)、高效的支持。

2、課堂行為分析旨在研究課堂中教師教學(xué)活動與學(xué)生學(xué)業(yè)發(fā)展的內(nèi)在機(jī)制，幫助教師和學(xué)生反思自身課堂表現(xiàn)，從而促進(jìn)課堂教學(xué)質(zhì)量與的提升。傳統(tǒng)的課堂教學(xué)行為分析大多是通過自我評價法、人工督導(dǎo)、課堂巡查等方法采集和分析數(shù)據(jù)，存在個人評價主觀性較強、樣本量小、費時費力等缺點，導(dǎo)致其可解釋性、可擴(kuò)展性較低。人工智能技術(shù)的普及為這些缺點的改善帶來了契機(jī)。智慧課堂行為分析技術(shù)是在教育信息化的背景下，融合大數(shù)據(jù)、人工智能等先進(jìn)技術(shù)采集教師和學(xué)生的課堂行為數(shù)據(jù)，加以分析，可以幫助教師更好地了解學(xué)生的學(xué)習(xí)情況，及時調(diào)整教學(xué)策略，提高教學(xué)效果。

3、課堂行為分析是通過計算機(jī)視覺、視頻字幕提取和大模型技術(shù)，實時監(jiān)測教師和學(xué)生的行為并捕獲教師教師講課內(nèi)容和學(xué)生互動情況，綜合以上信息分析教師講課內(nèi)容的摘要、梳理課堂關(guān)鍵詞、分析教師講課的情緒、師生互動、課堂活躍度、教師和學(xué)生遲到早退缺勤的統(tǒng)計、捕獲學(xué)生的行為(比如趴桌、玩手機(jī)、舉手、戰(zhàn)力、書寫等)。綜合以上分析結(jié)果得出課堂質(zhì)量報告，幫助教師和學(xué)生了解課堂情況，為教育提供更加精準(zhǔn)、高效的支持。

技術(shù)實現(xiàn)思路

1、本發(fā)明提供了一種基于大模型的學(xué)生課堂行為的分析方法、裝置及計算機(jī)可讀取存儲介質(zhì)，利用大模型對學(xué)生課堂行為通過聲音、行為等多模態(tài)數(shù)據(jù)綜合評價，準(zhǔn)確評估學(xué)生的行為和教學(xué)效果。

2、第一方面，提供了一種基于大模型的學(xué)生課堂行為的分析方法，包括：通過設(shè)置在課堂內(nèi)的視頻采集設(shè)備和音頻采集設(shè)備分別獲取視頻數(shù)據(jù)和音頻數(shù)據(jù)，并對所述視頻數(shù)據(jù)和所述音頻數(shù)據(jù)進(jìn)行預(yù)處理操作，生成學(xué)生課堂行為的圖片樣本數(shù)據(jù)集和音頻樣本數(shù)據(jù)集；將所述圖片樣本數(shù)據(jù)集和所述音頻樣本數(shù)據(jù)集，輸入已訓(xùn)練好的學(xué)生課堂行為模型中，所述學(xué)生課堂行為模型至少包括以下至少兩項：處理所述圖片樣本數(shù)據(jù)集的yolov5模型，以及處理所述音頻樣本數(shù)據(jù)集的whisper模型；基于所述yolov5模型，識別出課堂實時監(jiān)控圖像中的學(xué)生行為，將學(xué)生行為特征與預(yù)定標(biāo)準(zhǔn)行為特征相比較，得到第一行為特征值；并且，基于所述whisper模型，識別所述音頻樣本數(shù)據(jù)集的文本，將所述文本與預(yù)定的熱詞相比較，得到第二行為特征值；將所述第一行為特征值和所述第二行為特征值進(jìn)行整合，得到學(xué)生課堂行為的總分值并上報。

3、在一些實施例中，所述圖片樣本數(shù)據(jù)集包括：學(xué)生行為狀態(tài)圖片，并標(biāo)注為睡覺、抬頭聽課、低頭讀寫、站立或討論；所述音頻樣本數(shù)據(jù)集包括：說話次數(shù)、時長及頻率。

4、在一些實施例中，識別出課堂實時監(jiān)控圖像中的學(xué)生行為，包括：將所述圖片樣本數(shù)據(jù)集進(jìn)行灰度處理轉(zhuǎn)化成灰度圖像；將所述灰度圖像與預(yù)定的學(xué)生行為狀態(tài)相匹配，基于以下計算公式計算匹配度：

5、

6、其中，l代表匹配度，w和h分別代表所述灰度圖像的寬度和高度，x和y分別代表像素點的橫坐標(biāo)和縱坐標(biāo)，f(x,y)代表所述灰度圖像的像素值，γ'代表歐拉公式。

7、在一些實施例中，將學(xué)生行為特征與預(yù)定的標(biāo)準(zhǔn)行為特征相比較，包括：對所述圖片樣本數(shù)據(jù)集和所述預(yù)定標(biāo)準(zhǔn)行為特征進(jìn)行賦分，得到所述第一行為特征值。

8、在一些實施例中，識別所述音頻樣本數(shù)據(jù)集的文本，包括：基于所述whisper模型，對所述音頻樣本數(shù)據(jù)集進(jìn)行轉(zhuǎn)錄；將轉(zhuǎn)錄生成的文字進(jìn)行時間戳對齊。

9、在一些實施例中，利用所述音頻樣本數(shù)據(jù)集對所述whisper模型的參數(shù)進(jìn)行優(yōu)化，包括：利用編碼器對輸入的所述音頻樣本數(shù)據(jù)集進(jìn)行自動語音識別，得到識別結(jié)果；結(jié)合所述識別結(jié)果對所述whisper模型進(jìn)行參數(shù)調(diào)整。

10、在一些實施例中，將所述圖片樣本數(shù)據(jù)集劃分為訓(xùn)練集、驗證集和測試集，并對劃分的樣本進(jìn)行標(biāo)注和數(shù)據(jù)標(biāo)簽；對訓(xùn)練集中的圖片進(jìn)行數(shù)據(jù)增強處理，隨機(jī)對訓(xùn)練集中的圖片進(jìn)行亮度調(diào)整、對比度調(diào)整和飽和度調(diào)整。

11、第二方面，提供了一種基于大模型的學(xué)生課堂行為的分析裝置，其特征在于，包括：數(shù)據(jù)采集模塊，用于通過設(shè)置在課堂內(nèi)的視頻采集設(shè)備和音頻采集設(shè)備分別獲取視頻數(shù)據(jù)和音頻數(shù)據(jù)，并對所述視頻數(shù)據(jù)和所述音頻數(shù)據(jù)進(jìn)行預(yù)處理操作，生成學(xué)生課堂行為的圖片樣本數(shù)據(jù)集和音頻樣本數(shù)據(jù)集；模型處理模塊，用于將所述圖片樣本數(shù)據(jù)集和所述音頻樣本數(shù)據(jù)集，輸入已訓(xùn)練好的學(xué)生課堂行為模型中，所述學(xué)生課堂行為模型至少包括以下至少兩項：處理所述圖片樣本數(shù)據(jù)集的yolov5模型，以及處理所述音頻樣本數(shù)據(jù)集的whisper模型；處理模塊，用于基于所述yolov5模型，識別出課堂實時監(jiān)控圖像中的學(xué)生行為，將學(xué)生行為特征與預(yù)定標(biāo)準(zhǔn)行為特征相比較，得到第一行為特征值；并且，基于所述whisper模型，識別所述音頻樣本數(shù)據(jù)集的文本，將所述文本與預(yù)定的熱詞相比較，得到第二行為特征值；結(jié)果生成模塊，用于將所述第一行為特征值和所述第二行為特征值進(jìn)行整合，得到學(xué)生課堂行為的總分值并上報。

12、第三方面，本發(fā)明提供了一種電子設(shè)備，所述電子設(shè)備包括：處理器；存儲器，所述存儲器上存儲有計算機(jī)可讀指令，所述計算機(jī)可讀指令被所述處理器執(zhí)行時，實現(xiàn)上述的基于大模型的學(xué)生課堂行為的分析方法。

13、第四方面，本發(fā)明還提供了一種計算機(jī)可讀取存儲介質(zhì)，其特征在于，所述計算機(jī)可讀取存儲介質(zhì)中存儲有程序代碼，所述程序代碼可被處理器調(diào)用執(zhí)行上述的基于大模型的學(xué)生課堂行為的分析方法。

14、與現(xiàn)有技術(shù)相比，本發(fā)明至少可以實現(xiàn)如下有益效果之一：

15、第一、學(xué)生課堂行為分析方法可以根據(jù)學(xué)生的學(xué)習(xí)行為和表現(xiàn)進(jìn)行評估，幫助學(xué)生更好地掌握知識和技能。

16、第二、通過分析學(xué)生的面部表情、語音語調(diào)等，識別學(xué)生的情感狀態(tài)，幫助教師及時了解學(xué)生的心理需求，提供情感支持。

17、第三、可以幫助教師及時發(fā)現(xiàn)課堂中的問題行為，如分心、走神等，并采取相應(yīng)的干預(yù)措施，維護(hù)課堂秩序。

18、提供
技術(shù)實現(xiàn)要素：
部分是為了以簡化的形式來介紹對概念的選擇，它們在下文的具體實施方式中將被進(jìn)一步描述。發(fā)明內(nèi)容部分無意標(biāo)識本公開的重要特征或必要特征，也無意限制本公開的范圍。

技術(shù)特征：

1.一種基于大模型的學(xué)生課堂行為的分析方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的基于大模型的學(xué)生課堂行為的分析方法，其特征在于，

3.根據(jù)權(quán)利要求1所述的基于大模型的學(xué)生課堂行為的分析方法，其特征在于，識別出課堂實時監(jiān)控圖像中的學(xué)生行為，包括：

4.根據(jù)權(quán)利要求1所述的基于大模型的學(xué)生課堂行為的分析方法，其特征在于，將學(xué)生行為特征與預(yù)定的標(biāo)準(zhǔn)行為特征相比較，包括：

5.根據(jù)權(quán)利要求1所述的基于大模型的學(xué)生課堂行為的分析方法，其特征在于，識別所述音頻樣本數(shù)據(jù)集的文本，包括：

6.根據(jù)權(quán)利要求1所述的基于大模型的學(xué)生課堂行為的分析方法，其特征在于，還包括：

7.根據(jù)權(quán)利要求6所述的基于大模型的學(xué)生課堂行為的分析方法，其特征在于，還包括：

8.一種基于大模型的學(xué)生課堂行為的分析裝置，其特征在于，包括：

9.一種電子設(shè)備，其特征在于，所述電子設(shè)備包括：

10.一種計算機(jī)可讀取存儲介質(zhì)，其特征在于，所述計算機(jī)可讀取存儲介質(zhì)中存儲有程序代碼，所述程序代碼可被處理器調(diào)用執(zhí)行如權(quán)利要求1至7任一項所述的基于大模型的學(xué)生課堂行為的分析方法。

技術(shù)總結(jié)
本發(fā)明提供了一種基于大模型的學(xué)生課堂行為的分析方法，包括：通過設(shè)置在課堂內(nèi)的視頻采集設(shè)備和音頻采集設(shè)備分別獲取視頻數(shù)據(jù)和音頻數(shù)據(jù)，輸入已訓(xùn)練好的學(xué)生課堂行為模型中，處理圖片樣本數(shù)據(jù)集的YOLOv5模型，以及處理音頻樣本數(shù)據(jù)集的Whisper模型；基于所述YOLOv5模型，識別出課堂實時監(jiān)控圖像中的學(xué)生行為，將學(xué)生行為特征與預(yù)定標(biāo)準(zhǔn)行為特征相比較，得到第一行為特征值；并且，基于所述Whisper模型，識別所述音頻樣本數(shù)據(jù)集的文本，將所述文本與預(yù)定的熱詞相比較，得到第二行為特征值；將所述第一行為特征值和所述第二行為特征值進(jìn)行整合，得到學(xué)生課堂行為的總分值并上報。本發(fā)明示例性地還公開了一種基于大模型的學(xué)生課堂行為的分析裝置及存儲介質(zhì)。

技術(shù)研發(fā)人員：金善國,唐偉
受保護(hù)的技術(shù)使用者：四川文華云計算有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/4/28