本發明涉及教育,具體為虛擬實驗環境中基于用戶行為測度的自動評估方法。
背景技術:
1、對學生實驗的評分是學校實驗課程的重要一環,隨著虛擬機以及仿真實驗技術的發展,越來越多的虛擬實驗室被設計出來,虛擬實驗室相較于傳統實驗室,也只是將現實的實驗虛擬化,對實驗的評分依然是使用紙質實驗報告,然而紙質實驗報告反饋的實驗結果具有很大的局限性,不能充分反映學生的實踐能力;同時老師根據實驗報告進行評分容易產生錯誤,降低了實驗評分的準確性;并且實驗報告很難反映學生的實驗過程,難以了解學生對于實驗的各個步驟的掌握程度。
2、因此,本發明提供虛擬實驗環境中基于用戶行為測度的自動評估方法來解決上述問題。
技術實現思路
1、本發明的目的在于提供虛擬實驗環境中基于用戶行為測度的自動評估方法,以解決上述背景技術中提出的問題。
2、為了解決上述技術問題,本發明提供如下技術方案:
3、虛擬實驗環境中基于用戶行為測度的自動評估方法,所述方法包括以下步驟:
4、步驟s100:實時監控虛擬實驗室內的用戶行為信息,并將有效信息依次加入存儲隊列,其中:行為信息包括行為類型、行為發生的時間點、觀測行為序列號和行為參數,行為參數包括不同行為的具體參數;
5、步驟s200:實時檢測監控系統的結果日志,如果結果日志未更新,繼續向存儲隊列中加入新的行為信息;如果結果日志已更新,從存儲隊列中獲取行為序列數據,并將行為序列和結果日志存儲在用戶的工作日志中;
6、步驟s300:根據虛擬實驗樣本,預先收集多個用戶在每個實驗步驟所產生的行為序列數據和結果日志,生成實驗的數據樣本,構建智能評估模型,識別用戶的實驗步驟;
7、步驟s400:根據識別出來的實驗步驟,從預置的知識庫中獲取實驗步驟對應的標準實驗結果,獲取用戶的行為序列數據和結果日志,根據預置評估模板生成所述實驗步驟的結果評分;
8、步驟s500:查詢用戶完成所述實驗步驟的次數,如果所述實驗步驟的完成次數大于設定的閾值,則取所述實驗步驟的最高分作為所述實驗步驟的結果評分,并加在總分數上;如果完成次數未達到閾值,則把新的結果評分加在總分數上;
9、步驟s600:當實驗步驟的結果評分結束后,根據預置判斷模板判斷用戶實驗是否結束,若判斷結果為實驗結束,則直接輸出總分數;若判斷結果為實驗未結束,則清空存儲隊列,繼續監控并評分。
10、進一步的,所述步驟s100的具體實施過程包括;
11、通過鍵盤、鼠標、麥克風和系統環境配置軟件實時監控虛擬實驗室的用戶行為信息,其中:行為信息包括行為類型、行為發生的時間點、觀測行為序列號和行為參數,行為參數包括不同行為的具體參數;
12、根據預置判斷模板將有效信息從行為信息中提取出來,并將有效信息依次加入存儲隊列,其中:預置判斷模板包括用于篩選有效信息的信息篩選規則,信息篩選規則基于用戶行為類型與實驗步驟的關聯度,篩選出實驗相關的行為信息。
13、需要解釋的是,在虛擬實驗室中安裝監控設備,對實驗人員的操作進行監控,監控設備包括:鍵盤、鼠標以及麥克風等硬件設施和系統環境配置軟件,對于以上監控到的信息,使用隊列對行為信息進行存儲,監控到的行為信息會被依次加入隊列;通過預置判斷模板對用戶行為進一步分析與過濾,包括:判斷鼠標的點擊對象是否與實驗有關、判斷每一次敲擊鍵盤是否對實驗有效以及判斷其他行為是否與實驗有關,這些與實驗有關和對實驗有效的行為信息就是有效信息。在監控時,對于實驗無效的行為都不會被加入隊列中。
14、進一步的,所述步驟s200的具體實施過程包括:
15、實時檢測監控系統的結果日志,如果結果日志未更新,繼續向存儲隊列中加入新的行為信息;其中:監控系統用于實時判斷是否生成新的用戶實驗步驟結果,當生成新的用戶實驗步驟結果時,將生成新的用戶實驗步驟結果寫入結果日志并更新;
16、如果結果日志已更新,基于存儲隊列的行為信息,獲取行為序列數據:<type,time,index,attributes>,其中:type表示行為類型;time表示行為發生的時間點;index表示觀測行為的序列號;attributes表示行為參數;并將行為序列和結果日志存儲在用戶的工作日志中。
17、需要解釋的是,用戶在做實驗時,一旦產生某個實驗步驟的結果,監控系統會實時記錄,生成結果日志;行為類型包括鼠標、鍵盤輸入、文件操作等等;行為參數,如鼠標操作的位置,鍵盤輸入的字符串序列等。
18、進一步的,所述步驟s300的具體實施過程包括;
19、步驟s301:根據虛擬實驗樣本,收集用戶在每個實驗步驟所產生的行為序列數據和結果日志,生成實驗的數據樣本,數據樣本以元組形式存儲,格式為:<eid,<sid,<actions>,target>>,其中:eid表示實驗的編號;sid表示實驗步驟的編號;target表示實驗步驟結果;<actions>表示對應當前實驗步驟的行為序列數據;
20、步驟s302:基于實驗的數據樣本,構建智能評估模型:
21、統計每個行為序列中硬件設施的使用次數和使用頻率,并將統計結果作為全局特征,形成特征向量gi=[ni,1,fi,1,ni,2,fi,2,...,ni,j,fi,j],其中:i表示實驗步驟;j表示硬件設施總數;ni,j表示實驗步驟i硬件設施j的使用次數;fi,j表示實驗步驟i硬件設施j的使用頻率;
22、基于實驗的數據樣本,使用狀態機對行為序列數據進行建模,對lstm網絡的進行狀態更新,生成lstm狀態向量hi;
23、將特征向量gi和lstm狀態向量hi作為全連接神經網絡的輸入層輸入數據;
24、通過全連接層對特征向量和lstm狀態向量進行特征融合與提取,生成新的特征向量ki=[gi;hi];其中:ki表示實驗步驟為i時全連接層的特征向量;
25、將softmax函數作為激活函數,輸出預測的實驗步驟的概率分布:pi=softmax(w*ki+b);其中:w和b分別為全連接層的權重矩陣和偏置向量;softmax()用于將輸入向量的每個元素映射至[0,1]區間內,并所有元素的和為1;
26、步驟s303:提取實時行為序列數據和實時結果日志,統計實時行為序列數據中硬件設施的使用次數和使用頻率,并將實時行為序列數據、實時結果日志和統計結果輸入到智能評估模型中,識別用戶的實驗步驟。
27、進一步的,所述生成lstm狀態向量的具體實施過程包括:
28、將不同的行為類型映射到狀態機中的不同狀態,構建狀態集合s={sd|d∈[1,2,…,d]},其中:sd表示第d種行為類型的狀態;d表示行為類型的數量;狀態之間的轉移由行為的發生觸發;
29、構建轉移集合t={tmn|m,n∈[1,2,…,d]},其中:tmn表示從狀態sm到狀態sn的轉移;
30、將每個行為表示為lstm的輸入向量:
31、xh=[embedding(typeh),encode(timeh),encode(attributeh];其中:h表示時間步;xh表示第h個時間步lstm的輸入向量;typeh表示第h個時間步的行為類型;timeh表示第h個時間步的行為發生的時間點;attributeh表示第h個時間步的行為參數;embedding是嵌入函數,用于將行為類型映射到低維向量空間;encode是編碼函數,用于將時間和行為參數轉換為適合lstm輸入的格式;
32、lstm網絡狀態更新:fh=σ(wf*[yh-1,xh]+bf);
33、eh=σ(we*[yh-1,xh]+be);
34、
35、oh=σ(wo*[yh-1,xh]+bo);
36、yh=oh*tanh(ch);其中:fh表示第h個時間步的遺忘門;σ表示sigmoid函數;eh表示第h個時間步的輸入門;表示第h個時間步的候選細胞狀態;ch表示第h個時間步的細胞狀態;oh表示第h個時間步的輸出門;yh表示第h個時間步的隱藏狀態;tanh表示雙曲正切函數;wf、we、wc、wo表示預設的權重矩陣;bf、bi、bc、bo表示預設的偏置項;
37、依次處理每個行為,并更新隱藏狀態,隱藏狀態記錄在lstm狀態向量hi中。
38、需要解釋的是,target是實驗步驟結果,結果使用文本文件的方式保存。
39、進一步的,所述步驟s400的具體實施過程包括;
40、根據識別出來的實驗步驟,從預置的知識庫中獲取所述實驗步驟對應的標準實驗結果,其中:預置的知識庫存儲實驗步驟和對應的標準實驗結果,且一個實驗步驟對應一個標準實驗結果;基于標準實驗結果、行為序列數據和結果日志,通過預置評估模板生成所述實驗步驟的結果評分,其中:預置評估模板包括用于實驗評分的結果評分生成規則。
41、進一步的,所述步驟s500的具體實施過程包括:
42、查詢用戶在實驗中完成所述實驗步驟的次數,如果所述實驗步驟的完成次數大于預設的閾值時,取所述實驗步驟的結果評分中的最高分作為所述實驗步驟的結果評分,并加在總分數上;如果所述實驗步驟的完成次數未達到閾值,則把新的結果評分加在總分數上。
43、需要解釋的是,本發明設計的評分方法可以讓學生重復進行單個實驗步驟,擇優評分,這樣老師不僅可以知道學生做實驗時各個實驗步驟的重復次數,還也可以了解實驗步驟每次結果評分的變化;結合以上信息,判斷學生對實驗的哪些步驟掌握程度低,進而實現精準教學,節約教學資源,提高評分效率以及準確性。
44、進一步的,所述步驟s600的具體實施過程包括:
45、當實驗步驟的結果評分結束后,根據預置判斷模板判斷用戶實驗是否結束,若判斷結果為實驗結束,則直接輸出總分數;若判斷結果為實驗未結束,則清空存儲隊列,繼續監控并評分,其中:預置判斷模板包括用于判斷用戶實驗是否結束的判斷規則。
46、需要解釋的是,紙質實驗報告評分輸入數據庫需要人為輸入,個人評分很容易泄露;虛擬實驗室自動評分系統是用計算機產生分數,實時記錄,很難外泄數據,有助于學生的隱私保護,同時計算機產生的分數在一些技術的幫助下很難被人為篡改,增強了數據安全。
47、與現有技術相比,本發明所達到的有益效果是:本發明提供的虛擬實驗環境中基于用戶行為測度的自動評估方法,包括實時監控虛擬實驗室內的用戶行為信息,獲取行為序列數據和結果日志;通過智能評估模型,識別用戶的實驗步驟;通過預置知識庫中獲取對應實驗步驟的標準結果,基于標準結果、行為序列數據和結果日志,對實驗步驟的實驗結果進行自動化評估;本發明結合深度神經網絡對學生的行為序列進行細致分析,使用訓練完成的深度學習框架精確識別實驗步驟,不僅提高了評分的準確性,還實現細致化評分來了解學生對實驗各個步驟的掌握程度,提升虛擬實驗評分效率及準確性。