本發明涉及一種基于多模態感知的可解釋漢語對話評價與生成方法，屬于人工智能。

背景技術：

1、隨著人工智能、大數據和物聯網等技術的深入應用，國家語言教育智慧化發展迎來新方向。智能對話輔助學習模型作為智慧教育的關鍵任務之一，是提升和檢驗學習者綜合使用國家通用語言能力的重要方式。

2、現有針對學生漢語輔助學習的智能對話以及漢語能力評價模型存在的問題主要包括：a.學生漢語理解和表述能力差異大，且初學者在對話中往往存在語法、語序的錯誤和用詞的不準確，使得對話數據包含噪聲，影響對話系統的內容理解和高質量生成；b.現有評價模型普遍沒有提出一種通用的建模方法，而是注重于分析特定要素對漢語表述的影響(如學習環境等)的建模；c.目前評價模型的可解釋、可理解性仍然較弱，無法為教師提供直觀地教學建議和簡潔地個性化教學方案。

技術實現思路

1、本發明設計開發了一種基于多模態感知的可解釋漢語對話評價與生成方法，能夠克服現有漢語對話助教模型在復雜教育應用場景下，難以準確理解和回答漢語學習者的對話內容、學習者漢語對話能力評價不可解釋的問題。

2、本發明提供的技術方案為：

3、一種基于多模態感知的可解釋漢語對話評價與生成方法，包括：

4、步驟一、通過攝像頭采集學習者當前表情照片，基于faster?rcnn網絡進行學習者情感識別；

5、步驟二、進行知識點關注度的預測，在知識圖譜中將關注度的節點提取出來，得到學習者的學習路徑；

6、步驟三、通過學科知識圖譜將學習者學習路徑信息和知識點實體作為圖結構的節點輸入到圖卷積神經網絡中，結合bilstm網絡對學習者已學信息進行編碼，將學習者對知識點標記的掌握情況作為標簽，并進行分類；

7、步驟四、在學習路徑、對話情感、認知評估3個語義屬性上定義簡單概念的集合，對學習者的當前屬性進行分類；

8、步驟五、通過公理模糊集隸屬度函數計算漢語學習者的可解釋評價；

9、步驟六、將對話上下文、表情、學習路徑多模態特征向量聯合輸入預訓練模型bert得到特征融合，利用transformer結構充分學習上下文關系，得到對話的融合特征，利用預訓練中文語言模型實現對話生成；

10、步驟七、通過顯示器可視化多模態對話評價。

11、優選的是，所述步驟二包括：

12、提取學習記錄中學習者標記的已學習知識點關注度記錄作為標簽；

13、基于預訓練的bert模型對學習者在線學習記錄進行向量化嵌入；

14、基于rotate模型對知識節點表征后，由圖嵌入得到特征向量；

15、將學習記錄的向量化嵌入和知識節點的圖嵌入特征拼接后輸入到具有時間維度的長短記憶網絡中，完成知識點關注度預測模型的訓練；

16、基于關注度預測模型預測知識圖譜中未學習知識點的關注度，將關注度排名前50％的知識點提取出來，得到學習者的學習路徑。

17、優選的是，所述步驟三中，簡單概念的集合為：

18、m＝{mi,j1≤i≤3,1≤j≤3}；

19、式中，mi,1表示學習者在當前屬性fi上“得分高”、mi,2表示學習者在當前屬性fi上“得分中等”、mi,3表示學習者在當前屬性fi上“得分低”；

20、復雜概念是由簡單概念經過邏輯運算“且(∧)”和“或(∨)”得到。

21、優選的是，所述步驟五中，公理模糊集隸屬度函數的計算公式為：

22、

23、式中，x是學習者集合，m是x上的簡單概念集，(m,τ,x)是x上的公理模糊集結構，對于一名學習者x∈x，以及簡單概念的集合集合表示對于集合ai中的任意簡單概念m，屬于概念m的程度都不如學習者x大的學習者y的集合。

24、優選的是，所述步驟六中，用預訓練中文語言模型實現對話生成，包括：

25、第i個字作為對話輸出開始的概率為：

26、

27、第j個字作為對話輸出結束的概率為：

28、

29、式中，s和h是額外的學習參數矩陣，hi和hj分別為h中第i個和第j個字的bert嵌入向量；

30、h＝bert([cls]+pt+[sep]+pt-1+lt+et+ct+[sep])；

31、式中，pt為當前t時刻的對話內容，pt-1為t-1時刻的歷史對話，lt是t時刻的學習路徑內容，et為t時刻學習者的情緒標簽內容，[cls]和[sep]分別為預訓練bert模型的特殊標識符，表示輸入的開始和結束，ct為認知標簽。

32、優選的是，所述步驟七中，通過gradio的python庫完成多模態資源數據、學習者觀測維度信息、評價分析結果以及個性化對話內容的web展示。

33、本發明所述的有益效果：本發明提供的基于多模態感知的可解釋漢語對話評價與生成方法，有助于智慧教育大數據資源整合，提升教育信息化水平。借助多模態感知對教育大數據實現特征融合，并將關聯屬性整合成一個圖結構，有助于智慧教育大數據資源整合，提升教育信息化水平。

34、針對學習者的通用語言口語水平差異，具有可解釋性的漢語能力評價模型更容易獲得使用者的信任。本發明提供了一個個性化國家通用語言智能對話系統，實現教育管理精準化。

35、多模態對話生成模型考慮了學習者當前對話的情感和學習習慣，提供個性化對話練習機會，減輕教師和助教的工作量，為學習者提供實時、高效的智能助教條件。

技術特征：

1.一種基于多模態感知的可解釋漢語對話評價與生成方法，其特征在于，包括：

2.根據權利要求1所述的基于多模態感知的可解釋漢語對話評價與生成方法，其特征在于，所述步驟二包括：

3.根據權利要求2所述的基于多模態感知的可解釋漢語對話評價與生成方法，其特征在于，所述步驟三中，簡單概念的集合為：

4.根據權利要求3所述的基于多模態感知的可解釋漢語對話評價與生成方法，其特征在于，所述步驟五中，公理模糊集隸屬度函數的計算公式為：

5.根據權利要求4所述的基于多模態感知的可解釋漢語對話評價與生成方法，其特征在于，所述步驟六中，用預訓練中文語言模型實現對話生成，包括：

6.根據權利要求5所述的基于多模態感知的可解釋漢語對話評價與生成方法，其特征在于，所述步驟七中，通過gradio的python庫完成多模態資源數據、學習者觀測維度信息、評價分析結果以及個性化對話內容的web展示。

技術總結
本發明公開了一種基于多模態感知的可解釋漢語對話評價與生成方法，包括：步驟一、通過攝像頭采集學習者當前表情照片，基于Faster?RCNN網絡進行學習者情感識別；步驟二、進行知識點關注度的預測，在知識圖譜中將關注度的節點提取出來，得到學習者的學習路徑；步驟三、將學習者對知識點標記的掌握情況作為標簽，并進行分類；步驟四、對學習者的當前屬性進行分類；步驟五、通過公理模糊集隸屬度函數計算漢語學習者的可解釋評價；步驟六、利用預訓練中文語言模型實現對話生成；步驟七、通過顯示器可視化多模態對話評價。能夠提供個性化對話練習機會，減輕教師和助教的工作量，為學習者提供實教條件。

技術研發人員：郎琦,王佳男,殷明浩
受保護的技術使用者：東北師范大學
技術研發日：
技術公布日：2025/4/24