本發明屬于人工智能，特別涉及一種基于在線學習和后端融合的駕駛員誤操作識別與保護方法。

背景技術：

1、車輛駕駛安全一直是人們和社會的重點關注對象，近些年，由于生成式大模型的興起，車輛駕駛安全技術迎來新的高潮，目前主要應用了包括環境感知與決策技術、車聯網技術、智能駕駛功能開發以及駕駛員行為監測技術等方面的技術。生成式大模型是以上各種人工智能手段的集大成者，也正是因為生成式大模型的加入，讓車輛安全的智能性上升一個臺階。

2、但是，相關技術中的生成式大模型所生成的結果導向存有偏差性，相同問題的輸出結果可能存在誤差，甚至錯誤結果，且具有一定的隨機性，相同條件下的輸出結果可能不一致。且由于生成式大模型是預訓練模型，其存在數據規模大，網絡結構深及原理具有不可解釋性等問題，因此，將生成式大模型應用于車輛智能安全中，車輛會存在一定的安全隱患。

技術實現思路

1、本發明的目的是使得智能安全反饋網絡將神經網絡與反饋學習網絡相結合，整個智能安全反饋網絡擁有在線學習的能力，實現了小模型網絡的運用，規避生成式大模型結果的誤差性，提高車輛駕駛的安全性。隨著駕駛員的駕駛次數增加，智能安全反饋網絡在線學習的次數也增多，預測結果更加準確。

2、第一方面，本發明實施例提供了一種基于在線學習和后端融合的駕駛員誤操作識別與保護方法，所述方法包括：

3、在車輛行駛過程中，獲取當前時刻的駕駛員操作數據，車輛狀態數據，以及所述車輛的攝像頭所采集的視頻流；

4、將所述駕駛員操作數據、所述車輛狀態數據，以及所述視頻流輸入到在線反饋學習的智能安全反饋網絡；

5、通過所述智能安全反饋網絡輸出下一時刻車輛的駕駛信息，并基于所述駕駛信息對車輛進行控制；

6、其中，所述智能安全反饋網絡的在線反饋學習過程包括：

7、基于所述駕駛員操作數據和車輛狀態數據，提取當前時刻的駕駛特征和踏板踩踏特征，并基于所述視頻流提取當前時刻的車輛行駛環境特征以及車輛運動特征；

8、基于當前時刻的踏板踩踏特征預測下一時刻的踏板踩踏特征預測值，基于當前時刻的車輛運動特征預測下一時刻的車輛運動特征預測值，并基于當前時刻的駕駛特征和車輛行駛環境特征，預測下一時刻的駕駛信息預測值；

9、基于所述踏板踩踏特征預測值與下一時刻的踏板踩踏特征真實值之間的誤差，所述車輛運動特征預測值與下一時刻的車輛運動特征真實值之間的誤差，以及所述駕駛信息預測值與下一時刻的駕駛信息真實值之間的誤差，生成在線反饋學習策略；

10、基于所述在線反饋學習策略對所述智能安全反饋網絡進行在線反饋學習。

11、可選的，所述智能安全反饋網絡包括特征提取網絡、預測網絡以及反饋學習網絡；

12、所述基于所述踏板踩踏特征預測值與下一時刻的踏板踩踏特征真實值之間的誤差，所述車輛運動特征預測值與下一時刻的車輛運動特征真實值之間的誤差，以及所述駕駛信息預測值與下一時刻的駕駛信息真實值之間的誤差，生成在線反饋學習策略，包括：

13、所述反饋學習網絡基于所述踏板踩踏特征預測值與下一時刻的踏板踩踏特征真實值之間的誤差，以及，所述車輛運動特征預測值與下一時刻的車輛運動特征真實值之間的誤差，確定所述特征提取網絡的第一在線反饋學習策略；

14、所述反饋學習網絡基于所述駕駛信息預測值與下一時刻的駕駛信息真實值之間的誤差，確定所述預測網絡的第二在線反饋學習策略；

15、所述特征提取網絡基于所述第一在線反饋學習策略和所述第二在線反饋學習策略進行在線反饋學習，所述預測網絡基于所述第二在線反饋學習策略進行在線反饋學習。

16、可選的，所述特征提取網絡包括第一特征提取子網絡和第二特征提取子網絡，所述反饋學習網絡包括第一反饋學習子網絡和第二反饋學習子網絡；

17、所述反饋學習網絡基于所述踏板踩踏特征預測值與下一時刻的踏板踩踏特征真實值之間的誤差，以及，所述車輛運動特征預測值與下一時刻的車輛運動特征真實值之間的誤差，確定所述特征提取網絡的第一在線反饋學習策略，包括：

18、所述第一反饋學習子網絡基于所述踏板踩踏特征預測值與下一時刻的踏板踩踏特征真實值之間的誤差，生成針對第一特征提取子網絡的第一在線反饋學習子策略，所述第一特征提取子網絡用于提取踏板踩踏特征和駕駛特征；

19、所述第二反饋學習子網絡基于所述車輛運動特征預測值與下一時刻的車輛運動特征真實值之間的誤差，生成針對第二特征提取子網絡的第二在線反饋學習子策略，所述第二特征提取子網絡用于提取車輛運動特征和車輛行駛環境特征。

20、可選的，所述預測網絡包括第一預測子網絡和第二預測子網絡，所述反饋學習網絡還包括第三反饋學習子網絡和第四反饋學習子網絡；

21、所述反饋學習網絡基于所述駕駛信息預測值與下一時刻的駕駛信息真實值之間的誤差，確定所述預測網絡的第二在線反饋學習策略，包括：

22、所述第三反饋學習子網絡基于第一預測子網絡預測所得的駕駛信息預測值與下一時刻的駕駛信息真實值之間的誤差，確定針對所述第一預測子網絡和第一特征提取子網絡的第三在線反饋學習子策略，其中，所述第一預測子網絡基于當前時刻的駕駛特征預測下一時刻的駕駛信息預測值；

23、所述第四反饋學習子網絡基于第二預測子網絡預測所得的駕駛信息預測值與下一時刻的駕駛信息真實值之間的誤差，確定針對所述第二預測子網絡和第二特征提取子網絡的第四在線反饋學習子策略，其中，所述第二預測子網絡基于當前時刻的車輛行駛環境特征預測下一時刻的駕駛信息預測值。

24、可選的，所述特征提取網絡基于所述第一在線反饋學習策略和所述第二在線反饋學習策略進行在線反饋學習，所述預測網絡基于所述第二在線反饋學習策略進行在線反饋學習，包括：

25、所述第一特征提取子網絡基于所述第一在線反饋學習子策略和所述第三在線反饋學習子策略調整模型參數；

26、所述第二特征提取子網絡基于所述第二在線反饋學習子策略和所述第四在線反饋學習子策略調整模型參數；

27、所述第一預測子網絡基于所述第三在線反饋學習子策略調整模型參數；

28、所述第二預測子網絡基于所述第四在線反饋學習子策略調整模型參數。

29、可選的，所述基于所述駕駛信息對車輛進行控制，包括：

30、從駕駛員監測系統獲取駕駛員狀態信息；

31、將所述駕駛員狀態信息，以及從所述智能安全反饋網絡輸出的駕駛信息輸入誤操作檢測網絡；

32、通過所述誤操作檢測網絡以及所述駕駛員監測系統，判斷車輛駕駛在當前駕駛環境下的操作是否為誤操作；

33、如果判定車輛駕駛在當前駕駛環境下的操作為誤操作，觸發誤操作保護系統執行誤操作保護策略，并通過所述操作保護策略對車輛進行控制。

34、可選的，所述觸發誤操作保護系統執行誤操作保護策略，并通過所述操作保護策略對車輛進行控制，包括：

35、基于當前駕駛環境以及駕駛員的駕駛模式，確定車輛的加速度范圍以及速度范圍；

36、控制車輛的加速度在所述加速度范圍內，且控制車輛的速度在所述速度范圍內。

37、第二方面，本發明實施例提供了一種基于在線學習和后端融合的駕駛員誤操作識別與保護裝置，所述裝置包括：

38、數據獲取模塊，用于在車輛行駛過程中，獲取當前時刻的駕駛員操作數據，車輛狀態數據，以及所述車輛的攝像頭所采集的視頻流；

39、數據輸入模塊，用于將所述駕駛員操作數據、所述車輛狀態數據，以及所述視頻流輸入到在線反饋學習的智能安全反饋網絡；

40、駕駛信息預測模塊，用于通過所述智能安全反饋網絡輸出下一時刻車輛的駕駛信息，并基于所述駕駛信息對車輛進行控制；

41、在線學習反饋模塊，具體用于：

42、基于所述駕駛員操作數據和車輛狀態數據，提取當前時刻的駕駛特征和踏板踩踏特征，并基于所述視頻流提取當前時刻的車輛行駛環境特征以及車輛運動特征；

43、基于當前時刻的踏板踩踏特征預測下一時刻的踏板踩踏特征預測值，基于當前時刻的車輛運動特征預測下一時刻的車輛運動特征預測值，并基于當前時刻的駕駛特征和車輛行駛環境特征，預測下一時刻的駕駛信息預測值；

44、基于所述踏板踩踏特征預測值與下一時刻的踏板踩踏特征真實值之間的誤差，所述車輛運動特征預測值與下一時刻的車輛運動特征真實值之間的誤差，以及所述駕駛信息預測值與下一時刻的駕駛信息真實值之間的誤差，生成在線反饋學習策略；

45、基于所述在線反饋學習策略對所述智能安全反饋網絡進行在線反饋學習。

46、第三方面，本發明實施例提供了一種電子設備，包括：

47、至少一個處理器；

48、用于存儲所述至少一個處理器可執行指令的存儲器；

49、其中，所述至少一個處理器被配置為執行所述指令，以實現第一方面所述的方法。

50、第四方面，本發明實施例提供了一種計算機可讀存儲介質，當所述計算機可讀存儲介質中的指令由電子設備的處理器執行時，使得所述電子設備能夠執行第一方面所述的方法。

51、第五方面，本發明實施例提供了一種計算機程序產品，包括計算機程序，所述計算機程序被處理器執行時實現第一方面所述的方法。

52、本發明實施例提供的技術方案，智能安全反饋網絡將神經網絡與反饋學習網絡的結合，使得整個智能安全反饋網絡擁有在線學習的能力，實現了小模型網絡的運用，規避生成式大模型結果的誤差性，提高車輛駕駛的安全性。隨著駕駛員的駕駛次數增加，智能安全反饋網絡在線學習的次數也增多，整個智能安全反饋網絡在反饋學習網絡的調節下，參數權重會比單純依靠數學模型調整更加準確，提高了車輛與駕駛員的適配程度，提高了車輛的安全性。