本發明涉及人工智能領域，具體地涉及一種基于視頻數據的異常事件預警方法、裝置和設備。

背景技術：

1、隨著視頻監控系統在社會治安、交通安全等領域的廣泛應用，視頻異常事件檢測與預警已成為智慧城市建設的重要環節。然而，海量監控視頻數據給實時分析與快速響應帶來巨大挑戰。此外，視頻數據涉及公民隱私，在異常預警中需要快速響應的同時，也要保證視頻畫面中的公民隱私不被泄露。

技術實現思路

1、鑒于上述問題，本發明提供了一種基于視頻數據的異常事件預警方法、裝置和設備。

2、根據本發明的第一個方面，提供了一種基于視頻數據的異常事件預警方法，包括：獲取待處理視頻數據，待處理視頻數據包括待處理視頻、與待處理視頻相關的時間數據和地點數據；利用訓練后的事件識別模型處理待處理視頻，得到待處理視頻的初始事件類型；在初始事件類型屬于異常事件類型的情況下，根據初始事件類型、時間數據和地點數據，確定預警提示文本；將預警提示文本和視覺特征傳輸至云端，視覺特征是監控終端對待處理視頻進行特征提取得到的；利用云端的利用云端的大語言模型處理預警提示文本和視覺特征，得到異常事件分析結果，異常事件分析結果包括異常事件類型，視覺特征是對待處理視頻進行特征提取得到的；將異常事件類型與預設應急預案進行匹配，以確定應急策略。

3、根據本發明的實施例，利用云端的大語言模型處理預警提示文本和視覺特征，得到異常事件分析結果，包括：將預警提示文本和視覺特征進行融合，得到多模態融合特征；根據多模態融合特征，確定n個文本詞元特征和m個視覺詞元特征，m為大于0的整數，n為大于0的整數；針對每個視覺詞元特征，基于注意力機制對視覺詞元特征和n個文本詞元特征進行處理，得到目標視覺詞元特征；針對每個文本詞元特征，基于注意力機制對文本詞元特征和m個視覺詞元特征進行處理，得到目標文本詞元特征；利用多頭預測函數處理n個目標視覺詞元特征和m個目標文本詞元特征，得到異常事件分析結果。

4、根據本發明的實施例，基于注意力機制對視覺詞元特征和n個文本詞元特征進行處理，得到目標視覺詞元特征，包括：基于注意力機制對視覺詞元特征和n個文本詞元特征進行處理，得到視覺注意力權重；根據視覺注意力權重對n個文本詞元特征進行加權求和，得到文本表示特征；利用前饋網絡處理文本表示特征和視覺詞元特征，得到目標視覺詞元特征。

5、根據本發明的實施例，基于注意力機制對文本詞元特征和m個視覺詞元特征進行處理，得到目標文本詞元特征，包括：基于注意力機制對文本詞元特征和m個視覺詞元特征進行處理，得到文本注意力權重；根據文本注意力權重對m個視覺詞元特征進行加權求和，得到視覺表示特征；利用前饋網絡處理視覺表示特征和文本詞元特征，得到目標文本詞元特征。

6、根據本發明的實施例，將異常事件類型與預設應急預案進行匹配，以確定應急策略之前，還包括：根據異常事件分析結果，生成結構化預警信息，結構化預警信息包括異常事件類型、異常發生時段和異常地點；以及將結構化預警信息發送至目標人員。

7、根據本發明的實施例，訓練后的事件識別模型是基于以下步驟訓練的，獲取樣本視頻數據和視頻標簽數據，視頻標簽數據包括異常事件類型標簽、時間標簽和地點標簽；迭代地執行以下操作，直到損失函數值收斂：將樣本視頻數據輸入至初始事件識別模型，輸出訓練事件類型、訓練時間信息和訓練地點信息；利用交叉熵損失函數處理訓練事件類型、訓練時間信息和訓練地點信息與視頻標簽數據，得到損失函數值。

8、本發明的第二方面提供了一種基于視頻數據的異常事件預警裝置，包括：獲取模塊，用于獲取待處理視頻數據，待處理視頻數據包括待處理視頻、與待處理視頻相關的時間數據和地點數據；初始事件類型得到模塊，用于利用訓練后的事件識別模型處理待處理視頻，得到待處理視頻的初始事件類型；預警提示文本確定模塊，用于在初始事件類型屬于異常事件類型的情況下，根據初始事件類型、時間數據和地點數據，確定預警提示文本；傳輸模塊，用于將預警提示文本和視覺特征傳輸至云端，視覺特征是監控終端對待處理視頻進行特征提取得到的；異常事件分析結果得到模塊，用于利用云端的大語言模型處理預警提示文本和視覺特征，得到異常事件分析結果，異常事件分析結果包括異常事件類型；匹配模塊，用于將異常事件類型與預設應急預案進行匹配，以確定應急策略。

9、本發明的第三方面提供了一種電子設備，包括：一個或多個處理器；存儲器，用于存儲一個或多個計算機程序，其中，上述一個或多個處理器執行上述一個或多個計算機程序以實現上述方法的步驟。

10、本發明的第四方面還提供了一種計算機可讀存儲介質，其上存儲有計算機程序，上述計算機程序被處理器執行時實現上述方法的步驟。

11、本發明的第五方面還提供了一種計算機程序產品，包括計算機程序或指令，上述計算機程序或指令被處理器執行時實現上述方法的步驟。根據本發明的實施例，通過利用訓練后的事件識別模型實時分析待處理視頻，得到初始事件類型，在初始事件類型屬于異常事件類型的情況下，可以根據初始事件類型、時間數據和地點數據，確定預警提示文本，以確保響應速度，將預警提示文本和視覺特征傳輸至云端，視覺特征是監控終端對待處理視頻進行特征提取得到的，再利用云端的大語言模型處理預警提示文本和視覺特征，得到異常事件分析結果，將異常事件類型與預設應急預案進行匹配，以確定應急措施，本方法不會將原始視頻畫面回傳至云端，而是通過參數高度壓縮的視覺特征進行通信，在提升分析能力的同時最大限度保護人員隱私。輕量級的事件識別模型部署在監控終端進行初步的異常行為篩查，克服了大語言模型在邊緣設備上部署的資源開銷大、推理時延高等不足；而云端的大語言模型則負責對可疑事件進行深度分析，發揮其強大的語義理解和數據關聯能力，提升了異常事件識別的準確性和全面性。

技術特征：

1.一種基于視頻數據的異常事件預警方法，其特征在于，包括：

2.根據權利要求1所述的方法，其特征在于，所述利用所述云端的大語言模型處理所述預警提示文本和所述視覺特征，得到異常事件分析結果，包括：

3.根據權利要求2所述的方法，其特征在于，所述基于注意力機制對所述視覺詞元特征和m個所述文本詞元特征進行處理，得到目標視覺詞元特征，包括：

4.根據權利要求2或3所述的方法，其特征在于，所述基于注意力機制對所述文本詞元特征和n個所述視覺詞元特征進行處理，得到目標文本詞元特征，包括：

5.根據權利要求1所述的方法，其特征在于，所述將所述異常事件類型與預設應急預案進行匹配，以確定應急策略之前，還包括：

6.根據權利要求1所述的方法，其特征在于，所述訓練后的事件識別模型是基于以下步驟訓練的，

7.一種基于視頻數據的異常事件預警裝置，其特征在于，包括：

8.一種電子設備，包括：

9.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該計算機程序被處理器執行時實現根據權利要求1~6中任一項所述方法的步驟。

10.一種計算機程序產品，包括計算機程序，其特征在于，所述計算機程序被處理器執行時實現根據權利要求1~6中任一項所述方法的步驟。

技術總結
本發明提供了一種基于視頻數據的異常事件預警方法、裝置和設備，可以應用于人工智能領域。該方法包括：獲取待處理視頻數據，待處理視頻數據包括待處理視頻、與待處理視頻相關的時間數據和地點數據；利用訓練后的事件識別模型處理待處理視頻，得到待處理視頻的初始事件類型；在初始事件類型屬于異常事件類型的情況下，根據初始事件類型、時間數據和地點數據，確定預警提示文本；將預警提示文本和視覺特征傳輸至云端，視覺特征是監控終端對待處理視頻進行特征提取得到的；利用云端的大語言模型處理預警提示文本和視覺特征，得到異常事件分析結果，異常事件分析結果包括異常事件類型；將異常事件類型與預設應急預案進行匹配，以確定應急策略。

技術研發人員：李經宇
受保護的技術使用者：合肥綜合性國家科學中心人工智能研究院（安徽省人工智能實驗室）
技術研發日：
技術公布日：2025/4/28