本發明屬于視頻處理，具體涉及一種云邊協同的智能視頻處理方法。

背景技術：

1、隨著攝像頭數量的激增，產生了大量的視頻數據，這對數據傳輸和中心處理能力提出了挑戰。傳統的單中心化數據處理模式難以高效應對這些挑戰，因此需要一種分布式的、云邊協同的視頻處理方法，以適應不斷增長的需求，并確保視頻分析的實時性與可靠性。現有的方案通常聚焦于局部邊緣計算+云計算的優勢，邊緣計算方案能夠減少帶寬使用，但在處理大規模數據時各個區域算力顯得力不從心，如果統一建立云計算方案具備強大的處理能力，但傳輸大量數據對網絡帶寬構成巨大壓力，且實時性不足。

技術實現思路

1、本發明提供了一種云邊協同的智能視頻處理方法，所述方法包括下列步驟：

2、s1.邊緣端設備對實時視頻流進行初步分析和加工，提取出必要圖片信息；

3、s2.區縣級平臺利用本地算法對必要圖片信息進行解析，提取特征向量，進行本地存儲，并發送到省級云平臺；

4、s3.省級云平臺接收區縣級平臺發送的特征向量，并存儲到向量存儲中心，所述省級云平臺的管控中心對各個區縣級平臺進行管控調度，如果區縣級平臺出現積壓情況，利用省級云平臺的動態算力池進行調度處理，其中，所述省級云平臺云計算平臺的動態算力池包括多個計算節點，獲取各計算節點的負載狀態、各區縣級平臺的數據積壓情況以及各區縣級平臺的任務優先級，將存在數據積壓情況并且任務優先級最高的區縣級平臺的數據處理，調度到負載最低的計算節點上，所述數據處理包括步驟s2中對必要圖片信息進行解析，提取特征向量的數據處理過程；

5、s4.省級云平臺使用向量存儲中心中的向量數據，進行分析和/或提供搜索服務。

6、進一步，步驟s1具體包括：獲取實時視頻流中的各幀圖像，并將與相鄰幀差異超過閾值的幀圖像，作為必要幀圖像，提取該必要幀圖像的信息作為必要圖片信息。

7、進一步，步驟s2具體包括：采用局部特征點提取算法提取圖片信息中的關鍵點描述子向量，計算屬于各聚類中心的關鍵點與其所屬聚類中心的殘差和，根據所述殘差和，獲取特征向量。

8、進一步，步驟s1包括下列計算過程：

9、

10、其中，為實時視頻流中第t幀圖像，為第t幀圖像在圖像的像素位置處的像素值，和為圖像的寬度和高度,為設定的閾值參數，為必要圖片信息。

11、進一步，步驟s2包括下列計算過程：

12、

13、

14、其中，為必要圖片信息的特征向量，其是的拼接，為聚類中心對應的向量，為使用sift局部特征點提取算法對必要圖片信息進行提取的屬于該聚類中心的每個關鍵點描述子向量，為該屬于該聚類中心的關鍵點描述子向量的個數，為聚類中心的個數，?為l2歸一化函數,表示所有屬于聚類中心的關鍵點描述子向量與聚類中心的殘差和。

15、進一步，所述管控調度包括計算管控調度結果r，

16、

17、其中，表示第個區縣級平臺的隊列狀態即數據積壓情況，表示第個區縣級平臺的任務優先級參數，表示動態算力池中第個計算節點的負載情況，d為調度函數，用于將存在數據積壓且任務優先級高的區縣級平臺任務，調度到動態算力池中負載最低的節點上。

18、進一步，提供搜索服務具體包括下列處理過程：

19、

20、

21、其中，為查詢向量，為圖片的特征向量，為向量維度，為查詢向量每個維度的值，為圖片特征向量的每個維度的值，為相似度結果，為搜索返回結果，為排序函數，根據相似度結果排序，返回相似度大的搜索結果。

22、本發明還涉及一種用于實現上述的一種云邊協同的智能視頻處理方法的系統，所述系統包括：省級云平臺、多個區縣級平臺、多個邊緣端設備；

23、所述邊緣端設備連接至少一個采集實時視頻流的攝像頭，并對實時視頻流進行初步分析和加工，提取出必要圖片信息；

24、區縣級平臺連接至少一個所述邊緣段設備，并利用本地算法對必要圖片信息進行解析，提取特征向量，進行本地存儲，并發送到省級云平臺；

25、省級云平臺包括管控中心、向量存儲中心、動態算力池以及服務應用，省級云平臺接收區縣級平臺發送的特征向量，并存儲到所述向量存儲中心，所述管控中心對各個區縣級平臺進行管控調度，如果區縣級平臺出現積壓情況，利用省級云平臺的動態算力池進行調度處理，其中，所述省級云平臺云計算平臺的動態算力池包括多個計算節點，獲取各計算節點的負載狀態、各區縣級平臺的數據積壓情況以及各區縣級平臺的任務優先級，將存在數據積壓情況并且任務優先級最高的區縣級平臺的數據處理，調度到負載最低的計算節點上，所述數據處理包括區縣級平臺對必要圖片信息進行解析，提取特征向量，并進行存儲的數據處理過程；

26、服務應用使用向量存儲中心中的向量數據，進行分析和/或提供搜索服務。

27、本發明還涉及一種計算機程序產品，所述計算機程序產品包括計算機程序，所述計算機程序被處理器執行，用于執行如上所述的一種云邊協同的智能視頻處理方法。

28、本發明還涉及一種計算機可讀存儲介質，所述計算機可讀存儲介質用于存儲計算機程序，所述計算機程序被處理器執行，用于執行如上所述的一種云邊協同的智能視頻處理方法。

29、本發明的技術方案通過設置包括邊緣端、區縣級平臺、省級云平臺的三級分布式處理架構，通過省級云平臺的動態算力池的調度處理，既保留了邊緣計算與區域云的低延遲和實時性，又兼顧了中心級云計算的高效分析能力。

技術特征：

1.一種云邊協同的智能視頻處理方法，其特征在于，所述方法包括下列步驟：

2.根據權利要求1所述的一種云邊協同的智能視頻處理方法，其特征在于，步驟s1具體包括：獲取實時視頻流中的各幀圖像，并將與相鄰幀差異超過閾值的幀圖像，作為必要幀圖像，提取該必要幀圖像的信息作為必要圖片信息。

3.根據權利要求1所述的一種云邊協同的智能視頻處理方法，其特征在于，步驟s2具體包括：采用局部特征點提取算法提取圖片信息中的關鍵點描述子向量，計算屬于各聚類中心的關鍵點與其所屬聚類中心的殘差和，根據所述殘差和，獲取特征向量。

4.根據權利要求2所述的一種云邊協同的智能視頻處理方法，其特征在于，步驟s1包括下列計算過程：

5.根據權利要求3所述的一種云邊協同的智能視頻處理方法，其特征在于，步驟s2包括下列計算過程：

6.根據權利要求1-5任一項所述的一種云邊協同的智能視頻處理方法，其特征在于，所述管控調度包括計算管控調度結果r，

7.根據權利要求1-5任一項所述的一種云邊協同的智能視頻處理方法，其特征在于，提供搜索服務具體包括下列處理過程：

8.一種用于實現權利要求1-7任一項所述的一種云邊協同的智能視頻處理方法的系統，其特征在于，所述系統包括：省級云平臺、多個區縣級平臺、多個邊緣端設備；

9.一種計算機程序產品，其特征在于，所述計算機程序產品包括計算機程序，所述計算機程序被處理器執行，用于執行如權利要求1-7任一項所述的一種云邊協同的智能視頻處理方法。

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質用于存儲計算機程序，所述計算機程序被處理器執行，用于執行如權利要求1-7任一項所述的一種云邊協同的智能視頻處理方法。

技術總結
本發明公開了一種云邊協同的智能視頻處理方法，所述方法包括下列步驟：S1.邊緣端設備對實時視頻流進行初步分析和加工，提取出必要圖片信息；S2.區縣級平臺利用本地算法對必要圖片信息進行解析，提取特征向量，進行本地存儲，并發送到省級云平臺；S3.省級云平臺接收區縣級平臺發送的特征向量，對各個區縣級平臺進行管控調度，將存在數據積壓情況并且任務優先級最高的區縣級平臺的數據處理，調度到負載最低的計算節點上；S4.省級云平臺使用向量存儲中心中的向量數據，進行分析和/或提供搜索服務。

技術研發人員：孫斌,樓宏良,吳立選,陳波,鄭挺,許婷婷,韋爾康,張可鑫
受保護的技術使用者：浙江省公安科技研究所
技術研發日：
技術公布日：2025/4/24