本發明涉及數字視頻，具體涉及一種三方協同處理的視頻實時傳輸與處理異構系統。

背景技術：

1、視頻圖像在智能監控、自動駕駛、智能制造等領域的廣泛應用，使得視頻圖像處理實時性、靈活性要求越來越高。除cpu通用芯片外，其它類型專用計算芯片如gpu、dsp、arm、fpga、asic，均被廣泛應用于視頻實時傳輸與處理加速計算任務，其中：cpu作為通用計算架構，具有成熟的軟件生態和靈活的編程接口，但面對4k及以上高分辨率視頻處理時，其單線程計算能力較低、計算效率能力不足且高頻運算時功耗較高，不適用于能耗敏感的嵌入式設備；arm在嵌入式場景中應用廣泛并以低功耗、高效率著稱，但arm的內存帶寬有限、難以滿足高分辨率視頻處理的實時需求，相比于cpu和gpu有明顯差距，且由于arm使用x86架構不兼容的專用指令集，存在軟件移植方面的開發效率問題；fpga以其高度并行計算能力和低延遲特性在視頻處理領域展現了巨大潛力，尤其適合計算密集型任務，但fpga開發門檻較高、調試難度大且缺乏靈活的軟件生態系統，在處理復雜邏輯或動態任務切換時，其靈活性遠不及cpu或arm。

2、由于單一計算架構難以同時滿足視頻圖像處理實時性、靈活性與低功耗的綜合要求，結合視頻傳輸與處理要求、應用目的設計不同芯片組合下的異構系統，并通過合理分配計算任務、實現優勢互補，成為解決視頻高效傳輸、處理的重要方向。然而，現有異構系統方案通常集中于單一任務加速，缺乏針對視頻流傳輸與多模塊協作的全面優化設計，限制了其在復雜應用場景中的性能潛力。

技術實現思路

1、本發明的目的在于提供一種三方協同處理的視頻實時傳輸與處理異構系統，旨在解決現有的視頻實時傳輸與處理異構系統實時性與高效性不足，功能擴展性差的問題。

2、為實現上述目的，本發明提供了一種三方協同處理的視頻實時傳輸與處理異構系統，包括服務器cpu端、arm端、fpga端、vdma數據流搬運ip、vtc時序控制ip、vid?out?ip、hdmi顯示ip以及自定義圖像處理模塊，各部分間采用axi總線互聯；

3、所述服務器cpu端負責視頻流采集和初步傳輸以及對輸入數據的預處理，所述arm端負責視頻接收并傳遞給fpga端，所述fpga端負責數據計算加速,將計算負載分離到fpga上，并可將處理后的數據傳回服務器cpu端；

4、所述arm模塊包括cortex-a9處理器、axi通信接口、ddr存儲和sd卡，cortex-a9處理器通過axi通信接口與axi總線傳輸協議連接，所述cortex-a9處理器還分別與所述ddr存儲和所述sd卡雙向連接；

5、所述vdma數據流搬運ip可以從arm端ddr存儲中讀取數據，然后以axi-stream流的方式輸出；

6、vtc時序控制ip產生rgb視頻時序，負責生成與顯示輸出同步的時序信號，與vdma數據流搬運ip模塊協同工作；

7、vid?out?ip把stream流數據轉為rgb時序給hdmi顯示ip；

8、所述hdmi顯示ip負責將視頻輸出的rgb圖像數據轉化為符合hdmi協議的輸出信號，同時將原視頻和處理過的視頻數據傳輸至外部顯示設備做對比；

9、所述自定義圖像處理模塊為自由拓展模塊，封裝成axi4標準接口，具有六個主要輸入輸出接口，包括三個axi4接口和三個控制接口。

10、其中，所述自定義圖像處理模塊設計有三個可替換模塊，包括sobel邊緣檢測模塊、harris角點檢測模塊、圖片分類模塊；

11、所述sobel邊緣檢測模塊用于計算圖像的邊緣特征，所述harris角點檢測模塊用于圖像特征點提取，所述圖片分類模塊基于cnn?lenet用于圖像分類，三個模塊均通過六個主要接口實現數據交互與控制。

12、其中，所述sobel邊緣檢測模塊的三個axi4接口分別為s_axi_axilites、input_stream、output_stream，三個控制接口分別為ap_clk、ap_rst_n、interrupt；

13、s_axi_axilites接口負責與主機系統之間的寄存器配置通信，用于ip核的初始化、參數設置以及狀態讀取；

14、input_stream接口接受視頻流數據，支持axi4-stream協議，用于接收原始圖像數據或上一處理階段輸出的數據；

15、output_stream接口輸出處理后的邊緣檢測圖像數據，支持axi4-stream協議，便于連接到后續處理模塊或顯示接口；

16、ap_clk接口負責系統時鐘信號，驅動ip核內部的邏輯運算；

17、ap_rst_n接口負責全局復位信號，低電平有效，用于初始化ip核的所有內部狀態；

18、interrupt接口負責中斷信號，指示當前處理任務的完成狀態。

19、其中，所述harris角點檢測模塊的三個axi4接口分別為s_axi_control、img_inp、img_out，三個控制接口分別為ap_clk、ap_rst_n、interrupt；

20、s_axi_control接口基于axi4-lite協議，用于與主機處理器的通信，負責ip核的參數配置和運行狀態監控；

21、img_inp接口基于axi4-stream協議，用于接收輸入的圖像數據流；

22、img_out接口采用axi4-stream協議，用于輸出包含角點檢測結果的圖像數據流；

23、ap_clk接口表示系統全局時鐘信號，驅動ip核內部所有邏輯運算；

24、ap_rst_n接口表示全局復位信號，低電平有效，用于在系統啟動或異常情況下初始化ip核的所有寄存器和內部狀態；

25、interrupt接口表示中斷信號，輸出高電平表示當前處理任務完成或發生異常。

26、其中，所述圖片分類模塊的三個axi4接口分別為s_axi_ctrl_bus、input_r_porta、output_r_porta，三個控制接口也分別為ap_clk、ap_rst_n、interrupt；

27、s_axi_ctrl_bus接口基于axi4-lite協議，用于與主機系統的交互，實現ip核的配置和運行狀態管理；

28、input_r_porta接口基于axi4協議，用于接收輸入圖像數據；

29、output_r_porta接口用于輸出分類結果，包括圖像的分類標簽、置信度分數數據，支持與下游處理模塊直接集成。

30、其中，所述arm端使用lwip接口作為一個ip協議棧，通過udp協議接收服務器cpu端發送過來的視頻流數據。

31、其中，所述fpga端均外接有ddr存儲芯片，用于暫存視頻流數據。

32、本發明提供了一種三方協同處理的視頻實時傳輸與處理異構系統，包括服務器cpu端、arm端、fpga端及多個模塊，系統上電后，服務器cpu端作為客戶端獲取視頻流數據，并把視頻流數據發送到fpga端和arm端，arm端使用lwip接口作為一個ip協議棧，通過udp協議接收cpu發送過來的視頻流數據，并把視頻流數據暫存到fpga外接的ddr存儲芯片，圖像處理模塊獲取視頻流數據后進行處理，處理后的視頻流數據通過hdmi顯示ip模塊把原視頻和處理后視頻顯示對比。本發明協同利用fpga高并行計算能力、arm低功耗控制能力及cpu靈活性，實現視頻流實時傳輸、處理與顯示。此外還設計了可替換的圖像處理模塊，通過自定義圖像處理模塊實現多種圖像處理功能，適配多種應用需求。