專利名稱：運行時可重構的嵌入式安全實時圖像壓縮系統的制作方法
技術領域：
本發明涉及一種運行時可重構的嵌入式安全實時圖像壓縮系統。
背景技術：
隨著多媒體技術和網絡通信技術的飛速發展，特別是近年來物聯網的發展，極大地促進了人們對實時圖像和視頻信息的需求。傳統實時圖像及視頻的傳輸主要采用有線的方式，這大大降低了實時圖像視頻采集設備的移動性和易用性。為解決這個問題，可改用目前正處于快速發展階段的無線網絡，但是無線網絡帶寬非常有限、安全性較低底，因此必須先解決這些問題，才能使無線網絡傳輸成為可能。對原始圖像進行壓縮，減少圖像大小，無疑是解決帶寬問題的一個有效辦法。在目前眾多圖像壓縮算法中，又以JPEG最為常用。所謂JPEG，是聯合圖象專家組(Joint Picture Expert Group)的英文縮寫，是一個在國際標準組織(ISO)下從事靜態影像壓縮標準制定的委員會。該標準具有較高的壓縮效率和較低的圖像失真，已成為圖像壓縮領域國際通用的標準之一，與JPEG2000相比，實現復雜度較低，更適合用于資源有限的嵌入式設備中。從技術實現的角度看，目前嵌入式領域主要采用三種方式來實現圖像采集壓縮。 第一種，采用單獨的微控制器(MCU)，這種實現方式成本較低，但是MCU運算能力有限，遠遠無法達到實時要求。第二種采用微控制器+數字信號處理器(DSP)的方式，這種實現一定程度上克服了 MCU運算能力不足的缺陷，但成本大大提高，而且不利于系統的集成。第三種也是最主流的一種，采用專用圖像壓縮處理芯片(ASIC)，但是專用圖像處理芯片靈活性較差，編碼方式固定，且傳輸中采用的是標準JPEG文件交換格式(JFIF)，不僅不安全，而且每幅圖像都包含大量相同的文件頭信息，占用了寶貴的帶寬資源。

發明內容
本發明的目的就是為彌補現有技術的不足，本發明提出了一種運行時可重構的嵌入式安全實時圖像壓縮系統，它適用于采用無線傳輸的實時圖像采集處理的應用環境中， 例如無線監控。整套系統基于ARM和FPGA平臺，ARM作為核心控制單元，提供與無線模塊的通信接口，負責與上位機通信，接收從上位機傳輸的加密的部分可重構配置文件并發送壓縮好的圖像數據到上位機；另外管理重構過程，解密部分可重構配置文件并控制進行FPGA 的重構。FPGA作為JPEG圖像壓縮加速器，通過并行處理、流水線技術來加速圖像壓縮過程。 并且通過運行時可重構技術，動態改變量化模塊和Huffman編碼模塊，增強了安全性。為實現上述目的，本發明采用如下技術方案
一種運行時可重構的嵌入式安全實時圖像壓縮系統，它包括圖像采集模塊、數據處理模塊、無線通信模塊和供電模塊；其中，圖像采集模塊負責采集原始圖像并暫存圖像；數據處理模塊從圖像采集模塊中獲得原始圖像數據并進行壓縮編碼，控制壓縮后的碼流輸出到CN 102547288 A無線通信模塊；無線通信模塊負責數據的收發；供電模塊則負責為各相應模塊提供所需電源。所述圖像采集模塊主要包含兩部分第一是圖像傳感芯片及鏡頭，圖像傳感芯片輸出格式為RAW RGB、RGB、YUV或者YCrCb ；第二是圖像存儲緩沖設備，為FIFO、SRAM或 SDRAM存儲設備。所述的無線通信模塊主要用來接收上位機加密的可重構量化模塊和熵編碼模塊的配置文件，并發送壓縮好的圖像數據；采用3G模塊、433MHz無線模塊或2. 4GHz無線模塊。所述數據處理模塊主要包含微控制器和FPGA兩部分，采用微控制器芯片和FPGA 芯片，其中微控制器芯片通過GPIO 口與FPGA芯片相連，其中部分端口連接到FPGA芯片的 JTAG編程接口 ；FPGA芯片與圖像存儲緩沖設備的數據輸出端口及控制端口相連；微控制器芯片運行用于控制的協議棧，FPGA芯片則是圖像壓縮的核心，其上是可重構的JPEG編碼模塊，用來加速圖像壓縮過程。所述的協議棧包括四層，抽象層、控制層、狀態描述層和應用層。所述的抽象層主要是為在不同平臺間移植而設計，主要包含兩部分第一部分，傳統的硬件抽象層，即微控制器芯片、無線通信模塊及圖像采集模塊；第二部分，可重構硬件抽象層，其主要由3部分構成
1)部分可重構系統的架構及FPGA描述，包括FPGA芯片供應商、芯片型號、可提供的資
源；
2)可重構配置文件庫，主要包含初始化和采用默認圖像壓縮方式時所需的部分重構配置文件及全局配置文件；
3)FPGA編程器，主要用來控制對FPGA芯片進行編程。所述的控制層主要是根據已知條件控制重構、數據收發，它負責決定是否可以重構，在不適合重構或重構失敗時采取的措施；其主要包含四部分內容
1)無線收發模塊控制，主要控制接收上位機傳來的加密的可重構量化模塊和熵編碼模塊的配置文件及發送壓縮后的圖像數據；在需要重構時，它從無線模塊接收重構配置信息， 并緩存在內存供解密模塊使用；在圖像壓縮完成后，它控制從FPGA芯片中讀取數據并控制無線模塊發送；
2)解密模塊，該模塊主要用來解密收到的重構配置信息；
3)圖像存儲緩沖流量控制，因為圖像采集模塊不停的向緩沖中寫數據，為防止數據覆蓋，需要進行流量控制；當一幅完整的圖像寫到緩沖中后，在壓縮模塊讀完數據之前，微控制器芯片將會暫時禁止寫時鐘信號，等到讀取完畢后，再使能該控制信號，從而允許下一幅圖像寫入；
4)重構控制，負責判定是否可以重構，如果可以，調用抽象層的編程器進行重構，等待重構完成，并返回重構成功信號；如果不可以或者重構超時，則判斷原因，并做相應處理。所述的狀態描述層主要用于描述現有資源使用情況和正在執行的任務情況；所述的應用層根據需求和狀態描述層信息，調用底層服務，完成圖像實時采集、壓縮和傳輸任務。所述的可重構的JPEG編碼模塊是指將JPEG基本模式的量化模塊和熵編碼模塊設計為部分可重構模塊方式，其他模塊則采用靜態模塊方式，即分別為頂層模塊設計，靜態模塊設計和可重構模塊設計
頂層模塊主要采用黑盒例化，并負責模塊之間連接，模塊間采用Bus Macros通信； 靜態模塊包括2DDCT模塊，Zigzag掃描模塊，預編解碼模塊和組裝模塊；2DDCT模塊負責完成二維離散余弦變換；Zigzag模塊主要用來完成之字形掃描，改變交流數據的輸出順序；預編解碼模塊主要完成對直流系數的差分編碼和對交流系數的游程編碼，并預解碼為帶標志位的中間編碼格式，為后面的熵編碼做準備；組裝模塊負責將不定長熵編碼數據流組裝成定長的數據，并輸出；
可重構模塊包含量化模塊和熵編碼模塊，量化模塊負責對之字形掃描后的數據按照量化表進行量化，并將量化后的結果輸出給預編解碼模塊；該模塊利用Bus Macros從固定區域的Zigzag模塊讀取數據，并將數據輸出到固定區域的預編解碼模塊；熵編碼模塊負責對預編解碼后的數據進行熵編碼，并將熵編碼后的結果輸出到組裝模塊組裝；因此同樣需要 Bus Macros與固定區域的相應模塊通信。一種運行時可重構的嵌入式安全實時圖像壓縮系統的工作方法，它的工作過程為
1)系統初始化；
2)判斷是否需要采集并壓縮圖像；若否，則進入低功耗運行模式，等待中斷發生，在中斷喚醒時繼續判斷；若是，則轉入下一步；
3)判斷壓縮模塊是否需要重構；若否，轉入步驟7)；若是，則判斷部分重構配置文件是否在本地，若否則轉入步驟4)，若是則轉入步驟6)；
4)微控制器控制從上位機接收加密的部分可重構配置文件；
5)微控制器解密獲得部分可重構配置文件；
6)微控制器控制完成部分重構；
7)采集圖像并壓縮；
8)通過無線模塊發送給上位機。本發明的有益效果是整套系統基于ARM和FPGA平臺。其中ARM作為核心控制單元，用于綜合控制系統的正確運行。FPGA作為核心編碼器件，采用運行時可重構技術，在加速的同時，也保證了安全性。


圖1本發明的系統架構框圖； 圖2本發明的協議棧組成圖3本發明的可重構編碼模塊框圖； 圖4系統工作流程圖。
具體實施例方式下面結合附圖與實施例對本發明做進一步說明。如圖1所示，本實施例包括圖像采集模塊、數據處理模塊、無線通信模塊和供電模塊。其中，圖像采集模塊負責采集原始圖像暫存圖像；數據處理模塊從圖像采集模塊中獲得原始圖像數據并進行壓縮編碼，控制壓縮后的碼流輸出到無線通信模塊；無線通信模塊負責數據的收發；供電模塊則負責為各相應模塊提供所需電源。所述的圖像采集設備主要包含兩部分第一是圖像傳感芯片及鏡頭，傳感芯片輸出格式可以為RAW RGB、RGB、YUV或者YCrCb。本實施例中圖像傳感芯片選用OmniVision 的0V7670，輸出模式選擇YUV422。第二是圖像存儲緩沖設備，可以采用FIFO、SRAM、SDRAM 等存儲設備。本實施例選擇Averlogic的AL422芯片，大小為3M位的FIFO，通過并行總線與FPGA連接。所述的無線通信模塊主要用來接收上位機加密的可重構量化模塊和熵編碼模塊的配置文件，并發送壓縮好的圖像數據。可采用3G模塊、433MHz無線模塊和2. 4GHz無線模塊等多種實現方式。本實施例選擇西門子的3G模塊，通過UART與微控制器連接。所述的供電模塊采用5v電源或者電池供電。本實施例選擇USB供電，以方便PC 機直接供電。所述的數據處理模塊是該系統的核心，主要包含微控制器和FPGA兩部分。考慮嵌入式設備的低成本和低功耗特性，可選用低端的微控制器芯片和FPGA芯片。本實施例選擇意法半導體公司的低成本微控制器STM32F103和Xilinx公司的低端FPGA芯片Spartan 3E 系列的XC3S500E，STM32F103通過GPIO 口與XC3S500E相連，其中部分端口連接到XC3S500E 的JTAG編程接口。STM32F103是系統控制的核心，其上運行用于控制的協議棧。如圖2所示，包括四層，抽象層、控制層、狀態描述層和應用層。所述的抽象層主要是為在不同平臺間移植而設計。本實施例中，傳統硬件抽象層主要包含STM32F103的部分外設驅動和控制上電初始化、基本的3G模塊收發數據命令；可重構硬件抽象層包括一個對)(C3S500E描述的結構體、采用CCITD推薦的量化表和Huffman 表對應的量化模塊和熵編碼模塊的部分可重構配置文件和用于配置FPGA芯片的JTAG控制
ο所述的控制層主要作用是根據已知條件控制重構、數據收發等，它負責決定是否可以重構，在不適合重構或重構失敗時采取的措施等。本實施例包含四部分內容
1)與3G模塊通信，通過UART從3G模塊接收加密的部分可重構配置文件并保存到內存或者發送壓縮好的圖像數據。2)解密模塊。加密算法多種多樣，考慮STM32F103的運算能力，本實施例選用3DES 加密算法，由于解密的只是部分可重構配置文件，文件較小，使得解密成為可能。3)圖像存儲緩沖流量控制。本實例中圖像傳感芯片0V7670配置為30fps的VGA 輸出模式，壓縮模塊能夠處理所有輸出圖像，因此不需要復雜流量控制，本實施例將其簡化為重置AL422的寫指針。4)重構控制。本實施例中通過調用抽象層的JTAG控制器進行FPGA重構，并返回重構成功或失敗信號。所述的狀態描述層主要用于描述現有資源使用情況和正在執行的任務情況。本實施例中定義了兩個數據結構體描述目前可提供的資源和系統目前的任務狀態，并定義了相應函數用于改變上述結構體。所述的應用層根據需求和狀態描述層信息，調用底層服務，完成圖像實時采集、壓縮和傳輸任務。本實施例中應用層流程如圖4所示，在無任務時，控制系統轉到休眠狀態， 以節省能量消耗。在需要采集壓縮圖像時，則判斷是否需要重構，如果不需要，則直接開始圖像采集壓縮。如果需要，則判斷重構配置文件是否在本地庫中，如果在，則調用重構控制模塊完成重構，然后就可以開始圖像的采集壓縮。如果不在，則從上位機接收加密的重構配置文件，并解密暫存于本地存儲器中，然后就可以調用重構控制模塊完成重構。)(C3S500E是圖像壓縮的核心，其上是可重構的JPEG編碼模塊，用來加速圖像壓縮過程。所述的可重構JPEG編碼模塊是指將JPEG基本模式的量化模塊和熵編碼模塊設計為部分可重構方式，其他模塊則采用靜態模塊方式。如圖3所示。本實施例采用top-down設計方法，分別為頂層模塊設計、靜態模塊設計和可重構模塊設計。頂層模塊主要采用黑盒例化，并負責模塊之間的連接。靜態子模塊包括2DDCT模塊，Zigzag掃描模塊，預編解碼模塊和組裝模塊。2DDCT 模塊。負責完成二維離散余弦變換。Zigzag模塊主要用來完成之字形掃描，改變交流數據的輸出順序。預編解碼模塊主要完成對直流系數的差分編碼和對交流系數的游程編碼，并預解碼為帶標志位的中間編碼格式，為后面的熵編碼做準備。組裝模塊負責將不定長熵編碼數據流組裝成定長的數據，并輸出。可重構模塊包含量化模塊和熵編碼模塊。量化模塊負責對之字形掃描后的數據按照量化表進行量化，并將量化后的結果輸出給預編解碼模塊。因此該模塊需要Bus Macros 從固定區域的Zigzag模塊讀取數據，并將數據輸出到固定區域的預編解碼模塊。熵編碼模塊負責對預編解碼后的數據進行熵編碼，并將熵編碼后的結果輸出到組裝模塊組裝。因此同樣需要Bus Macros與固定區域的相應模塊通信。在規劃階段，通過用戶約束文件定義可重構區域。本實施例中每個可重構區域占四列CLB，并放置模塊間通信所需的Bus Macros。綜上，本實施例實現了可重構的JPEG基本模式編碼器。本實施例在STM32F103采用72MHZ主頻運行、XC3S500E采用50MHZ時鐘輸入下， 可以達到采集壓縮640*480的圖像80幀/秒的實時采集壓縮速度，而且通過部分可重構實現了動態量化表和huffman編碼表，大大增強了安全性。另外所用芯片均為低端芯片，價格便宜，成本低廉。
權利要求
1.一種運行時可重構的嵌入式安全實時圖像壓縮系統，其特征是，它包括圖像采集模塊、數據處理模塊、無線通信模塊和供電模塊；其中，圖像采集模塊負責采集原始圖像暫存圖像；數據處理模塊從圖像采集模塊中獲得原始圖像數據并進行壓縮編碼，控制壓縮后的碼流輸出無線通信模塊；無線通信模塊負責數據的收發；供電模塊則負責為各相應模塊提供所需電源。
2.如權利要求1所述的運行時可重構的嵌入式安全實時圖像壓縮系統，其特征是，所述圖像采集模塊主要包含兩部分第一是圖像傳感芯片及鏡頭，圖像傳感芯片輸出格式為 RAW RGB、RGB、YUV或者YCrCb ；第二是圖像存儲緩沖設備，為FIF0、SRAM或SDRAM存儲設備。
3.如權利要求1所述的運行時可重構的嵌入式安全實時圖像壓縮系統，其特征是，所述的無線通信模塊主要用來接收上位機加密的可重構量化模塊和熵編碼模塊的配置文件， 并發送壓縮好的圖像數據；采用3G模塊、433MHz無線模塊或2. 4GHz無線模塊。
4.如權利要求1所述的運行時可重構的嵌入式安全實時圖像壓縮系統，其特征是，所述數據處理模塊主要包含微控制器和FPGA兩部分，采用微控制器芯片和FPGA芯片，其中微控制器芯片通過GPIO 口與FPGA芯片相連，其中部分端口連接到FPGA芯片的JTAG編程接口 ；FPGA芯片與圖像存儲緩沖設備的數據輸出端口及控制端口相連；微控制器芯片運行用于控制的協議棧，FPGA芯片則是圖像壓縮的核心，其上是可重構的JPEG編碼模塊，用來加速圖像壓縮過程。
5.如權利要求4所述的運行時可重構的嵌入式安全實時圖像壓縮系統，其特征是，所述的協議棧包括四層，抽象層、控制層、狀態描述層和應用層。
6.如權利要求5所述的運行時可重構的嵌入式安全實時圖像壓縮系統，其特征是，所述的抽象層主要是為在不同平臺間移植而設計，主要包含兩部分第一部分，傳統的硬件抽象層，即微控制器芯片、無線通信模塊及圖像采集模塊；第二部分，可重構硬件抽象層，其主要由3部分構成1)部分可重構系統的架構及FPGA描述，包括FPGA芯片供應商、芯片型號、可提供的資源；2)可重構配置文件庫，主要包含初始化和采用默認圖像壓縮方式時所需的部分重構配置文件及全局配置文件；3)FPGA編程器，主要用來控制對FPGA芯片進行編程。
7.如權利要求5所述的運行時可重構的嵌入式安全實時圖像壓縮系統，其特征是，所述的控制層主要是根據已知條件控制重構、數據收發，它負責決定是否可以重構，在不適合重構或重構失敗時采取的措施；其主要包含四部分內容1)無線收發模塊控制，主要控制接收上位機傳來的加密的可重構量化模塊和熵編碼模塊的配置文件及發送壓縮后的圖像數據；在需要重構時，它從無線模塊接收重構配置信息， 并緩存在內存供解密模塊使用；在圖像壓縮完成后，它控制從FPGA芯片中讀取數據并控制無線模塊發送；2)解密模塊，該模塊主要用來解密收到的重構配置信息；3)圖像存儲緩沖流量控制，因為圖像采集模塊不停的向緩沖中寫數據，為防止數據覆蓋，需要進行流量控制；當一幅完整的圖像寫到緩沖中后，在壓縮模塊讀完數據之前，微控制器芯片將會暫時禁止寫時鐘信號，等到讀取完畢后，再使能該控制信號，從而允許下一幅圖像寫入；4)重構控制，負責判定是否可以重構，如果可以，調用抽象層的編程器進行重構，等待重構完成，并返回重構成功信號；如果不可以或者重構超時，則判斷原因，并做相應處理。
8.如權利要求5所述的運行時可重構的嵌入式安全實時圖像壓縮系統，其特征是，所述的狀態描述層主要用于描述現有資源使用情況和正在執行的任務情況；所述的應用層根據需求和狀態描述層信息，調用底層服務，完成圖像實時采集、壓縮和傳輸任務。
9.如權利要求4所述的運行時可重構的嵌入式安全實時圖像壓縮系統，其特征是，所述的可重構的JPEG編碼模塊是指將JPEG基本模式的量化模塊和熵編碼模塊設計為部分可重構模塊方式，其他模塊則采用靜態模塊方式，即分別為頂層模塊設計，靜態模塊設計和可重構模塊設計頂層模塊主要采用黑盒例化，并負責模塊之間的連接，模塊間采用Bus Macros通信；靜態模塊包括2DDCT模塊，Zigzag掃描模塊，預編解碼模塊和組裝模塊；2DDCT模塊負責完成二維離散余弦變換；Zigzag模塊主要用來完成之字形掃描，改變交流數據的輸出順序；預編解碼模塊主要完成對直流系數的差分編碼和對交流系數的游程編碼，并預解碼為帶標志位的中間編碼格式，為后面的熵編碼做準備；組裝模塊負責將不定長熵編碼數據流組裝成定長的數據，并輸出；可重構模塊包含量化模塊和熵編碼模塊，量化模塊負責對之字形掃描后的數據按照量化表進行量化，并將量化后的結果輸出給預編解碼模塊；該模塊利用Bus Macros從固定區域的Zigzag模塊讀取數據，并將數據輸出到固定區域的預編解碼模塊；熵編碼模塊負責對預編解碼后的數據進行熵編碼，并將熵編碼后的結果輸出到組裝模塊進行組裝；因此同樣需要Bus Macros與固定區域的相應模塊通信。
10.一種采用權利1-9任一所述的運行時可重構的嵌入式安全實時圖像壓縮系統的工作方法，其特征是，它的工作過程為1)系統初始化；2)判斷是否需要采集并壓縮圖像；若否，則進入低功耗運行模式，等待中斷發生，在中斷喚醒時繼續判斷；若是，則轉入下一步；3)判斷壓縮模塊是否需要重構；若否，轉入步驟7)；若是，則判斷部分重構配置文件是否在本地，若否則轉入步驟4)，若是則轉入步驟6)；4)微控制器控制從上位機接收加密的部分可重構配置文件；5)微控制器解密獲得部分可重構配置文件；6)微控制器控制完成部分重構；7)采集圖像并壓縮；8)通過無線模塊發送給上位機。
全文摘要
本發明公開了一種運行時可重構的嵌入式安全實時圖像壓縮系統及方法，圖像采集模塊負責采集原始圖像并暫存圖像；數據處理模塊從圖像采集模塊中獲得原始圖像數據并進行壓縮編碼，控制壓縮后的碼流輸出到無線通信模塊；無線通信模塊負責數據的收發；供電模塊則負責為各相應模塊提供所需電源。本發明中ARM作為核心控制單元，負責與上位機通信，接收從上位機傳輸的加密的部分可重構配置文件并發送壓縮好的圖像數據到上位機；管理重構過程，解密部分可重構配置文件并控制進行FPGA的重構。FPGA作為JPEG圖像壓縮加速器，通過并行處理、流水線技術來加速圖像壓縮過程，并且通過運行時可重構技術，動態改變量化模塊和Huffman編碼模塊，增強了安全性。
文檔編號H04N7/26GK102547288SQ20121000756
公開日2012年7月4日 申請日期2012年1月11日 優先權日2012年1月11日
發明者劉福財, 賈智平 申請人:山東大學