專(zhuān)利名稱(chēng)：基于vlc的視頻圖像分析平臺(tái)及方法
技術(shù)領(lǐng)域：
本發(fā)明可為用戶提供Matlab在線處理視頻圖像服務(wù)，具體涉及視頻圖像處理、多媒體通信及網(wǎng)絡(luò)計(jì)算技術(shù)，屬于智能視頻圖像處理及網(wǎng)絡(luò)服務(wù)技術(shù)領(lǐng)域。
背景技術(shù)：
目前，視頻圖像處理算法多采用Matlab軟件進(jìn)行仿真，主要原因是Matlab不僅具有豐富的函數(shù)庫(kù)，使算法程序開(kāi)發(fā)起來(lái)比較容易，而且具有多種視頻圖像處理工具包，使用戶更方便的處理各種視頻圖像。因此，導(dǎo)致了 Matlab軟件系統(tǒng)龐大而復(fù)雜，使得視頻圖像處理速度較慢，跨平臺(tái)安裝繁瑣等問(wèn)題。尤其是，Matlab對(duì)視頻圖像處理時(shí)，對(duì)編碼格式和文件大小等方面有嚴(yán)格的要求。因此，在實(shí)際應(yīng)用中具有很大的局限性。VLC (VideoLan Cl ient)是一個(gè)跨平臺(tái)的媒體播放器和流媒體服務(wù)器，最初為VideoLan的客戶端，可以用于播放網(wǎng)絡(luò)流媒體及本機(jī)多媒體文件，對(duì)視頻數(shù)據(jù)具有強(qiáng)大支持能力。為了使用戶不用考慮Matlab對(duì)視頻圖像處理時(shí)的限制，如編碼格式和文件大小等，更方便的對(duì)視頻圖像相關(guān)算法進(jìn)行研究，本發(fā)明開(kāi)發(fā)了一種以VLC為內(nèi)核的，能夠支持Matlab編程的視頻圖像處理技術(shù)。該技術(shù)為熟悉.M腳本仿真的用戶提供了很大方便，支持Matlab編程算法在線處理視頻圖像，用戶無(wú)需要下載也能觀看處理后的視頻流。

發(fā)明內(nèi)容
本發(fā)明目的是針對(duì)現(xiàn)有技術(shù)存在的缺陷提供一種基于VLC的視頻圖像分析平臺(tái)及方法。本發(fā)明為實(shí)現(xiàn)上述目的，采用如下技術(shù)方案本發(fā)明基于VLC的視頻圖像分析平臺(tái)，包括Iibvlc內(nèi)核，算法處理緩沖幀模塊，視頻流輸出模塊及客戶端接口 ；Iibvlc內(nèi)核調(diào)用算法處理緩沖幀模塊以完成對(duì)視頻圖像的處理；算法處理緩沖幀模塊用于處理拆幀后在內(nèi)存堆中存放的視頻圖像；視頻流輸出模塊用于在服務(wù)器端顯示處理結(jié)果，并將結(jié)果發(fā)送給客戶端；客戶端接口部分包括客戶端功能接口、流的接入、視頻輸出和線程系統(tǒng)，客戶端功能接口用于接收客戶端上傳的Matlab編程算法；流的接入用于接收客戶端上傳的視頻流；視頻輸出是根據(jù)用戶請(qǐng)求把服務(wù)器端對(duì)視頻圖像處理的結(jié)果傳輸給客戶端；線程系統(tǒng)是當(dāng)客戶端與服務(wù)器端建立連接后開(kāi)啟一條線程響應(yīng)客戶端操作?；赩LC的視頻圖像分析平臺(tái)的分析方法，所述方法括如下客戶端根據(jù)用戶的需求將視頻圖像數(shù)據(jù)和基于Matlab編程的算法上傳給服務(wù)器端，服務(wù)器端接收到用戶上傳的算法和數(shù)據(jù)后，通過(guò)VLC視頻圖像處理平臺(tái)將算法加載到相應(yīng)的視頻圖像中，對(duì)其進(jìn)行處理，視頻圖像處理結(jié)果以流媒體的方式顯示給客戶端?；赩LC的視頻圖像分析平臺(tái)對(duì)由Matlab編程的算法的處理是由算法上傳模塊，算法降耦合模塊，調(diào)用算法模塊3部分組成；算法上傳模塊把客戶端的Matlab編程算法上傳到服務(wù)器端，包括客戶端上傳功能和服務(wù)器接收功能；算法降耦合模塊把接收到的
4Matlab編程算法編譯成C文件，放在modules子目錄下；Iibvlc內(nèi)核利用調(diào)用算法模塊調(diào)用modules目錄下C文件，供算法處理緩沖幀模塊處理內(nèi)存堆中的視頻圖像。算法處理緩沖幀模塊實(shí)現(xiàn)步驟如下(1) Iibvlc內(nèi)核在內(nèi)存堆中找到當(dāng)前要顯示的圖像；(2)利用調(diào)用算法模塊調(diào)用modules目錄下Matlab視頻圖像處理算法；(3) Iibvlc內(nèi)核調(diào)用算法處理緩沖幀模塊處理該圖像；(4)將處理后的視頻圖像寫(xiě)回內(nèi)存堆中。視頻流輸出模塊具體實(shí)現(xiàn)如下(a)構(gòu)造異常結(jié)構(gòu)體的類(lèi) MediaExc印tion，構(gòu)造 Core 類(lèi)，MediaHandle 類(lèi)，MediaMediaPlayerHandle MediaPlayer ^ ；(b)創(chuàng)建并初始化一個(gè)Iibvlc實(shí)例；(c)創(chuàng)建一個(gè)空的媒體播放器對(duì)象，設(shè)置相關(guān)參數(shù)；(d)使用后釋放媒體播放器對(duì)象，減少媒體播放器對(duì)象的引用次數(shù)。如果計(jì)數(shù)已經(jīng)為零，將釋放掉媒體播放器對(duì)象，如果媒體播放器對(duì)象已經(jīng)被釋放了，這個(gè)方法不再被調(diào)用；(e)事件通知注冊(cè)器，設(shè)置事件處理器；(f)設(shè)置給予媒體播放器媒體輸出的Win32/Win64窗口句柄；(g)回收垃圾相關(guān)操作。算法上傳模塊包括客戶端上傳功能和服務(wù)器端接收功能客戶端算法上傳功能實(shí)現(xiàn)步驟1)與服務(wù)器端建立socket連接；2)客戶端向服務(wù)器端發(fā)送Matlab算法的文件名，然后從Matlab編程算法中讀取數(shù)據(jù)到緩沖區(qū)并發(fā)送給服務(wù)器端；3)客戶端開(kāi)辟發(fā)送的緩沖區(qū)，每次發(fā)送之前應(yīng)將剩余文件的大小與緩沖區(qū)做比較，當(dāng)剩余文件的大小小于緩沖區(qū)的大小時(shí)，調(diào)整緩沖區(qū)的大小同剩余文件相同，將剩余的文件發(fā)送到服務(wù)器端；服務(wù)器端做如下處理A)與客戶端建立連接后，當(dāng)收到文件接收請(qǐng)求命令和Matlab算法文件名后，開(kāi)啟文件接收線程；B)文件接收線程開(kāi)辟與客戶端相同大小的緩沖區(qū)接收客戶端傳來(lái)的Matlab算法，如果最后一次文件緩沖區(qū)的大小小于緩沖區(qū)大小，只接受相應(yīng)有數(shù)據(jù)的那塊緩沖區(qū)。所述算法降耦合模塊實(shí)現(xiàn)步驟，如圖6 :a)服務(wù)器端接受客戶端上傳的Matlab算法和請(qǐng)求處理指令；b)利用編譯器將.M文件編譯成.C文件，支持多個(gè).M文件的編譯，編譯后生成的C文件放在modules子目錄下，modules目錄下存放的都是VLC的視頻圖像處理算法；c)該C文件是VLC處理視頻圖像的接口，Iibvlc內(nèi)核通過(guò)利用調(diào)用算法模塊調(diào)用該接口供算法處理緩沖幀模塊處理內(nèi)存堆中的視頻圖像。本發(fā)明能處理多種格式的視頻文件，在支持Matlab編程的同時(shí)，可以實(shí)時(shí)觀看處
理后結(jié)果。


圖1視頻圖像處理平臺(tái)；
圖2服務(wù)器端支持Matlab在線處理技術(shù)
圖3算法處理緩沖幀模塊；
圖4視頻流輸出模塊；
圖5=Matlab上傳模塊；
圖6=Matlab編程算法降耦合模塊。
具體實(shí)施例方式本發(fā)明設(shè)計(jì)了一種在局域網(wǎng)環(huán)境中，以VLC為內(nèi)核開(kāi)發(fā)的視頻圖像處理技術(shù)，該技術(shù)以客戶端/服務(wù)器的模式構(gòu)成系統(tǒng)的基本架構(gòu)，其中，服務(wù)器端開(kāi)發(fā)了基于VLC的視頻圖像處理平臺(tái)，可對(duì)視頻圖像進(jìn)行相關(guān)處理操作；客戶端根據(jù)用戶的需求將視頻圖像數(shù)據(jù)和基于Matlab編程的算法上傳給服務(wù)器，服務(wù)器端接收到用戶上傳的算法和數(shù)據(jù)后，通過(guò) VLC視頻圖像處理平臺(tái)將算法加載到相應(yīng)的視頻圖像中，對(duì)其進(jìn)行處理，視頻圖像處理結(jié)果以流媒體的方式顯示給客戶端。本發(fā)明設(shè)計(jì)的以VLC為核心的視頻圖像處理平臺(tái)包括Iibvlc內(nèi)核，算法處理緩沖幀模塊，視頻流輸出模塊及客戶端接口 4部分。Iibvlc內(nèi)核調(diào)用算法處理緩沖幀模塊以完成對(duì)視頻圖像的處理；算法處理緩沖幀模塊用于處理拆幀后在內(nèi)存堆中存放的視頻圖像； 視頻流輸出模塊用于在服務(wù)器端顯示處理結(jié)果，并將結(jié)果發(fā)送給客戶端。客戶端接口部分包括客戶端功能接口、流接入、視頻輸出和線程系統(tǒng)。客戶端功能接口用于接收客戶端上傳的Matlab編程算法；流接入用于接收客戶端上傳的視頻流；視頻輸出是根據(jù)用戶請(qǐng)求把服務(wù)器端對(duì)視頻圖像處理的結(jié)果利用libvlc，Iibvlccore等動(dòng)態(tài)鏈接庫(kù)傳輸給客戶端；線程系統(tǒng)是當(dāng)客戶端與服務(wù)器端建立連接后開(kāi)啟一條線程響應(yīng)客戶端操作。視頻圖像處理平臺(tái)如圖1所示。本發(fā)明設(shè)計(jì)的服務(wù)器端視頻圖像處理平臺(tái)支持基于Matlab編程算法在線處理功能，它是由算法上傳模塊，算法降耦合模塊，調(diào)用算法模塊3部分組成。算法上傳模塊把客戶端的Matlab編程算法上傳到服務(wù)器端，包括客戶端上傳功能和服務(wù)器接收功能；算法降耦合模塊把接收到的Matlab編程算法編譯成C文件，放在modules子目錄下；Iibvlc利用調(diào)用算法模塊調(diào)用modules目錄下C文件，供算法處理緩沖幀模塊處理內(nèi)存堆中的視頻圖像。服務(wù)器支持Mallab在線處理技術(shù)見(jiàn)圖2 基于VLC開(kāi)發(fā)的視頻圖像處理系統(tǒng)以VLC為核心的視頻圖像處理平臺(tái)處理視頻圖像功能由Iibvlc內(nèi)核，算法處理緩沖幀模塊，視頻流輸出模塊3部分實(shí)現(xiàn)。Iibvlc內(nèi)核調(diào)用算法處理緩沖幀模塊處理內(nèi)存堆中存放的視頻圖像；Iibvlc內(nèi)核調(diào)用視頻流輸出模塊將結(jié)果發(fā)送給客戶端。Matlab編程算法經(jīng)過(guò)算法降耦合模塊后生成.C文件，該文件放在modules子目錄下，利用Iibvlc內(nèi)核在內(nèi)存堆中找到播放器下一幀要顯示的圖像，同時(shí)Iibvlc內(nèi)核利用調(diào)用算法模塊動(dòng)態(tài)的調(diào)用modules子目錄下的C文件供算法處理緩沖幀模塊處理下一幀要顯示的視頻圖像，將處理后的圖像寫(xiě)回內(nèi)存堆中，創(chuàng)建一個(gè)多媒體播放器對(duì)象，用來(lái)顯示當(dāng)前時(shí)間戳要顯示的圖像，并將處理后結(jié)果以流傳輸?shù)姆绞桨l(fā)送給客戶端。算法處理緩沖幀模塊實(shí)現(xiàn)步驟如下(見(jiàn)圖3所示)(1) Iibvlc內(nèi)核在內(nèi)存堆中找到當(dāng)前要顯示的圖像；(2)利用調(diào)用算法模塊調(diào)用modules目錄下Matlab視頻圖像處理算法；(3) Iibvlc內(nèi)核調(diào)用算法處理緩沖幀模塊處理該圖像；(4)將處理后的視頻圖像寫(xiě)回內(nèi)存堆中。視頻流輸出模塊當(dāng)服務(wù)端接收完視頻文件和Matlab算法后，便開(kāi)始處理視頻圖像同時(shí)利用 libvlc, Iibvlccore進(jìn)行流傳輸，具體實(shí)現(xiàn)如下(見(jiàn)圖4)(1)構(gòu)造異常結(jié)構(gòu)體的類(lèi) MediaExc印tion，構(gòu)造 Core 類(lèi)，MediaHandle 類(lèi)，Media MediaPlayerHandle MediaPlayer ^ ；(2)創(chuàng)建并初始化一個(gè)Iibvlc實(shí)例；(3)創(chuàng)建一個(gè)空的媒體播放器對(duì)象，設(shè)置相關(guān)參數(shù)；(4)使用后釋放媒體播放器對(duì)象，減少媒體播放器對(duì)象的引用次數(shù)。如果計(jì)數(shù)已經(jīng)為零，將釋放掉媒體播放器對(duì)象，如果媒體播放器對(duì)象已經(jīng)被釋放了，這個(gè)方法不應(yīng)該再被調(diào)用；(5)事件通知注冊(cè)器，設(shè)置事件處理器；(6)設(shè)置給予媒體播放器媒體輸出的Win32/Win64窗口句柄；(7)回收垃圾等相關(guān)操作。服務(wù)器端對(duì)Matlab算法在線處理功能服務(wù)器端為了支持Matlab編程，設(shè)計(jì)了算法上傳模塊，算法降耦合模塊，調(diào)用算法模塊3部分。算法上傳模塊用來(lái)把用戶編寫(xiě)的Matlab編程算法上傳到服務(wù)器端；算法降耦合模塊把接收到的Matlab編程算法編譯成C文件，并放在modules子目錄下；調(diào)用算法模塊調(diào)用modules目錄下C文件，供算法處理緩沖幀模塊處理內(nèi)存堆中的視頻圖像。算法上傳模塊包括客戶端上傳功能和服務(wù)器端接收功能。如圖5所示客戶端算法上傳功能實(shí)現(xiàn)步驟(1)與服務(wù)器端建立socket連接；(2)客戶端向服務(wù)器端發(fā)送Matlab算法的文件名，然后從Matlab編程算法中讀取數(shù)據(jù)到緩沖區(qū)并發(fā)送給服務(wù)器端；(3)客戶端開(kāi)辟發(fā)送的緩沖區(qū)，每次發(fā)送之前應(yīng)將剩余文件的大小與緩沖區(qū)做比較，當(dāng)剩余文件的大小小于緩沖區(qū)的大小時(shí)，調(diào)整緩沖區(qū)的大小同剩余文件相同，將剩余的文件發(fā)送到服務(wù)器端。服務(wù)器端做如下處理(1)與客戶端建立連接后，當(dāng)收到文件接收請(qǐng)求命令和Matlab算法文件名后，開(kāi)啟文件接收線程；(2)文件接收線程開(kāi)辟與客戶端相同大小的緩沖區(qū)接收客戶端傳來(lái)的Matlab算法，如果最后一次文件緩沖區(qū)的大小小于緩沖區(qū)大小，只接受相應(yīng)有數(shù)據(jù)的那塊緩沖區(qū)。算法降耦合模塊實(shí)現(xiàn)步驟，如圖6 (1)服務(wù)器端接受客戶端上傳的Matlab算法和請(qǐng)求處理指令；
(2)利用編譯器將.M文件編譯成.C文件，支持多個(gè).M文件的編譯，編譯后生成的 C文件放在modules子目錄下，modules目錄下存放的都是VLC的視頻圖像處理算法；(3)該C文件是VLC處理視頻圖像的接口，Iibvlc內(nèi)核通過(guò)利用調(diào)用算法模塊調(diào)用該接口供算法處理緩沖幀模塊處理內(nèi)存堆中的視頻圖像。調(diào)用算法模塊VLC內(nèi)核通過(guò)與C混合編程調(diào)用Matlab算法，動(dòng)態(tài)編譯后生成的C文件保存在 modules子目錄下，VLC內(nèi)核上可通過(guò)利用調(diào)用算法模塊調(diào)用該C文件完成視頻圖像處理。 VLC視頻圖像處理的接口函數(shù)為MyFilter (filter_t*，picture_t*)，返回值為處理后的圖像，Iibvlc內(nèi)核將其寫(xiě)回內(nèi)存堆中。Matlab算法與C混合編程流程，如圖6。
權(quán)利要求
1.一種基于VLC的視頻圖像分析平臺(tái)，其特征在于包括Iibvlc內(nèi)核，算法處理緩沖幀模塊，視頻流輸出模塊及客戶端接口 ；Iibvlc內(nèi)核調(diào)用算法處理緩沖幀模塊以完成對(duì)視頻圖像的處理；算法處理緩沖幀模塊用于處理拆幀后在內(nèi)存堆中存放的視頻圖像；視頻流輸出模塊用于在服務(wù)器端顯示處理結(jié)果，并將結(jié)果發(fā)送給客戶端；客戶端接口部分包括客戶端功能接口、流的接入、視頻輸出和線程系統(tǒng)，客戶端功能接口用于接收客戶端上傳的Matlab編程算法；流的接入用于接收客戶端上傳的視頻流；視頻輸出是根據(jù)用戶請(qǐng)求把服務(wù)器端對(duì)視頻圖像處理的結(jié)果傳輸給客戶端；線程系統(tǒng)是當(dāng)客戶端與服務(wù)器端建立連接后開(kāi)啟一條線程響應(yīng)客戶端操作。
2.一種基于VLC的視頻圖像分析平臺(tái)的分析方法，其特征在于所述方法如下客戶端根據(jù)用戶的需求將視頻圖像數(shù)據(jù)和基于Matlab編程的算法上傳給服務(wù)器端，服務(wù)器端接收到用戶上傳的算法和數(shù)據(jù)后，通過(guò)VLC視頻圖像處理平臺(tái)將算法加載到相應(yīng)的視頻圖像中，對(duì)其進(jìn)行處理，視頻圖像處理結(jié)果以流媒體的方式顯示給客戶端。
3.根據(jù)權(quán)利要求2所述的基于VLC的視頻圖像分析平臺(tái)的分析方法，其特征在于所述Matlab編程的算法由算法上傳模塊，算法降耦合模塊，調(diào)用算法模塊3部分組成；算法上傳模塊把客戶端的Matlab編程算法上傳到服務(wù)器端，包括客戶端上傳功能和服務(wù)器接收功能；算法降耦合模塊把接收到的Matlab編程算法編譯成C文件，放在modules子目錄下；Iibvlc內(nèi)核利用調(diào)用算法模塊調(diào)用modules目錄下C文件，供算法處理緩沖幀模塊處理內(nèi)存堆中的視頻圖像。
4.根據(jù)權(quán)利要求2所述的基于VLC的視頻圖像分析平臺(tái)的分析方法，其特征在于所述算法處理緩沖幀模塊實(shí)現(xiàn)步驟如下(1)Iibvlc內(nèi)核在內(nèi)存堆中找到當(dāng)前要顯示的圖像；(2)利用調(diào)用算法模塊調(diào)用modules目錄下Matlab視頻圖像處理算法；(3)Iibvlc內(nèi)核調(diào)用算法處理緩沖幀模塊處理該圖像；(4)將處理后的視頻圖像寫(xiě)回內(nèi)存堆中。
5.根據(jù)權(quán)利要求2所述的基于VLC的視頻圖像分析平臺(tái)的分析方法，其特征在于所述視頻流輸出模塊具體實(shí)現(xiàn)如下(a)構(gòu)造異常結(jié)構(gòu)體的類(lèi)MediaExc印tion，構(gòu)造Core類(lèi)，MediaHandle類(lèi)，Media類(lèi)，MediaPlayerHandle MediaPlayer ^ ；(b)創(chuàng)建并初始化一個(gè)Iibvlc實(shí)例；(c)創(chuàng)建一個(gè)空的媒體播放器對(duì)象，設(shè)置相關(guān)參數(shù)；(d)使用后釋放媒體播放器對(duì)象，減少媒體播放器對(duì)象的引用次數(shù)。如果計(jì)數(shù)已經(jīng)為零，將釋放掉媒體播放器對(duì)象，如果媒體播放器對(duì)象已經(jīng)被釋放了，這個(gè)方法不再被調(diào)用；(e)事件通知注冊(cè)器，設(shè)置事件處理器；(f)設(shè)置給予媒體播放器媒體輸出的win32/Win64窗口句柄；(g)回收垃圾相關(guān)操作。
6.根據(jù)權(quán)利要求2所述的基于VLC的視頻圖像分析平臺(tái)的分析方法，其特征在于所述算法上傳模塊包括客戶端上傳功能和服務(wù)器端接收功能客戶端算法上傳功能實(shí)現(xiàn)步驟1)與服務(wù)器端建立socket連接；2)客戶端向服務(wù)器端發(fā)送Matlab算法的文件名，然后從Matlab編程算法中讀取數(shù)據(jù)到緩沖區(qū)并發(fā)送給服務(wù)器端；3)客戶端開(kāi)辟發(fā)送的緩沖區(qū)，每次發(fā)送之前應(yīng)將剩余文件的大小與緩沖區(qū)做比較，當(dāng)剩余文件的大小小于緩沖區(qū)的大小時(shí)，調(diào)整緩沖區(qū)的大小同剩余文件相同，將剩余的文件發(fā)送到服務(wù)器端；服務(wù)器端做如下處理A)與客戶端建立連接后，當(dāng)收到文件接收請(qǐng)求命令和Matlab算法文件名后，開(kāi)啟文件接收線程；B)文件接收線程開(kāi)辟與客戶端相同大小的緩沖區(qū)接收客戶端傳來(lái)的Matlab算法，如果最后一次文件緩沖區(qū)的大小小于緩沖區(qū)大小，只接受相應(yīng)有數(shù)據(jù)的那塊緩沖區(qū)。
7.根據(jù)權(quán)利要求2所述的基于VLC的視頻圖像分析平臺(tái)的分析方法，其特征在于所述算法降耦合模塊實(shí)現(xiàn)步驟，如圖6 a)服務(wù)器端接受客戶端上傳的Matlab算法和請(qǐng)求處理指令；b)利用編譯器將.M文件編譯成.C文件，支持多個(gè).M文件的編譯，編譯后生成的C文件放在modules子目錄下，modules目錄下存放的都是VLC的視頻圖像處理算法；c)該C文件是VLC處理視頻圖像的接口，Iibvlc內(nèi)核通過(guò)利用調(diào)用算法模塊調(diào)用該接口供算法處理緩沖幀模塊處理內(nèi)存堆中的視頻圖像。
全文摘要
本發(fā)明公布了一種基于VLC的視頻圖像分析平臺(tái)及方法，所述平臺(tái)包括libvlc內(nèi)核，算法處理緩沖幀模塊，視頻流輸出模塊及客戶端接口。所述方法采用客戶端/服務(wù)器架構(gòu)?？蛻舳司哂猩蟼饕曨l圖像和算法的功能，可在線觀看視頻圖像處理結(jié)果，服務(wù)器端提供視頻圖像處理功能，支持Matlab編程算法在線處理視頻圖像，并以VLC流媒體方式將處理后的視頻文件傳輸給客戶端。該技術(shù)能處理多種格式的視頻文件，在支持Matlab編程的同時(shí)，可以實(shí)時(shí)觀看處理后結(jié)果。
文檔編號(hào)H04N21/234GK102572518SQ201210009679
公開(kāi)日2012年7月11日 申請(qǐng)日期2012年1月13日 優(yōu)先權(quán)日2012年1月13日
發(fā)明者吳學(xué)文, 張麗麗, 張 榮, 徐淑芳, 沈俊雷, 沈潔, 王慧斌 申請(qǐng)人:河海大學(xué)