專利名稱：Wap手機傳媒色情圖像識別、監管的多進程管理系統的制作方法
技術領域：
本發明涉及一種手機互聯網淫穢色情內容及危害國家信息安全內容的識別、監管系統，特別是涉及一種手機互聯網淫穢色情圖像及危害國家安全內容的快速識別、監管平臺的多進程管理系統。
背景技術：
移動通信網和互聯網是當前信息產業的兩大支柱，且隨著通訊技術的進步不斷迅猛發展的。而手機互聯網具有將這兩大領域結合的優勢與能力，引發了我國手機互聯網用戶的迅猛發展，隨著3G技術的進步和3G業務的廣泛開展，帶寬明顯增加，手機互聯網開始滲透和融合到社會、生活、學習、娛樂和產業的各個環節，權威人士估計，到2011年底我國手機互聯網用戶數將會超過傳統互聯網，屆時將達到4億以上。由于手機不受時間、地點、 環境的限制隨時隨地都可以上網，十分方便，加上交互的便利性，因而趕時尚的青少年自然成為手機上網的主力軍。19歲以下的青少年，約占我國手機網民總數的40%。然而近年來，淫穢色情內容正猛烈地向手機互聯網滲透，由于暴利的驅使，監管的困難，大量的手機WAP網站被淫穢內容染指。赤裸裸的色情圖像和視頻，只要通過手機上網就唾手可得，甚至推送到你的手機上，引誘你下載瀏覽。“目前大多數WAP網站公布的同時在線人數都達到了 5位數，而一線門戶網站基本都在6位數以上”。再加上手機傳播的低成本、私密性和易用性，互動性，非常容易將色情圖像與他人分享，手機色情內容傳播的廣泛性遠遠超過想象。這對青少年具有相當大的吸引力，更容易誘使鑒別能力差、受好奇心驅使的未成年人誤入歧途，誘發犯罪。據調查，北京市 60%以上的中學生手機上都有赤裸裸的色情圖片，沒有的反被說成是OUT。為逃避監管，色情WAP網站會設置IP地址訪問權限，只允許手機用戶訪問，或只允許手機用戶通過移動夢網服務訪問非法WAP網站，電腦模擬器訪問不到淫穢色情WAP網站的實際內容。通過設置 IP地址訪問權限來逃避WAP網站的監管。手機互聯網正在取代電腦網絡成為學生接觸色情信息的主要渠道。而家長監管遠較PC機為難。手機互聯網淫穢色情圖像、視頻等不良信息具有以下特點1)手機互聯網上手機上傳或瀏覽下載的數據信息是要經過WAP網關轉換，帶寬窄，圖像傳輸速率低，但用戶多， 總量大；2)隱蔽性強，采取偽裝措施，發現難；3)地址跳轉快；4)很多涉黃網站是通過搜索引擎和導航網站來傳播；5)許多藏身于境外；6)手機網站主要面向手機用戶訪問使用，有的網站限制、屏蔽來自互聯網的訪問，致使人工監管難度加大。因此，采用人工方式進行觀看肯定不能滿足信息膨脹的需求，同時采用撥測方式對數據進行主動采集，也會因為手機互聯網特殊的環境遇到種種困難，使得監管效果達不到指定要求。因此手機互聯網服務已成為國家網絡安全的巨大隱患。日本的3G運營后， 9000萬手機網民每天下載的成人影視常常使3G網絡超載。過去的人工監管方法已無能為力。而當前對手機互聯網色情圖片與視頻內容的自動識別技術又特別缺乏，無法進行有效的監控和管理。
2009年新疆烏魯木齊“75”事件中，境內外“三股勢力”利用手機互聯網大肆制造、 散播謠言，制造民族矛盾，利用網絡視頻挑起民族仇恨，煽動暴動。因此手機互聯網服務已成為國家網絡安全的巨大隱患。“75”事件凸顯了加強信息監督管理、保障信息安全的重要性和緊迫性。政府應當建立和完善網絡信息安全監控體系，對網上傳播的信息進行嚴格識別，提高信息系統的安全防御能力和處理信息安全突發事件的能力，使其有效防控互聯網、 手機互聯網犯罪，做到及時識別發現、及時監管、及時處理。防止事態擴大。因此對手機互聯網不良圖像、視頻內容及危害國家安全內容，只有用高技術手段智能識別過濾，構建基礎防線才能根本解決這一難題，而此前這是空白。

發明內容
本發明所要解決的技術問題針對現有技術不足，提出一種手機互聯網色情圖像識別、 監管的多進程管理系統。本發明所采用的技術方案
一種WAP手機傳媒色情圖像識別、監管的多進程管理系統，包括資源調度子系統，全網多級URL去重子系統，并發處理子系統，圖像檢測服務子系統，內部通信子系統；其中
A、資源調度子系統包括圖片、視頻及文字搬運流程和IP地址歸屬地資源管理流程；所述IP地址歸屬地資源管理流程維護IP地址歸屬地的對應庫，直接為用戶呈現不良信息提供服務器或WAP網站的IP地址歸屬地信息；
B、全網多級URL去重子系統采用多級URL去重體系，前端機采集直接去重和處理子系統的數據去重以及匯集到數據中心的去重，同時包括在WAP網關的TTTP GET請求獲得目標圖像的目的URL信息后，查詢該URL是否在指定的時間內檢測過，如檢測過不再重組對應的數據包；
C、并發處理子系統支持多線程多設備，對圖片、視頻和文字的采集和識別；
D、圖像檢測服務子系統，通過命令接口傳遞待檢圖像數據列表，并指定待檢圖像數據的傳送方式；圖像檢測服務器檢測完圖像以后，將檢測結果列表在進行分析，然后存在數據庫中，作為共享的資源；
E、內部通信子系統，負責系統內部各設備間的通信，系統內部各設備間采用TCP/IP協議通信，具體功能間采用私有協議接口。所述的WAP手機傳媒色情圖像識別、監管的多進程管理系統，圖像檢測服務子系統的進程結構包括數據的獲取和解析進程，圖像隊列管理進程，圖像檢測和報告進程，監控終端通信進程和錯誤保護進程。所述的WAP手機傳媒色情圖像識別、監管的多進程管理系統，圖像檢測服務子系統的邏輯結構包括在數據入口獲取鏡像數據，然后對獲取的數據進行解析和重組，結合數據庫查找并去除已檢圖像名單，將未檢送入待檢圖像隊列，然后送檢至圖像檢測模塊對檢測結果進行分析并存儲。所述的WAP手機傳媒色情圖像識別、監管的多進程管理系統，系統軟件架構包括采集控制層、數據審核層、數據管理層、數據呈現層，其中
采集控制層將采集到的高帶寬數據經協議解析還原為原始的圖像幀和文本信息， 進行不良內容訪問阻斷與提醒，并在前端將URL去重，將完全相同的不良圖像去重，以提高檢測速度，然后將還原的圖片、視頻、文字內容通過接口送至數據審核層；數據審核層分別對文字、圖像、視頻進行自動審核，并將獲取的不良信息內容傳輸到數據管理層；
數據管理層實現系統全局數據的統一管理和多維數據統計；
呈現層對全局數據進行審計，阻斷不良內容、封鎖不良網址，給出需要的審計報表。本發明的有益積極效果
1、本發明手機互聯網色情圖像識別、監管的多進程管理系統，在手機互聯網淫穢色情圖像、視頻及不良信息識別監管無先例的情況下，首次提出該識別監管平臺的多進程管理系統。高效處理該識別監管平臺的軟件系統處理流程與圖像檢測服務器進程，提供了多層次多進程并發管理的基礎。2、本發明手機互聯網色情圖像識別、監管的多進程管理系統，通過以下技術提高了對圖片、視頻和文字的識別速度，對手機JPEG圖片識別速度達到200幅/秒。1)對圖片、 視頻及文字搬運流程和IP地址歸屬地的有效的資源管理；2)對前端機采集URL直接去重和處理子系統數據去重，能夠最大化的減少搬運和識別的圖片與視頻流數量；3)對圖片、視頻和文字的采集和識別的并發處理。3、本發明手機互聯網色情圖像識別、監管的多進程管理系統，通過全網數據中心的匯總管理，將不良的圖片、文字及不良網址，統一資源共享，進一步提高了識別速度與準確率。


圖1 本發明圖像檢測服務子系統的邏輯結構圖； 圖2 本發明圖像檢測服務子系統軟件進程結構圖； 圖3 本發明多進程管理系統軟件架構結構示意圖。
具體實施例方式實施例一參見圖1、圖2、圖3。本發明WAP手機傳媒色情圖像識別、監管的多進程管理系統，包括資源調度子系統，全網多級URL去重子系統，并發處理子系統，圖像檢測服務子系統，內部通信子系統；其中
A、資源調度子系統包括圖片、視頻及文字搬運流程和IP地址歸屬地資源管理流程；所述IP地址歸屬地資源管理流程維護IP地址歸屬地的對應庫，直接為用戶呈現不良信息提供服務器或WAP網站的IP地址歸屬地信息；
B、全網多級URL去重子系統采用多級URL去重體系，前端機采集直接去重和處理子系統的數據去重以及匯集到數據中心的去重，同時包括在WAP網關的TTTP GET請求獲得目標圖像的目的URL信息后，查詢該URL是否在指定的時間內檢測過，如檢測過不再重組對應的數據包；系統采用多級URL去重體系，能夠最大化的減少搬運和識別的圖片與視頻流數量， 減少系統中心存儲數據的數量，進而提高識別速度；
C、并發處理子系統支持多線程多設備，對圖片、視頻和文字的采集和識別；
D、圖像檢測服務子系統，通過命令接口傳遞待檢圖像數據列表，并指定待檢圖像數據的傳送方式；圖像檢測服務器檢測完圖像以后，將檢測結果列表在進行分析，然后存在數據庫中，作為共享的資源；E、內部通信子系統，負責系統內部各設備間的通信，系統內部各設備間采用TCP/IP協議通信，具體功能間采用私有協議接口。
實施例二 參見圖1、圖2、圖3，本實施例WAP手機傳媒色情圖像識別、監管的多進程管理系統，與實施例一不同的是圖像檢測服務子系統的進程結構包括數據的獲取和解析進程，圖像隊列管理進程，圖像檢測和報告進程，監控終端通信進程和錯誤保護進程。實施例三參見圖1、圖2、圖3，本實施例的WAP手機傳媒色情圖像識別、監管的多進程管理系統，與實施例二進一步的是圖像檢測服務子系統的邏輯結構包括在數據入口獲取鏡像數據，然后對獲取的數據進行解析和重組，結合數據庫查找并去除已檢圖像名單，將未檢送入待檢圖像隊列，然后送檢至圖像檢測模塊對檢測結果進行分析并存儲。本發明WAP手機傳媒色情圖像識別、監管的多進程管理系統，系統的軟件架構分為采集控制層、數據審核層、數據管理層和呈現層，并且提供了完備的自身管理和其他接口，接口包括預留向其他系統同步黑名單接口和數據上傳到第三方系統的北向接口。為系統的軟件開發提供了規范化的模塊。其中
采集控制層實現了 IOG(光口或電口)高帶寬WAP上網數據采集，手機用戶訪問CMNET 數據采集，支持IDC機房出口數據采集，支持移動出口電路和網關電路出口采集。能夠采集和還原用戶上網瀏覽的多種網絡協議下(HTTP、FTP、BBS、WAP、GRPS及P2P的BT、電驢、 PliVe、QqliVe等多種應用協議)的文字、圖像、視頻等內容。對于P2P的采集另有專利申請。將采集到的高帶寬數據經協議解析還原為原始的圖像幀和文本信息，并在前端將URL去重，將完全相同的不良圖像去重，以提高檢測速度。數據審核層將還原的圖片、視頻、文字內容通過接口送至數據審核層，在該層分別對文字、圖像、視頻進行自動審核。智能識別不良信息，并提供了人工審核干預機制。1、審核后的不良信息的URL自動加入黑名單庫。并查找到對應的IP地址、SP代碼及確切的物理地址，以搜索到傳播嫌疑人。2、在本層，采用基于關鍵字庫的關鍵字比對識別文字，采用本公司研發的基于完整知識庫和推理引擎的語義分析來識別文本語義。3、在本層識別的圖像是低分辨率、手機小圖像，我們在授權專利“基于內容的網絡色情圖像和不良圖像檢測系統”(專利號CN200510048577. 0)基礎上提出了一種在高級語義指導下的區域膚色分割加人臉識別的算法模型。在高級語義指導標注下，不斷修改區域膚色分割算法的特征參數，得到語義模型，再去識別圖像，會得到最高的識別正確率。被膚色檢測器檢測為膚色占空比大的圖像，有可能是人臉，需要送入人臉檢測器進行進一步判別。4、對手機視頻內容的識別采用網絡視頻識別算法，一旦確定是視頻流后便分析、 識別是否為不良視頻，先對視頻進行解碼，采用基于Directshow的通用視頻解碼技術，支持常見的網絡視頻編碼格式；然后通過改進的滑動窗口技術，按一定的策略，獲取視頻流的關鍵幀。最后對關鍵幀采用前述的圖像識別算法進行識別，當視頻段的中所識別的關鍵幀為不良圖像達到一個確定數量時便判為該視頻為不良視頻，低于該數量為正常視頻或可疑視頻。對于網絡內容特別是對可疑的圖像、視頻內容也可人工審核識別。數據管理層數據審核層獲取的不良的信息內容，特別是淫穢色情的圖像、視頻內容、危害國家安全的內容及相應的IP地址、URL、SP代碼和查找到的不良信息源的物理地址，都要傳到數據管理層。實現了系統全局數據的統一管理和多維數據統計。全局(13個或更多省直轄市的“中國移動分公司”)不良的信息內容通過網絡傳到北京總公司，去掉重復的圖像、視頻及相應的IP地址后在J2EE平臺下按色情指數統一建庫，為快速檢索非結構性的圖像數據，我們采用科學的建庫方法。并建有多種要求的統計報表，作為管理的基礎數據和各分公司共享的統一參考數據。對于危害國家安全的內容的敏感內容，我們單獨列項管理。呈現層該層對全局數據進行全面審計，阻斷不良內容、封鎖不良網址，給出需要的審計報表。審計的主要內容是上網行為分析，發現撲捉敏感信息，并跟蹤定位。對違法網站訪問內容、時間、次數等進行統計分析和歷史對比分析。對網站訪問、遠程終端訪問、數據庫訪問、即時通信、論壇文章、微博文章、P2P下載等進行關聯分析。黑名單接口 預留了向其他系統同步黑名單的接口。北向接口 預留了向第三方系統的接口，例如提供給公安部門管理系統的接口。
權利要求
1.一種WAP手機傳媒色情圖像識別、監管的多進程管理系統，其特征是包括資源調度子系統，全網多級URL去重子系統，并發處理子系統，圖像檢測服務子系統，內部通信子系統；其中A、資源調度子系統包括圖片、視頻及文字搬運流程和IP地址歸屬地資源管理流程；所述IP地址歸屬地資源管理流程維護IP地址歸屬地的對應庫，直接為用戶呈現不良信息提供服務器或WAP網站的IP地址歸屬地信息；B、全網多級URL去重子系統采用多級URL去重體系，前端機采集直接去重和處理子系統的數據去重以及匯集到數據中心的去重，同時包括在WAP網關的TTTP GET請求獲得目標圖像的目的URL信息后，查詢該URL是否在指定的時間內檢測過，如檢測過不再重組對應的數據包；C、并發處理子系統支持多線程多設備，對圖片、視頻和文字的采集和識別；D、圖像檢測服務子系統，通過命令接口傳遞待檢圖像數據列表，并指定待檢圖像數據的傳送方式；圖像檢測服務器檢測完圖像以后，將檢測結果列表在進行分析，然后存在數據庫中，作為共享的資源；E、內部通信子系統，負責系統內部各設備間的通信，系統內部各設備間采用TCP/IP協議通信，具體功能間采用私有協議接口。
2.根據權利要求1所述WAP手機傳媒色情圖像識別、監管的多進程管理系統，其特征是圖像檢測服務子系統的進程結構包括數據的獲取和解析進程，圖像隊列管理進程，圖像檢測和報告進程，監控終端通信進程和錯誤保護進程。
3.根據權利要求1或2所述的WAP手機傳媒色情圖像識別、監管的多進程管理系統，其特征是圖像檢測服務子系統的邏輯結構包括在數據入口獲取鏡像數據，然后對獲取的數據進行解析和重組，結合數據庫查找并去除已檢圖像名單，將未檢送入待檢圖像隊列，然后送檢至圖像檢測模塊對檢測結果進行分析并存儲。
4.根據權利要求3所述的WAP手機傳媒色情圖像識別、監管的多進程管理系統，其特征是系統軟件架構包括采集控制層、數據審核層、數據管理層、數據呈現層，其中采集控制層將采集到的高帶寬數據經協議解析還原為原始的圖像幀和文本信息， 進行不良內容訪問阻斷與提醒，并在前端將URL去重，將完全相同的不良圖像去重，以提高檢測速度，然后將還原的圖片、視頻、文字內容通過接口送至數據審核層；數據審核層分別對文字、圖像、視頻進行自動審核，并將獲取的不良信息內容傳輸到數據管理層；數據管理層實現系統全局數據的統一管理和多維數據統計；呈現層對全局數據進行審計，阻斷不良內容、封鎖不良網址，給出需要的審計報表。
全文摘要
本發明涉及一種手機互聯網淫穢色情內容及危害國家信息安全內容的快速識別、監管平臺的多進程管理系統。包括資源調度子系統，全網多級URL去重子系統，并發處理子系統，圖像檢測服務子系統，內部通信子系統；其中資源調度子系統包括圖片、視頻及文字搬運流程和IP地址歸屬地資源管理流程；全網多級URL去重子系統采用多級URL去重體系，并發處理子系統支持多線程多設備，對圖片、視頻和文字的采集和識別；圖像檢測服務子系統，通過圖像檢測服務器檢測完圖像以后，將檢測結果列表在進行分析,然后存在數據庫中,作為共享的資源；內部通信子系統負責系統內部各設備間的通信。高效處理識別監管平臺的軟件系統處理流程與圖像檢測服務器進程，提供了多層次多進程并發管理的基礎。
文檔編號G06F9/46GK102567101SQ201210008540
公開日2012年7月11日 申請日期2012年1月12日 優先權日2012年1月12日
發明者周翬, 孫曉峰, 張晨民, 湯懷禮, 趙慧琴 申請人:鄭州金惠計算機系統工程有限公司