專利名稱：一種廣告過濾系統及其過濾方法
技術領域：
本發明涉及一種廣告過濾系統及其過濾方法，尤其涉及一種針對互聯網互動產品的特點，對灌水及商業廣告等信息進行準確過濾的過濾系統及其過濾方法，屬于網絡信息安全技術領域。
背景技術：
現階段，互聯網上各大論壇、博客等都面臨著廣告帖的大量灌入，極度影響用戶的互動體驗。一般，論壇、博客都有提供給版主刪除廣告、違法信息的操作后臺，但是人工不能保證及時的屏蔽廣告。本發明正是嵌入在這樣的操作后臺，使用多種方法提取文本特征。這些方法可以看做弱分類器，根據Boosting思想，我們使用人工神經網絡將多種識別方法自適應融合。本發明識別速度快、識別率高，支持無人工操作。目前，各個網站針對此情況一般都是采用如下的技術措施I.將發帖過多或間隔時間過短的帖子交予人工審查。這種方法可以對一部分廣告做到過濾，但是面對過多用戶同時發布多篇廣告帖時，需要審查的帖子數量過多，管理員壓力巨大，審查時間也會過長。2.網友舉報發布廣告帖的用戶對于廣告帖，網友可以進行舉報，每人可舉報一次，當舉報數超過一定數量時，對被舉報用戶進行禁言措施。此種方法需要活躍用戶自發參與，但若數量太大或馬甲重復發帖，單憑網友力量很難解決。3.關鍵詞過濾方式使用常見廣告詞匯作為關鍵詞，包含關鍵詞禁止發布。此種方法只能處理低級廣告，若出現詞變形或繞關鍵詞，則無法識別。4.使用預先設定的過濾參數，過濾參數不能根據不斷變化的廣告帖自動變化，即使出現過多誤判，也只能人工對參數更新，而不能自我學習，無法適應廣告帖發展趨勢。5.只是使用預訂參數自動過濾，對人工操作沒有給予考慮當一些經過過濾系統過濾認為并不存在問題的帖子，可能由于其他規則被人工操作刪除后，由于不會學習人工操作，下次系統遇到相似的帖子仍然不會過濾。針對現有技術的種種不足，本發明嵌入到互動產品用戶生成內容管理后臺，根據內容及用戶行為過濾廣告帖內容。需要解決如下問題I.根據內容特點識別及過濾廣告帖等不良內容；2.結合用戶歷史及內容歷史提高識別準確度；3.分析每次人工操作，并在后續過濾中發揮作用；4.自動對比機器與人工操作結果，自動調整參數。

發明內容
本發明所要解決的技術問題在于提供一種廣告過濾系統及其過濾方法，可以對廣告帖等不良信息進行自動過濾。為實現上述的發明目的，本發明采用下述的技術方案
一種廣告過濾系統，其特征在于所述廣告過濾系統包括內容輸入接口、特征分析模塊、以及決策計算模塊、數據記錄模塊、信息庫、指令輸出接口、人工操作輸入接口和機器學習模塊；其中，內容輸入接口用于接收來自于互聯網互動產品的用戶生成內容；特征分析模塊用于分析用戶生成內容，提取用戶生成內容的多種特征，并根據特征歷史情況及人工操作記錄計算特征值，生成特征向量；信息庫用于存儲用戶生成內容的各項特征數據；決策計算模塊用于根據特征分析模塊生成的特征向量綜合判斷是否對用戶生成內容進行過濾；數據記錄模塊用于將特征數據、分類數據以及人工操作記錄寫入信息庫；指令輸出接口用于將決策計算模塊判斷的結果整理成顯示/屏蔽操作指令，同步給互聯網互動產品；人工操作輸入接口用于接收并解析人工修改過濾結果的操作；機器學習模塊利用每次分析的結果以及人工操作記錄進行學習，并根據學習更新決策計算模塊。所述內容輸入接口包括數據輸入接口，校驗輸入的用戶生成內容數據的數據格式以及完整性；解析器，解析輸入的用戶生成內容數據，獲得ID、標題、內容、用戶ID、發布時間等信息。所述特征分析模塊包括分詞器、相似度分析模塊、文本內容分類模塊、發帖間隔分析模塊、聯系方式分析模塊、URL提取器、URL分析模塊、圖片內容分析模塊以及用戶分析模塊。所述分詞器使用漢語詞法分析系統對用戶生成內容中的文本內容進行分詞；所述相似度分析模塊對分詞后的詞進行分析，得到與當前內容相似的內容發布次數，并根據人工操作記錄或相似發布次數得到當前用戶生成內容可能為廣告的相似度特征值。所述文本內容分類模塊使用分詞后的詞在文本分類特征詞集合進行映射得到詞向量，使用支持向量機對詞向量進行分類，得出的刪除概率作為文本內容分類模塊特征值。發帖間隔分析模塊根據用戶ID對比該用戶上次發帖時間與本次時間，得到發帖時間間隔，并根據發帖時間間隔得到當前用戶生成內容可能為廣告的發帖間隔特征值；所述聯系方式分析模塊用于提取解析后的用戶生成內容數據中可能存在的聯系方式，并對該聯系方式進行分析，得到與當前聯系方式相同的聯系方式發布過多少次，并根據人工操作記錄或聯系方式發布次數得到當前用戶生成內容可能為廣告的聯系方式特征值。URL提取器從解析后的數據中識別出所有URL ；URL分析模塊對每個URL進行次數統計，并根據人工操作記錄或出現次數最多的 URL次數得到當前用戶生成內容可能為廣告的URL特征值。所述圖片內容分析模塊從解析后的用戶生成內容數據的圖片中選取一個或多個特定點，計算圖片校驗值；
對該圖片校驗值進行分析，得到與當前圖片校驗值相同的值出現過多少次就代表相同圖片發布過多少次，并根據人工操作記錄或相同圖片發布次數得到當前用戶生成內容可能為廣告的圖片特征值。所述用戶分析模塊從用戶庫中查詢用戶發文記錄，根據用戶發帖被刪除和通過次數進行計算用戶特征值。所述信息庫具有聯系方式庫、用戶庫、圖片特征庫、URL庫、文章庫以及相似度倒排索引，其中聯系方式庫用于存儲聯系方式內容、聯系方式種類、聯系方式出現次數、以及廣告過濾通過和刪除次數；用戶庫用于存儲用戶ID和上次發帖時間；圖片特征庫用于存儲圖片特征、圖片出現次數以及廣告過濾通過和刪除次數；URL庫用于存儲Url內容、URL出現次數以及廣告過濾通過和刪除次數；文章庫用于存儲文章ID和廣告過濾通過和刪除次數；相似度倒排索引用于快速匹配文本相似度。所述決策計算模塊根據相似度分析模塊、文本內容分類模塊、發帖間隔分析模塊、 聯系方式分析模塊、URL分析模塊、圖片內容分析模塊以及用戶分析模塊產生的特征值生成一個多維特征向量，并經由神經網絡進行分類，確定輸入的用戶生成內容是否為廣告帖。所述機器學習模塊通過對特征數據和分類數據的分析，使用反向傳播算法對降噪后的數據進行機器學習，找到最優的決策神經網絡，并對當前神經網絡進行更新；所述機器學習模塊還通過對詞和分類數據的分析，使用X2統計選擇文本分類特征詞，并更新文本分類特征詞庫。一種廣告過濾方法，基于上述廣告過濾系統實現，其特征在于包括如下的步驟a.接收用戶生成內容；b.對用戶生成內容進行解析；c.分析用戶生成內容，并提取用戶生成內容的多種特征；d.根據多種特征分別得到用戶內容可能為廣告的多個特征值；e.根據多個特征值生成一個多維特征向量；f.利用多維特征向量對用戶生產數據進行神經網絡分類，確定輸入的用戶生成內容是否為廣告帖；g.更新信息庫；h.輸出顯示或屏蔽操作指令至互動產品；i.可接收人工操作結果，并提升之后的過濾效果；j.定時對每次分析和過濾的結果以及人工操作記錄進行學習，并根據學習更新神經網絡分類方法和更新文本分類特征詞集合。所述步驟c中提取用戶生成內容的多種特征具體包括提取相似度特征，用于分析與當前內容相似的內容發布次數并結合人工操作記錄來獲得相似度特征；提取文本分類特征，用于分析用戶生成內容文字特點，使用支持向量機進行分類， 得出刪除概率，從而獲得文本分類特征；
提取發帖間隔特征，用于根據用戶ID對比該用戶上次發帖時間與本次時間，得到發帖時間間隔特征；提取聯系方式特征，用于提取用戶生成內容數據中可能存在的聯系方式，并對該聯系方式進行分析，得到與當前聯系方式相同的聯系方式發布過多少次并結合人工操作記錄來獲得聯系方式特征；提取URL特征，用于分析與當前URL相同的URL出現過多少次并結合人工操作記錄來獲得URL特征；提取圖片特征，用于分析與當前圖片相同的圖片出現過多少次并結合人工操作記錄來獲得圖片特征；提取用戶特征，根據用戶發帖被刪除和通過次數并結合人工操作記錄來獲得用戶特征。所述步驟d中得到用戶內容可能為廣告的多個特征值包括相似度特征值、文本分類特征值、發帖間隔特征值、聯系方式特征值、URL特征值、 圖片特征值和用戶特征值。所述步驟f使用人工神經網絡分類算法對步驟e生成的特征向量進行分類。所述步驟g中更新信息庫包括更新聯系方式庫、URL庫、用戶庫、文章庫、相似度倒排索引以及圖片特征庫，其中更新聯系方式庫更新聯系方式內容、聯系方式種類以及聯系方式出現次數還有人工操作通過和刪除次數；更新URL庫更新URL內容及其出現次數還有人工操作通過和刪除次數；更新用戶庫更新用戶ID和上次發帖時間還有人工操作通過和刪除次數；更新文章庫更新文章ID和廣告過濾通過/刪除次數還有人工操作通過和刪除次數；更新圖片特征庫更新圖片校驗值、相同圖片出現次數和廣告過濾通過/刪除次數還有人工操作通過和刪除次數；更新相似度倒排索引。所述步驟j中對每次分析和過濾的結果進行學習包括加載特征數據和分類數據，依據文本ID合并特征數據及分類數據，降噪后使用反向傳播算法對降噪后的數據進行機器學習，并更新神經網絡；加載詞數據和分類數據，依據文本ID合并詞數據及分類數據，使用X2統計選擇文本分類特征詞，并更新文本分類特征詞庫。利用本發明所提供的廣告過濾系統及其過濾方法可以有效解決背景技術中提及的四個問題本發明提供的廣告過濾系統及其過濾方法I.具有自主學習能力，能夠根據每次的過濾結果每次分析和過濾的結果進行學習，并根據學習更新系統，與自動根據廣告帖發展趨勢做出適應性過濾策略調整。2.覆蓋了內容過濾及多種行為過濾。相對于其他方法，識別更全面，召回率很有優勢，漏刪少。3.自動結合人工操作,將人工操作作為自動過濾過濾的重要考慮因素,并能夠根據人工操作記錄進行智能學習更新。4.使用神經網絡對特征向量進行決策計算，全體特征值對決策均有貢獻。相對其他技術，準確率很有優勢，誤刪少。下面結合附圖和具體實施方式
對本發明作進一步的詳細說明。下面結合附圖和具體實施方式
對本發明作進一步的詳細說明。


圖I為本發明所提供的廣告過濾系統的整體結構示意圖；圖2為本發明所提供的廣告過濾系統的計算流程圖；圖3為本發明所提供的廣告過濾系統的神經網絡學習流程圖；圖4為本發明所提供的廣告過濾系統的文本分類特征學習流程圖。圖5為本發明所提供的廣告過濾系統的決策計算模塊的人工神經網絡結構圖；圖6為本發明所提供的廣告過濾系統的發帖間隔分析的高斯函數圖。圖7所示為廣告圖示例圖。
具體實施例方式為了提高本發明對不良信息的過濾效果，發明人對大量互聯網互動產品中的灌水、廣告帖進行了分析，發現灌水或廣告帖包括以下特點的一點或幾點I.多次發布發布廣告者希望更多的人看到廣告，會在多個版塊、重復發相同或相似內容。2.發布時間間隔短由于使用廣告發布機之類的軟件，發布時間間隔比用戶正常發布時間間隔短。3.留有聯系方式包括座機號、手機號、QQ號、電子郵件，網址。4.統一的文本特征廣告帖內容與正常帖有較大的不同，會出現很多正常貼中很少出現的文字。5.發布廣告帖的ID，不會發正常帖。6.很有可能用圖片代替文字，但同一張圖會重復發多次。本發明使用的技術有
I.文本相似度計算顧名思義，文本相似度為測量若干文本間的相似程度。一般需要使用到的有，停用詞過濾、特征選擇、加權、相似度測量方法。本發明中采用簡化模式，要求匹配速度。故采用了倒排索引的方法來記錄特征詞。2.停用詞即已被認定為沒有必要收錄的詞。若使用這些詞作為特征，對效果有負面影響。如？ O不會一他的又3. ICTCLAS 分詞中國科學院計算技術研究所在多年研究工作積累的基礎上，研制出了漢語詞法分析系統 ICTCLAS (Institute of Computing Technology, Chinese Lexical Analysis System)，主要功能包括中文分詞；詞性標注；命名實體識別；新詞識別；同時支持用戶詞典。4.人工神經網絡分類器人工神經網絡是由大量處理單元互聯組成的非線性、自適應信息處理系統。它是在現代神經科學研究成果的基礎上提出的，試圖通過模擬大腦神經網絡處理、記憶信息的方式進行信息處理。人工神經網絡通過提供的訓練樣本、驗證樣本進行自學習，學習算法叫反向傳播。神經網絡是分類器的一種。是常見的特征自學習權重計算的方法。輸入數據為特征分析模塊提取出的由若干個
區間實數構成的特征向量。輸出數據為兩個實數，分別表示判定為正常帖或廣告帖的數值。若正常帖數值大， 則判定為正常帖，否則為垃圾帖。如圖5所示。5. X2統計特征選擇若干文檔中，存在設定好的分類C IC1, C2, C3. . . CJ，文檔總數為N，t為待選擇詞， Ci為第i個分類。以A表示所有文檔中七和Ci同時發生的次數；B表示所有文檔中t發生和Ci不發生的次數；C表示所有文檔中t不發生和Ci發生的次數；6. SVM 分類器SVM方法是通過一個非線性映射P,把樣本空間映射到一個高維乃至無窮維的特征空間中(Hilbert空間)，使得在原來的樣本空間中非線性可分的問題轉化為在特征空間中的線性可分的問題。SVM應用核函數的展開定理，就不需要知道非線性映射的顯式表達式；由于是在高維特征空間中建立線性學習機，所以與線性模型相比，不但幾乎不增加計算的復雜性，而且在某種程度上避免了 “維數災難這一切要歸功于核函數的展開和計算理論·選擇不同的核函數，可以生成不同的SVM，常用的核函數有以下4種(I)線性核函數 K (X，y) = x · y ；(2)多項式核函數 K(x，y) = [ (x · y)+l]d ；(3)徑向基函數 K(x, y) = exp (_ | χ-y |~2/(1~2)(4) 二層神經網絡核函數 K (x, y) = tanh (a (x · y) +b).本發明使用LibSVM軟件包實現。LIBSVM是臺灣大學林智仁(Lin Chih-Jen)副教授等開發設計的一個簡單、易于使用和快速有效的SVM模式識別與回歸的軟件包，他不但提供了編譯好的可在Windows系列系統的執行文件，還提供了源代碼，方便改進、修改以及在其它操作系統上應用；該軟件對SVM所涉及的參數調節相對比較少，提供了很多的默認參數，利用這些默認參數可以解決很多問題。7.高斯函數(正態分布)由于函數圖右半段適合于隨時間衰減的狀況，故在本發明中使用高斯函數計算發帖時間間隔的特征計算。高斯函數圖如圖6所示。如附圖I所示，本發明所提供的廣告過濾系統包括內容輸入接口、特征分析模塊、 以及決策計算模塊、數據記錄模塊、信息庫、指令輸出接口、人工操作輸入接口和機器學習模塊；其中，
內容輸入接口用于接收來自于互聯網互動產品的用戶生成內容；特征分析模塊用于分析用戶生成內容，提取用戶生成內容的多種特征，并根據特征歷史情況及人工操作記錄計算特征值，生成特征向量；信息庫用于存儲用戶生成內容的各項特征數據；決策計算模塊用于根據特征分析模塊生成的特征向量綜合判斷是否對用戶生成內容進行過濾；數據記錄模塊用于將特征數據、分類數據以及人工操作記錄寫入信息庫；指令輸出接口用于將決策計算模塊判斷的結果整理成顯示或屏蔽操作指令，同步給互聯網互動產品；人工操作輸入接口用于接收并解析人工修改過濾結果的操作。機器學習模塊利用每次分析的結果以及人工操作記錄進行學習，并根據學習更新決策計算模塊。內容輸入接口包括數據輸入接口 對輸入數據進行校驗，數據格式、完整性。解析器解析數據，獲得ID、標題、內容(包含鏈接、圖片信息)、用戶ID、發布時間。下面結合附圖2，對本發明提供的廣告過濾系統的計算流程進行詳細說明特征分析模塊包括:分詞器、相似度分析模塊、文本內容分類模塊、發帖間隔分析模塊、聯系方式分析模塊、URL提取器、URL分析模塊、圖片內容分析模塊和用戶分析模塊。所述分詞器使用漢語詞法分析系統(ICTCLAS)對用戶生成內容中的文本內容進行分詞；分詞器工作流程I.使用漢語詞法分析系統(ICTCLAS)進行分詞2.過濾所有詞中的停用詞3.提取出名詞、動詞、形容詞、位置詞4.提交至相似度分析、文本內容分類相似度分析模塊對分詞后的詞進行分析，得到與當前內容相似的內容發布過多少次，并根據相似發布次數得到當前用戶生成內容可能為廣告的相似度特征值。相似度分析模塊工作流程提取分詞后詞頻最高的20個詞，構成詞向量；依次在相似度倒排索引中查詢，得到文本集合；查看文本集合中詞命中次數大于閾值的文本ID集合；依次對集合中文本取文本操作庫數據，是否有人工操作記錄若總人工操作文本數大于2，使用人工操作傾向性(正常/廣告)，公式
J7NtielVsimiur = Mpass+Mdei+1否則，使用相似內容發布次數判定是否有廣告帖傾向，出現越多值越大，次數0-12 的值分別為{0，0，0· 2,0. 3,0. 4,0. 5,0. 6,0. 7,0. 7,0. 8,0. 8,0. 9,0. 9}，12 以上為 O. 9。文本內容分類模塊使用分詞后的詞在文本分類特征詞集合中做映射，得到一個特8/16 頁
征詞向量。使用已訓練完成的SVM(支持向量機)對特征詞向量進行分類計算，得出當前用戶生成內容為廣告內容的概率，作為文本內容分類的特征值。文本內容分類模塊工作流程使用詞，對文本分類特征詞集合(已預先學習)進行映射，得到一個特征詞向量使用SVM(支持向量機)對特征詞向量進行分類，得出當前用戶生成內容為廣告的概率(
區間的實數)，作為文本內容分類的特征值。發帖間隔分析模塊根據用戶ID對比該用戶上次發帖時間與本次時間，得到發帖時間間隔，并根據發帖時間間隔得到當前用戶生成內容可能為廣告的發帖間隔特征值；發帖間隔分析模塊工作流程根據用戶ID，在用戶庫中獲得上次發帖時間；對比上次發帖時間與本次時間，得到發帖間隔；使用高斯函數計算時間間隔對應的特征值 V= e1#其中，t為發帖間隔，單位為秒；e為自然對數底；參數K 一般選324，可視需求提聞。所述聯系方式分析模塊用于提取解析后的用戶生成內容數據中可能存在的聯系方式，并對該聯系方式進行分析，得到與當前聯系方式相同的聯系方式發布過多少次，并根據聯系方式發布次數得到當前用戶生成內容可能為廣告的聯系方式特征值。聯系方式分析模塊工作流程I.提取可能存在的聯系方式聯系方式可能包括QQ號、手機號、座機號，這些一般都是由數字組成的，考慮到阿拉伯數字有很多種變形，廣告帖經常會發布變形的數字，如I可以變為一、壹、one、①， 需要對上述變形進行轉換。a)手機號識別手機號有固定構成形式，故用正則表達式識別。b)按照變形詞表，將文本內所有變形數字轉為原始數字(如①-> I)c)去掉多余空格及符號d)使用正則表達式識別r\\d]ir\\d] {0,2} ([3|5] [~\\d] {0,2}
{1} 8[~\\d] {O, 2} O | 8 [~\\d] {0， 2} 5|8[~\\d] {0，2}6|8[~\\d] {0，2} 7 | 8 [~\\d] {0，2} 8 | 8 [~\\d] {0,2} 9) [~\\d] {0,2}(
r\\d] {0,2}) {7}
[~\\d]1)QQ號、座機號識別并不是所有連續數字就是聯系方式，也有可能是身份證，中獎號等。所以，存在類別詞表{ “Q”，“Q”}，{ “企”，“鵝”}，{ “電”，“話”}，{ “致”，“電”} 等，用于標記數字串的類別，一般出現在連續6位以上(包括6位)數字串前。a)按照變形詞表，將文本內所有變形數字轉為原始數字(如①-> I)b)對于每個連續6位以上(包括6位)數字串，位置在檢查數字串前的5位字符串是否順序包含名稱詞表內容。(\\dr\\d]{0，2}){5，}\\d
13
c)若存在，則標記為聯系方式。變形詞表0，零，0，O，◎，&#48 ;1，一，壹，①，I，&#49 ;2，二，貳，②，11，&#50 ;3，三，叁，③，III，&#51 ;4，四，肆，④，IV，&#52 ;5，五，伍，⑤，V，&#53 ;6，六，陸，⑥，VI，&#54 ;7，七，柒，⑦，VII，&#55 ;8，八，捌，⑧，VIII，&#56 ;9，九，玖，⑨，IX，&#57 ;類別詞表{" Q"，" Q" }，{"騰"，"訊"}，{" Q"，" " }，{"訂"，"購"}{"滕"，"訊"}，{"滕"，"迅"}，{"騰"，"迅"}，{"手"，"機"}，{" pho"，" ne" }，{"電"，"話"}，{"移動"，"電話"}，{"群"，" 號"}，{"座"，"機"}，{"請"，"撥"}，{"聯系"，"方式"}，{"扣"，" 扣"}，{"企"，"鵝"}，{"交"，"流"}，{"聯"，"系"}，{"熱"，"線"}，{"短"，"信"}，{"專"，"線"}2.對于得到的聯系方式，根據如下方式計算特征值循環對每個聯系方式取聯系方式庫數據，做如下計算a)若人工操作數大于2，使用人工操作傾向性(正常/廣告)，公式
權利要求
1.一種廣告過濾系統,其特征在于所述廣告過濾系統包括內容輸入接口、特征分析模塊、以及決策計算模塊、數據記錄模塊、信息庫、指令輸出接口、人工操作輸入接口和機器學習模塊；其中，內容輸入接口用于接收來自于互聯網互動產品的用戶生成內容；特征分析模塊用于分析用戶生成內容，提取用戶生成內容的多種特征，并根據特征歷史情況及人工操作記錄計算特征值，生成特征向量；信息庫用于存儲用戶生成內容的各項特征數據；決策計算模塊用于根據特征分析模塊生成的特征向量綜合判斷是否對用戶生成內容進行過濾；數據記錄模塊用于將特征數據、分類數據以及人工操作記錄寫入信息庫；指令輸出接口用于將決策計算模塊判斷的結果整理成顯示/屏蔽操作指令，同步給互聯網互動產品；人工操作輸入接口用于接收并解析人工修改過濾結果的操作；機器學習模塊利用每次分析的結果以及人工操作記錄進行學習，并根據學習更新決策計算模塊。
2.如權利要求I所述的廣告過濾系統，其特征在于所述內容輸入接口包括數據輸入接口，校驗輸入的用戶生成內容數據的數據格式以及完整性；解析器，解析輸入的用戶生成內容數據，獲得ID、標題、內容、用戶ID、發布時間等信肩、O
3.如權利要求I所述的廣告過濾系統，其特征在于所述特征分析模塊包括分詞器、相似度分析模塊、文本內容分類模塊、發帖間隔分析模塊、聯系方式分析模塊、URL提取器、URL分析模塊、圖片內容分析模塊以及用戶分析模塊。
4.如權利要求3所述的廣告過濾系統，其特征在于所述分詞器使用漢語詞法分析系統對用戶生成內容中的文本內容進行分詞；所述相似度分析模塊對分詞后的詞進行分析，得到與當前內容相似的內容發布次數， 并根據人工操作記錄或相似發布次數得到當前用戶生成內容可能為廣告的相似度特征值。
5.如權利要求3所述的廣告過濾系統，其特征在于所述文本內容分類模塊使用分詞后的詞在文本分類特征詞集合進行映射得到詞向量， 使用支持向量機對詞向量進行分類，得出的刪除概率作為文本內容分類模塊特征值。
6.如權利要求3所述的廣告過濾系統，其特征在于發帖間隔分析模塊根據用戶ID對比該用戶上次發帖時間與本次時間，得到發帖時間間隔，并根據發帖時間間隔得到當前用戶生成內容可能為廣告的發帖間隔特征值；所述聯系方式分析模塊用于提取解析后的用戶生成內容數據中可能存在的聯系方式， 并對該聯系方式進行分析，得到與當前聯系方式相同的聯系方式發布過多少次，并根據人工操作記錄或聯系方式發布次數得到當前用戶生成內容可能為廣告的聯系方式特征值。
7.如權利要求3所述的廣告過濾系統，其特征在于URL提取器從解析后的數據中識別出所有URL ；URL分析模塊對每個URL進行次數統計，并根據人工操作記錄或出現次數最多的URL次數得到當前用戶生成內容可能為廣告的URL特征值。
8.如權利要求3所述的廣告過濾系統，其特征在于所述圖片內容分析模塊從解析后的用戶生成內容數據的圖片中選取一個或多個特定點，計算圖片校驗值；對該圖片校驗值進行分析，得到與當前圖片校驗值相同的值出現過多少次就代表相同圖片發布過多少次，并根據人工操作記錄或相同圖片發布次數得到當前用戶生成內容可能為廣告的圖片特征值。
9.如權利要求3所述的廣告過濾系統，其特征在于所述用戶分析模塊從用戶庫中查詢用戶發文記錄，根據用戶發帖被刪除和通過次數進行計算用戶特征值。
10.如權利要求I所述的廣告過濾系統，其特征在于所述信息庫具有聯系方式庫、用戶庫、圖片特征庫、URL庫、文章庫以及相似度倒排索引，其中聯系方式庫用于存儲聯系方式內容、聯系方式種類、聯系方式出現次數、以及廣告過濾通過和刪除次數；用戶庫用于存儲用戶ID和上次發帖時間；圖片特征庫用于存儲圖片特征、圖片出現次數以及廣告過濾通過和刪除次數；URL庫用于存儲URL內容、URL出現次數以及廣告過濾通過和刪除次數；文章庫用于存儲文章ID和廣告過濾通過和刪除次數；相似度倒排索引用于快速匹配文本相似度。
11.如權利要求I所述的用戶生成內容過濾系統，其特征在于所述決策計算模塊根據相似度分析模塊、文本內容分類模塊、發帖間隔分析模塊、聯系方式分析模塊、URL分析模塊、圖片內容分析模塊以及用戶分析模塊產生的特征值生成一個多維特征向量，并經由神經網絡進行分類，確定輸入的用戶生成內容是否為廣告帖。
12.如權利要求I所述的用戶生成內容過濾系統，其特征在于所述機器學習模塊通過對特征數據和分類數據的分析，使用反向傳播算法對降噪后的數據進行機器學習，找到最優的決策神經網絡，并對當前神經網絡進行更新；所述機器學習模塊還通過對詞和分類數據的分析，使用X2統計選擇文本分類特征詞， 并更新文本分類特征詞庫。
13.—種廣告過濾方法，基于權利要求1-12之一的的廣告過濾系統實現，其特征在于包括如下的步驟a.接收用戶生成內容；b.對用戶生成內容進行解析；c.分析用戶生成內容，并提取用戶生成內容的多種特征；d.根據多種特征分別得到用戶內容可能為廣告的多個特征值；e.根據多個特征值生成一個多維特征向量；f.利用多維特征向量對用戶生產數據進行神經網絡分類，確定輸入的用戶生成內容是否為廣告帖；g.更新信息庫；h.輸出顯示或屏蔽操作指令至互動產品；i.可接收人工操作結果，并提升之后的過濾效果；j.定時對每次分析和過濾的結果以及人工操作記錄進行學習，并根據學習更新神經網絡分類方法和更新文本分類特征詞集合。
14.如權利要求13所述的廣告過濾方法，其特征在于所述步驟c中提取用戶生成內容的多種特征具體包括提取相似度特征，用于分析與當前內容相似的內容發布次數并結合人工操作記錄來獲得相似度特征；提取文本分類特征，用于分析用戶生成內容文字特點，使用支持向量機進行分類，得出刪除概率，從而獲得文本分類特征；提取發帖間隔特征，用于根據用戶ID對比該用戶上次發帖時間與本次時間，得到發帖時間間隔特征；提取聯系方式特征，用于提取用戶生成內容數據中可能存在的聯系方式，并對該聯系方式進行分析，得到與當前聯系方式相同的聯系方式發布過多少次并結合人工操作記錄來獲得聯系方式特征；提取URL特征，用于分析與當前URL相同的URL出現過多少次并結合人工操作記錄來獲得URL特征；提取圖片特征，用于分析與當前圖片相同的圖片出現過多少次并結合人工操作記錄來獲得圖片特征；提取用戶特征，根據用戶發帖被刪除和通過次數并結合人工操作記錄來獲得用戶特征。
15.如權利要求13所述的廣告過濾方法，其特征在于所述步驟d中得到用戶內容可能為廣告的多個特征值包括相似度特征值、文本分類特征值、發帖間隔特征值、聯系方式特征值、URL特征值、圖片特征值和用戶特征值。
16.如權利要求13所述的廣告過濾方法，其特征在于所述步驟f使用人工神經網絡分類算法對步驟e生成的特征向量進行分類。
17.如權利要求13所述的廣告過濾方法，其特征在于所述步驟g中更新信息庫包括更新聯系方式庫、URL庫、用戶庫、文章庫、相似度倒排索引、以及圖片特征庫，其中更新聯系方式庫更新聯系方式內容、聯系方式種類以及聯系方式出現次數還有人工操作通過和刪除次數；更新URL庫更新URL內容及其出現次數還有人工操作通過和刪除次數；更新用戶庫更新用戶ID和上次發帖時間還有人工操作通過和刪除次數；更新文章庫更新文章ID和廣告過濾通過/刪除次數還有人工操作通過和刪除次數； 更新圖片特征庫更新圖片校驗值、相同圖片出現次數和廣告過濾通過/刪除次數還有人工操作通過和刪除次數；更新相似度倒排索引。
18.如權利要求13所述的廣告過濾方法，其特征在于所述步驟j中對每次分析和過濾的結果進行學習包括加載特征數據和分類數據，依據文本ID合并特征數據及分類數據，降噪后使用反向傳播算法對降噪后的數據進行機器學習，并更新神經網絡；加載詞數據和分類數據，依據文本ID合并詞數據及分類數據，使用X2統計選擇文本分類特征詞，并更新文本分類特征詞庫。
全文摘要
一種廣告過濾系統，包括內容輸入接口、特征分析模塊、以及決策計算模塊、數據記錄模塊、信息庫、指令輸出接口、人工操作輸入接口和機器學習模塊；其中，內容輸入接口用于接收來自于互聯網互動產品的用戶生成內容；特征分析模塊用于分析用戶生成內容，提取用戶生成內容的多種特征，并根據特征歷史情況及人工操作記錄計算特征值，生成特征向量；信息庫用于存儲用戶生成內容的各項特征數據；決策計算模塊用于根據特征分析模塊生成的特征向量綜合判斷是否對用戶生成內容進行過濾；數據記錄模塊用于將特征數據、分類數據以及人工操作記錄寫入信息庫；指令輸出接口用于將決策計算模塊判斷的結果整理成顯示/屏蔽操作指令，同步給互聯網互動產品；人工操作輸入接口用于接收并解析人工修改過濾結果的操作；機器學習模塊利用每次分析的結果以及人工操作記錄進行學習，并根據學習更新決策計算模塊。
文檔編號G06F17/30GK102591983SQ20121000466
公開日2012年7月18日 申請日期2012年1月10日 優先權日2012年1月10日
發明者劉宇, 吳華鵬, 曾明 申請人:鳳凰在線(北京)信息技術有限公司