專利名稱：一種http訪問請求處理方法、裝置及網關設備的制作方法
技術領域：
本發明涉及網絡通信技術領域，尤其涉及ー種HTTP訪問請求處理方法、裝置及網關設備。
背景技術：
互聯網的高速發展使得互聯網已經滲透到社會生活的每ー個角落，成為人們學習、生活、工作不可缺少的工具，也為企業高效運營提供了基礎平臺。但是互聯網給我們帶來諸多便利的同時，也為各種不和諧的行為提供了滋生的溫床，網絡惡搞、誹鎊中傷、傳播違法反動信息等等，越來越對國家安定、社會和諧、企業效率提出了嚴峻的挑戰。互聯網給企業帶來的諸多負面問題主要體現在如下幾個方面1)企業員エ工作效率低下。據調查顯示，普通企業員エ每天的互聯網訪問活動中40%與工作無關。在線聊天、瀏覽娛樂網頁、論 壇、博客等無時無刻不在占用正常的工作時間。2)企業敏感信息泄露。電子郵件、論壇等網絡應用，已經成為信息獲取與提高工作效率的重要工具，但如果不加監管，這些工具極可能也為泄密等提供了途徑。3)法律風險。企業員エ如果通過企業網絡在互聯網論壇上發表違法、反動言論的話，不但給企業形象帶來不好的影響，如果找不到是何人所為，還可能導致企業為此承擔法律風險。為解決互聯網給企業帶來的諸多負面問題，上網行為管理概念應運而生。上網行為管理是指幫助互聯網用戶控制和管理對互聯網的使用，包括對網頁訪問過濾、網絡應用控制、帶寬流量管理、信息收發審計、用戶行為分析，從而實現對互聯網訪問行為的全面管理。在點對點(P2P)流量管理、防止內網泄密、防范法規風險、互聯網訪問行為記錄、上網安全等多個方面提供最有效的解決方案。其中，搜索引擎作為信息獲取的重要工具，在上網行為管理中也顯得尤為重要。可以說搜索引擎搜索審計已經成為上網行為管理所不可或缺的重要功能之一。通過對主流的搜索引擎(以百度、Google、Yahoo為例進行說明)分析發現，搜索引擎的搜索關鍵字通常都記錄在URL中，以搜索“testkeyword”為例，幾個主流搜索引擎的URL如下所示百度http://www.baidu. com/s wd=testkeyword,可見，URL 中 wd 字段值即為搜
索關鍵字；Google http://www. google, com. hk/search hl=zh-CN&source=hp&q=testkeyword&meta=&aq=f & aqi=&aql=&oq = &gs_rfai=,可見，URL 中 q 字段值即為搜索關鍵字。Yahoo http://search, cn. yahoo, com/s p=testkeyword&v=web&pid=ysearch,可見，URL中p字段值即為搜索關鍵字。基于這個特征，在對內網用戶的搜索行為進行審計時，只需要從該類URL中提取指定字段值即可。通常處理步驟如下I)網關或上網行為管理設備窺探、截獲HTTP請求報文，并從中提取出URL。2)對URL進行識別，如果是搜索引擎的URL，則進行捜索行為審計。
3)根據預設的關鍵字字段名，從URL中提取搜索關鍵字，從而完成審計。但是，在實際應用中發現，搜索引擎搜索產生的URL并不是只有上述那些，通常還會伴隨有大量其他類似的URL信息同樣存在捜索關鍵字字段，如下所示http !//suggestion, baidu. com/ su wd = t&p = 3&cb = window. odsug.sug&t=l335583602530http:/ /suggestion, baidu. com/su wd = te&p = 3&cb=window. bdsug.sug&t=1335583602531http:/ /suggestion, baidu. com/su wd = tes&p = 3&cb=window. bdsug.sug&t=l335583602532
http:/ /suggestion, baidu. com/su wd = test&p = 3&cb=window. bdsug.sug&t=l335583602533http:/ /suggestion, baidu. com/su wd=testk&p = 3&cb=window. bdsug.sug&t=1335583602534http ://suggestion, baidu. com/su wd=testke&p = 3&cb=window. bdsug.sug&t=l335583602535http : / / suggestion, baidu. com/su wd=testkey&p=3&cb=window. bdsug.sug&t=l335583602536http ://suggestion, baidu. com/su wd=testkeyw&p=3&cb=window.bdsug.sug&t=1335583602537http ://suggestion, baidu. com/su wd=testkeywo&p=3&cb=window. bdsug.sug&t=l335583602538http ://suggestion.baidu. com/su wd=testkeywor&p=3&cb=window. bdsug.sug&t=l335583602539這些大量的非有效URL，通常都是自動補齊等產生的，還有部分是搜索引擎相關的圖片等資源請求，所有這些都給搜索行為審計帶來很大的干擾，降低了審計效率，造成設備處理資源的浪費。因此，判斷URL是否有效，成為現有技術亟待解決的技術問題之一。

發明內容
本發明實施例提供ー種HTTP訪問請求處理方法、裝置及網關設備，用以判斷URL的有效性，達到提高搜索引擎搜索審計效率，節約設備處理資源的目的。本發明實施例提供ー種HTTP訪問請求處理方法，包括獲得超文本傳輸協議HTTP請求報文，所述HTTP請求報文中攜帶有統ー資源定位符 URL ；根據預先存儲的非有效URL特征列表，判斷所述URL中是否包含非有效URL特征；若判斷結果為是，確定所述URL為無效URL ；若判斷結果為否，確定所述URL為有效URL。本發明實施例提供ー種HTTP訪問請求處理裝置，包括獲得單元，用于獲得超文本傳輸協議HTTP請求報文，所述HTTP請求報文中攜帶有統ー資源定位符URL ；
判斷単元，用于根據預先存儲的非有效URL特征列表，判斷所述URL中是否包含非有效URL特征；確定單元，用于若所述判斷単元的判斷結果為是，確定所述URL為無效URL;若所述判斷單元的判斷結果為否，確定所述URL為有效URL。本發明實施例提供ー種網關設備，包括上述HTTP訪問請求處理裝置。本發明實施例提供的HTTP訪問請求處理方法、裝置及網關設備，在獲得HTTP請求報文中攜帶的URL之后，通過判斷獲得的URL中是否包含非有效URL特征來確定URL的有效性，確定出URL是否有效之后，后續在進行搜索引擎搜索審計時，可以將無效URL過濾棹，只需要對有效URL進行審計，從而，能夠提高審計效率，節約設備處理資源。本發明的其它特征和優點將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實施本發明而了解。本發明的目的和其他優點可通過在所寫的說明 書、權利要求書、以及附圖中所特別指出的結構來實現和獲得。


圖I為本發明實施例中，HTTP訪問請求處理方法的實施流程示意圖；圖2為本發明實施例中，HTTP訪問請求處理方法的完全實施流程示意圖；圖3為本發明實施例中，HTTP訪問請求處理裝置的結構示意圖。
具體實施例方式為了準確判斷URL的有效性，以提高搜索行為搜索審計的效率，節約設備處理資源，本發明實施例提供了ー種HTTP訪問請求處理方法、裝置及網關設備。以下結合說明書附圖對本發明的優選實施例進行說明，應當理解，此處所描述的優選實施例僅用于說明和解釋本發明，并不用于限定本發明，并且在不沖突的情況下，本發明中的實施例及實施例中的特征可以相互組合。實施ー如圖I所示，為本發明實施例提供的HTTP訪問請求處理方法的實施流程示意圖，包括以下步驟S101、獲得HTTP (超文本傳輸協議)請求報文；具體實施吋，網關設備或者上網行為管理設備窺探并截獲HTTP請求報文，在HTTP請求報文中攜帯有URL (統ー資源定位符)；S102、根據預先存儲的非有效URL特征列表，判斷獲得的URL中是否包含非有效URL特征，如果是，執行步驟S103，否則執行步驟S104 ；具體實施時，可以通過收集非有效URL并提取其中的特征，建立非有效URL特征列表，如？ gif, su等。后續過程中，可以對非有效URL特征列表進行自動更新。S103、確定該URL為無效URL ；S104、確定該URL為有效URL。具體實施時，為了進ー步提高審計效率，在獲得了 HTTP請求報文之后，執行步驟S102之前，可以首先確定提取到的URL是否為搜索引擎對應的URL，具體的，可以預先收集各主流搜索引擎的HOST域值，并建立HOST域值列表，例如，百度的HOST域值為棚.baidu.com, Google 的 HOST 域值為 www. google, com. hk,雅虎的 HOST 域值為 search, cn. yahoo,com,當有新增或者需要修改的HOST域值時，可以手動將新增的HOST域值添加至HOST域值列表中，或者對已有的表項進行修改。當確定提取到的URL包含的HOST字段的值存在于預先存儲的HOST域值列表中吋，則繼續執行步驟S102，否則，結束流程。實施例ニ較佳地，由于非有效URL特征列表中收集的非有效URL特征可能并不完備，因此，有可能導致判斷結果出現錯誤。為了進一步提高URL有效性判斷的準確性，本發明實施例中對于根據非有效URL特征列表判斷為有效URL可以進行進ー步判斷。具體的，本發明實施例中，根據接收到的該URL對應的HTTP回應信息，并通過對HTTP回應信息包含的某些指定字段進行檢測，若指定字段滿足預設條件，才確定該URL為有效URL。其中，指定字段可以但不限于包括Content-Length和Content-Type,當指定字段為Content-Length時,預設條件可以為Content-Length對應的字段值大于等于預設閾值；當指定字段為Content-Type時,預設條件可以為Content-Type對應的字段值為非指定 值。這是因為，如果回應信息很短(短過指定的閥值，HTTP回應報文的Content-Length值即為回應信息的大小)，則認為該URL無效。因為如果正常的捜索，通常都會返回ー個頁面，如果返回的信息長度很小，低于ー個頁面可能的最小長度，則可以認為該URL無效；而對于Content-Type來說，如果HTTP回應信息的Content-Type字段為諸如圖片(image/gif等)等信息，則認為該回應不是ー個網頁，則可以認為該URL無效。具體實施時，可以根據實際需要對上述兩個字段進行檢測，當然也可以值檢測其中任ー個，如果對兩個字段均進行檢測時，本發明實施例對于兩個字段的檢測順序不作限定，即既可以先檢測Content-Length字段,也可以先檢測Content-Type字段。具體實施吋，HTTP請求報文中還攜帶有用戶標識，其中，用戶標識可以但不限于為IP地址，這樣，在完成URL的有效性檢測之后，可以提取該URL中包含的關鍵字，將該關鍵字及其對應的URL添加至該用戶標識對應的關鍵字列表中，如表I所示，為關鍵字列表ー種可能的格式表I
權利要求
1.一種HTTP訪問請求處理方法，其特征在于，包括 獲得超文本傳輸協議HTTP請求報文，所述HTTP請求報文中攜帶有統一資源定位符URL ； 根據預先存儲的非有效URL特征列表，判斷所述URL中是否包含非有效URL特征； 若判斷結果為是，確定所述URL為無效URL ； 若判斷結果為否，確定所述URL為有效URL。
2.如權利要求I所述的方法，其特征在于，若判斷結果為否，在確定所述URL為有效URL之前,還包括 接收所述URL對應的HTTP回應信息；并 確定接收到的HTTP回應信息中包含的指定字段的字段值滿足預設條件。
3.如權利要求2所述的方法,其特征在于,所述指定字段包括Content-Length和/或Content-Type ;以及 當所述指定字段為Content-Length時,所述預設條件為Content_Length對應的字段值大于等于預設閾值； 當所述指定字段包括Content-Type時,所述預設條件為Content_Type對應的字段值為非指定值。
4.如權利要求I所述的方法，其特征在于，在根據預先存儲的非有效URL特征列表，判斷所述URL中是否包含非有效URL特征之前，還包括 確定所述URL中包含的HOST字段的值存在于預先存儲的HOST域值列表中。
5.如權利要求I所述的方法，其特征在于，所述HTTP請求報文中還攜帶有用戶標識；以及 所述方法，還包括 根據預設的關鍵字字段名列表，提取所述URL中包含的關鍵字； 將所述關鍵字及其對應的URL添加至所述用戶標識對應的關鍵字列表中；并 分析所述關鍵字列表中包含的每一關鍵字； 針對包含相同前綴公共子串的關鍵字，提取各關鍵字對應的URL包含的共同特征添加至所述URL非有效特征列表中。
6.一種HTTP訪問請求處理裝置，其特征在于，包括 獲得單元，用于獲得超文本傳輸協議HTTP請求報文，所述HTTP請求報文中攜帶有統一資源定位符URL ； 判斷單元，用于根據預先存儲的非有效URL特征列表，判斷所述URL中是否包含非有效URL特征； 確定單元，用于若所述判斷單元的判斷結果為是，確定所述URL為無效URL ;若所述判斷單元的判斷結果為否，確定所述URL為有效URL。
7.如權利要求6所述的裝置，其特征在于，還包括接收單元，其中 所述接收單元，用于接收所述URL對應的HTTP回應信息； 所述確定單元，還用于若判斷結果為否，在確定所述URL為有效URL之前，確定接收到的HTTP回應信息中包含的指定字段的字段值滿足預設條件。
8.如權利要求6所述的裝置，其特征在于，還包括所述確定單元，還用于在所述判斷單元根據預先存儲的非有效URL特征列表，判斷所述URL中是否包含非有效URL特征之前，確定所述URL中包含的HOST字段的值為預設值。
9.如權利要求6所述的裝置，其特征在于，所述HTTP請求報文中還攜帶有用戶標識；以及 所述裝置，還包括 第一提取單元，用于根據預設的關鍵字字段名列表，提取所述URL中包含的關鍵字；第一更新單元，用于在所述確定單元確定所述關鍵字有效時，將所述關鍵字添加至所述用戶標識對應的關鍵字列表中； 分析單元，用于分析所述關鍵字列表中包含的每一關鍵字； 第二提取單元，用于針對包含相同前綴公共子串的關鍵字，提取各關鍵字對應的URL包含的共同特征； 第二更新單元，用于將所述第二提取單元提取到的共同特征添加至所述非有效URL特征列表中。
10.一種網關設備，其特征在于，包括權利要求6、任一權利要求所述的裝置。
全文摘要
本發明公開了一種HTTP訪問請求處理方法、裝置及網關設備，用以判斷URL的有效性，達到提高搜索引擎搜索審計效率，節約設備處理資源的目的，其中，HTTP訪問請求處理方法包括獲得HTTP請求報文，所述HTTP請求報文中攜帶有URL；根據預先存儲的非有效URL特征列表，判斷所述URL中是否包含非有效URL特征；若判斷結果為是，確定所述URL為無效URL；若判斷結果為否，確定所述URL為有效URL。
文檔編號H04L29/08GK102857572SQ20121034282
公開日2013年1月2日 申請日期2012年9月14日 優先權日2012年9月14日
發明者魏逢一 申請人:北京星網銳捷網絡技術有限公司