本發明涉及網絡安全,具體為一種基于大數據的計算機網絡安全防護系統。
背景技術:
1、隨著信息技術的飛速發展,網絡安全問題越來越復雜,尤其是在面對分布式拒絕服務(ddos)攻擊、sql注入、爬蟲攻擊和暴力破解等新型威脅時,傳統的網絡安全防護手段面臨著許多挑戰。現有的安全防護技術大多依賴基于規則的防護系統,通過設置固定規則和簽名匹配來識別惡意流量。
2、隨著大數據技術和云計算的興起,基于海量數據流量分析的網絡安全防護技術逐漸成為研究的熱點。這些方法通過對流量的全面采集和深度分析,能夠基于多維度特征(如ip地址分布、請求路徑、請求頻率等)識別異常行為和潛在威脅,尤其是針對新型攻擊類型的應對具有較大的潛力。
3、經檢索,中國專利(cn118748611b)公開了一種網絡安全防護方法及系統,該專利包括,獲取目標用戶的用戶行為數據,并確定用戶當前網絡安全等級;根據網絡環境的實時狀態和歷史數據,自動調整活躍指數、登錄異常指數、運行指數和操作異常指數的權重參數;利用收集的用戶行為數據建立混合狀態模型,識別并預測正常與異常行為模式;基于動態調整后的權重參數,計算目標用戶的綜合安全參數,進而確定用戶的總體安全等級;根據用戶的安全等級動態調整網絡訪問控制策略。
4、在現有技術中,現有基于流量統計的異常檢測方法通常依賴于歷史數據進行模式識別,對實時流量的快速響應能力較弱,并且現有系統通常僅關注流量的總體統計特征,如ip數量、流量增速等,但忽視了請求路徑、請求參數等更為細粒度的數據特征。這樣的分析方法可能會遺漏一些較為隱蔽的攻擊行為,因此本發明提出了一種基于大數據的計算機網絡安全防護系統。
技術實現思路
1、本發明的目的在于提供了一種基于大數據的計算機網絡安全防護系統,以解決上述背景技術中提到的問題。
2、本發明可以通過以下技術方案實現:一種基于大數據的計算機網絡安全防護系統,包括云處理平臺、模型庫、至少一組采集模塊和工作層;
3、所述模型庫基于對應計算機網絡的歷史工作數據,建立對應的數據大模型,其中,歷史工作數據包括ip地址的區域分布數據、各區域ip不同時間段的流量數據、各區域ip的訪問內容和各ip的請求頻率;
4、模型庫在采集對應計算機網絡的歷史工作數據時,提取對應歷史數據預設的關鍵特征,用于訓練數據t大模型,關鍵特征包括:時序特征、空間特征、內容特征和流量統計特征;
5、所述工作層是計算機網絡的基本運行層,負責體現計算機網絡在正常操作中的各項數據和行為;
6、所述采集模塊與工作層中對應計算機網絡的相匹配,并采用旁路方式監聽訪問數據,在獲得訪問數據的同時,可以減少對工作層中計算機網絡的干擾;
7、所述采集模塊在獲得訪問數據后,將訪問數據傳輸至云處理平臺;
8、所述云處理平臺接收訪問數據后,對訪問數據進行解析,獲得ip數量數據、ip地址的實時分布數據、ip的實時訪問內容數據和對應ip的請求頻率;
9、并且云處理模塊基于ip數量數據、ip地址的實時分布數據、ip的實時訪問內容數據和對應ip的請求頻率,采用公式計算網絡安全指數st,公式具體為:
10、
11、式中,n為單位時間內的ip數量,其通過ip數量數據獲得;
12、dt為ip地址的實時地理分布熵,其通過ip地址的實時分布數據獲得,通過計算ip地址在不同地理位置的分布情況,分析訪問來源的集中程度,
13、并且m是總共的不同地理位置數量,qi是某個地理位置i的ip占比,dt越大,表明ip地址分布較為均勻,訪問來源分散,dt越小,表明大量流量來自同一地區;
14、ct為ip訪問內容多樣性,其通過ip的實時訪問內容數據獲得,具體來源于ip實時訪問的url、api請求、端口使用情況等,計算方法為:
15、其中,r為所有不同內容類別的數量,qj是某個url、api或資源類別j被訪問的概率;ct越大,訪問的內容多樣化;ct越小,意味著多個ip訪問相同內容;
16、ft為ip請求頻率,其通過對應ip請求頻率獲得;計算方法為:
17、其中,n為單位時間內的ip數量;fi為第i個ip在時間t內的請求次數;
18、pi為單個ip的異常概率;
19、并且云處理平臺將網絡安全指數st與預設的安全閾值進行對比;
20、若網絡安全指數st<預設的安全閾值,則觸發對應計算機網絡的安全防護,包括二次驗證、流量限速、訪問攔截、黑名單管控等;
21、若網絡安全指數st≥預設的安全閾值,將該ip標記為正常ip,則維持現有計算機網絡訪問策略。
22、本發明的進一步技術改進在于:所述pi的獲得方法,包括以下步驟:
23、s1、云處理平臺計算單位時間內ip的訪問次數,并進行歸一化處理,獲得ip訪問頻率f’i;
24、s2、云處理平臺計算對應ip在不同時間段內訪問的資源分布熵ci,以判斷訪問模式是否異常,采用的公式為
25、z為對應ip訪問的不同內容類別的總數,qa為對應ip在時間窗口內訪問類別a的概率,即qa=類別a的訪問次數/該ip訪問的總次數;
26、s3、云處理平臺通過ip歸屬地比對歷史訪問記錄及可信區域數據庫,確定該ip的地理風險評分gi;
27、s4、檢測ip訪問的端口是否為非典型端口,協議使用是否涉及異常行為,并基于檢測結果獲得端口異常值yi,若對應ip方位未授權端口或使用異常協議,則端口異常值yi增加;
28、yi=異常端口訪問次數/總訪問次數;
29、s5、通過查詢安全數據庫,獲取該ip是否曾被標記為惡意來源,并且根據被標記次數,獲取ip的信譽評分bi;
30、bi的取值范圍為[0,1];
31、s6、基于公式pi=ω1·f’i+ω2·ci+v3·gi+ω4·yi+ω5·bi,計算得出單個ip的異常概率pi;
32、式中,ω1、ω2、ω3、ω4和ω5為對應特征的權重,其通過歷史數據進行調整。
33、本發明的進一步技術改進在于:所述云處理平臺在獲得ip地址的實時分布數據時,對各ip地址的地理位置進行統計,并監測各地理位置ip數量的增長量與增長速度,來判斷訪問數據是否具有惡意特征。
34、本發明的進一步技術改進在于:所述云處理平臺判斷訪問數據的方法,包括以下步驟:
35、q1、采集對應時間窗口的訪問數據,并結合預設的ip歸屬地查詢數據庫解析各ip的地理位置loc;
36、q2、統計單位時間t內不同地理位置loc的唯一ip數量nloc(t),公式為:
37、式中,nloc(t)表示在時間t內,某個地理位置(loc)內的唯一ip數量;i為總ip數量;i(ipi∈loc)為指示函數,表示該ip是否屬于某個地理位置loc,若某個ip地址ipi屬于該地理位置loc,則取值1,否則為0;
38、并且統計單位時間內,各地理位置loc的ip增長速率rloc(t);
39、q3、云處理平臺基于數據大模型,預設各地理位置loc對應時間段的正常流量基值和增長閾值;
40、q4、云處理平臺將各地理位置loc的唯一ip數量nloc(t)和增長速率rloc(t)分別與對應預設的正常流量基值和增長閾值進行對比;
41、若對應地理位置loc的唯一ip數量nloc(t)>正常流量基值,且增長速率rloc(t)<增長閾值時,觸發二次驗證,以提高安全性;
42、若對應地理位置loc的唯一ip數量nloc(t)≤正常流量基值,且增長速率rloc(t)≥增長閾值時,限制該地區的訪問頻率;
43、若對應地理位置loc的唯一ip數量nloc(t)>正常流量基值,且增長速率rloc(t)≥增長閾值時,發出警示信息。
44、本發明的進一步技術改進在于:所述云處理平臺對同一ip在單位時間窗口內的實時訪問內容進行關聯性分析,判斷對應ip是否為異常訪問,以輔助判斷該ip是否為惡意流量,其步驟包括:
45、q1、統計對應ip在時間窗口t內訪問的不同的訪問路徑,并記作:ci(t)={l1、l2,...,ln},其中,ci(t)為對應ip在時間窗口t內的訪問內容合集;ln為第n個訪問路徑;
46、q2、計算對應ip的訪問路徑相似度sc,采用的公式為:
47、
48、式中,sc為對應ip的訪問路徑相似度;ci(t)為對應ip在時間窗口t內的訪問路徑集合;cba為正常用戶的訪問路徑集合;|ci(t)∪cba|為對應ip訪問路徑與正常用戶訪問路徑的交集大小;|ci(t)∪cba|為對應ip訪問路徑與正常用戶訪問路徑的并集大小;
49、q3、統計對應ip訪問的請求參數集合qi(t),qi(t)={q1,q2,...qn},并計算對應ip的請求參數相似度sq,采用公式為:
50、
51、式中,sq為對應ip的請求參數相似度;qi(t)為對應ip在時間窗口t內的請求參數集合;qba為正常用戶的請求參數集合;|qi(t)∩qba|為對應ip使用的參數集合與正常用戶參數集合的交集大小;|qi(t)∪qba|為對應ip使用的參數集合與正常用戶參數集合的并集大小;
52、q4、統計對應ip的訪問時間間隔序列△t,△t={t1-t0,t2-t1,...,ti-ti-1},并計算訪問時間間隔的均值μt;
53、隨后計算時間分布方差
54、q5、預設訪問路徑相似度sc的正常區域閾值a、請求參數相似度sq的正常區域閾值b和時間分布方差的正常閾值c;
55、當訪問路徑相似度sc、求參數相似度sq或時間分布方差任一項不在對應的正常區域閾值a、正常區域閾值b或正常閾值c中時,將對應的ip標記為惡意流量。
56、本發明的進一步技術改進在于:正常用戶的訪問路徑集合cba和正常用戶的請求參數集合qba的獲取方法,包括以下步驟;
57、z1、云處理平臺采集預設時間窗口d內各個ip的實時訪問內容數據,并獲取標記為正常ip中用戶的路徑請求,并提取路徑請求中的請求參數和訪問路徑;
58、z2、將時間窗口d內被標記正常ip訪問的所有訪問路徑進行集合,經去重后構建訪問路徑集合cba;
59、z3、將時間窗口d內被標記正常ip訪問時使用的所有請求參數進行集合,經去重后構建請求參數集合qba。
60、本發明的進一步技術改進在于:所述云處理平臺對訪問路徑集合cba和參數集合qba分別設定最小訪問頻率閾值和最小請求頻率閾值;
61、并且云處理平臺在構建訪問路徑集合cba和請求參數集合qba時,去除小于最小訪問頻率閾值的訪問路徑和小于最小請求頻率閾值的請求參數,僅保留使用頻繁的訪問路徑和請求參數。
62、與現有技術相比,本發明具備以下有益效果:
63、本發明通過多維度數據特征的融合,能夠精確識別各種類型的異常流量,尤其是對于新型攻擊模式的防護,減少誤報和漏報,并且通過實時流量分析與基線動態更新,系統能夠快速響應網絡流量的變化,及時檢測并阻止潛在的惡意流量;
64、同時,本發明通過對異常流量的有效識別與處理,本發明顯著提高了網絡的安全性和穩定性,有效防止了ddos攻擊、sql注入、爬蟲攻擊等常見威脅,提升了網絡防護能力;
65、另一方面,通過持續的流量監控與分析,系統能夠根據實時數據自動優化和更新檢測模型,使得系統能夠動態適應不斷變化的網絡流量和攻擊模式,在面對新型、復雜的攻擊時,能夠及時識別并調整防護措施;此外,本發明通過ip地址的地理位置分析與流量增長速率的計算,進一步提升了對惡意流量的識別能力,能夠有效識別出來自特定地理位置的異常流量,及時限制攻擊源,防止網絡服務受到進一步破壞。