一種針對大量數據的優化儲存方法
【專利摘要】本發明公開了一種針對大量數據的優化存儲方法，按如下步驟進行：S1.將經過合法性校驗的數據按照一定的規則分割成小塊，將每個小塊的數據存入對應的表中；S2.對步驟S1中存儲數據的表進行判斷，如果表中的數據達到百萬量級，則將此表按照設定的時間段做為時間間隔進行數據切割，再次分割成小表存儲，每個小表中只存儲對應時間段內的數據。本發明解決了大量數據的累積導致數據庫急速膨脹，無限擴大，查詢速度慢，降低了數據利用效率等弊端，達到降低數據庫負載，提高數據利用效率的效果。
【專利說明】一種針對大量數據的優化儲存方法
【技術領域】
[0001]本發明涉及一種數據的優化存儲方法，具體涉及一種大量數據的優化存儲方法，屬于計算機數據處理【技術領域】。
【背景技術】
[0002]目前，由于數據的飛速發展，數據量越來越大，大數據的存儲與查詢成為很大的難題。現今云技術做為大數據和快數據的處理技術，被越來越多的應用在很多信息領域，如何根據需要來處理龐大的云數據成了自然而然的問題。處理大量數據最直接的方法是直接存入相應的數據庫，這種方法對服務器性能要求高，而且如果每次使用都要到龐大的數據庫中去查詢所需的數據，查詢速度慢，效率低，而如果只做簡單的分表也無法達到理想的效果，數據庫的負載仍然很大，不能快速的對數據進行定位，無法提高數據查詢速度。
【發明內容】
[0003]發明目的:本發明的目的在于針對現有技術的不足，提供一種降低數據庫負載、提高數據查詢速度及利用效率的針對大量數據的優化存儲方法。
[0004]技術方案:本發明提供一種針對大量數據的優化存儲方法，按如下步驟進行:
51、將經過合法性校驗的數據按照一定的規則分割成小塊，將每個小塊的數據存入對應的表中；
52、對步驟SI中存儲數據的表進行判斷，如果表中的數據達到百萬量級，則將此表按照設定的時間段做為時間間隔進行數據切割，再次分割成小表存儲，每個小表中只存儲對應時間段內的數據。
[0005]本發明技術方案的進一步限定為，步驟S2中，所述設定的時間段為時間間隔由短到長的i個時間段，按照設定的時間段進行數據切割時，先選擇第i個時間段做為時間間隔進行數據切割；數據切割之后，對生成的小表進行判斷，如果還存在數據達到百萬量級的表，則選擇第i_l個時間段做為時間間隔再次對數據達到百萬量級的表進行數據切割，循環如上操作，直至無數據達到百萬量級的表存在或者設定的時間段全部使用。
[0006]進一步地，步驟S2中，所述設定的時間段為一天、一周和一個月，按照設定的時間段進行數據切割時，先選擇一個月做為時間間隔進行數據切割；數據切割之后，對生成的小表進行判斷，如果不存在數據達到百萬量級的表，則完成此次數據存儲；如果還存在數據達到百萬量級的表，則選擇一周時間段再次對數據達到百萬量級的表進行數據切割；數據切割之后，對生成的小表進行判斷，如果不存在數據達到百萬量級的表，則完成此次數據存儲；如果還存在數據達到百萬量級的表，則選擇一天時間段再次對數據達到百萬量級的表進行數據切割，完成此次數據存儲。
[0007]進一步地，如果再次分割成的小表中的數據超出設定的時間段的范圍，則進行自動的刪除。
[0008]進一步地，步驟S2中，將數據達到百萬量級的表進行數據切割后，對分割的數據進行判斷，如果兩個及兩個以上的數據單位合并后的表仍小于百萬量級，則先將表進行合并，然后再存入小表。
[0009]有益效果:本發明提供的一種針對大量數據的優化存儲方法，通個分時段對數據達到百萬量級的表進行數據切割，對各個時間段的數據進行單獨維護，解決了大量數據的累積導致數據庫急速膨脹，無限擴大，查詢速度慢，降低了數據利用效率等弊端，達到降低數據庫負載，提高數據利用效率的效果。
【專利附圖】
【附圖說明】
[0010]圖1為本發明提供的一種針對大量數據的優化存儲方法的流程圖。
【具體實施方式】
[0011]下面對本發明技術方案進行詳細說明，但是本發明的保護范圍不局限于所述實施例。
[0012]實施例:本實施例提供一種針對大量數據的優化存儲方法，本發明應用于云技術對大數據的接收處理中，當云服務器接收大量數據對數據進行解析后，將對數據進行優化存儲，具體優化存儲的方法流程圖如圖1所示，按如下步驟進行:
S1、將經過合法性校驗的數據按照一定的規則分割成小塊，將每個小塊的數據存入對應的表中。
[0013]合法性校驗包括對收到數據包的校驗和對包中數據的校驗，數據包主要是通過md5值來校驗包的來源是否正確，是否為網絡攻擊注入包，如果數據包是合法的，將數據包進行解析，對里面的數據進行分析，是否為所需要的正確的數據。
[0014]數據分割的規則，根據數據對應的表而定，所有的數據不可能存放在一張表中，解析后的數據會有固定的標識來顯示各部分數據該存在哪些表中，比如用戶信息存在用戶表中，網絡流量信息存在網絡流量所對應的表中，固定的規則即為約定好的標識。
[0015]存儲數據的表是在建庫時就建好的，并不需要動態建表。不同的表數據結構是不同的，表是表與表之間是相互依存又各自獨立的，一張表中的數據是另一張表中數據通過計算合并后存入的，使用時各自獨立被使用。表中的數據如果不處理的話表中的數據會一直增加，該方法的目的就是處理一直增加的數據，使之不會無限增大。
[0016]對網絡數據合法性的校驗、對數據的分割及數據庫建表為目前成熟的技術，本領域的技術人員可以采用常規的知識實現，此處不做論述。
[0017]S2、對步驟SI中存儲數據的表進行判斷，如果表中的數據達到百萬量級，則將此表按照設定的時間段做為時間間隔進行數據切割對分割的數據進行判斷，如果兩個及兩個以上的數據單位合并后的表仍小于百萬量級，則先將表進行合并，然后再存入小表。每個小表中只存儲對應時間段內的數據。比如每15分鐘收到一筆數據，將該筆數據存入最近一天的表中，然后每四筆數據合成一筆數據存入最近一周的數據表中，以此類推，將各表中超出時間范圍的數據自動刪掉，如此數據庫的大小以及數據量都不會無效增大。
[0018]具體分時段進行數據分隔的方法為:設定的時間段為時間間隔由短到長的i個時間段，按照設定的時間段進行數據切割時，先選擇第i個時間段做為時間間隔進行數據切割；數據切割之后，對生成的小表進行判斷，如果還存在數據達到百萬量級的表，則選擇第1-1個時間段做為時間間隔再次對數據達到百萬量級的表進行數據切割，循環如上操作，直至無數據達到百萬量級的表存在或者設定的時間段全部使用。如果再次分割成的小表中的數據超出設定的時間段的范圍，則進行自動的刪除。
[0019]本實施例中，設定的時間段為一天、一周和一個月，按照設定的時間段進行數據切割時，先選擇一個月做為時間間隔進行數據切割；數據切割之后，對生成的小表進行判斷，如果不存在數據達到百萬量級的表，則完成此次數據存儲；如果還存在數據達到百萬量級的表，則選擇一周時間段再次對數據達到百萬量級的表進行數據切割；數據切割之后，對生成的小表進行判斷，如果不存在數據達到百萬量級的表，則完成此次數據存儲；如果還存在數據達到百萬量級的表，則選擇一天時間段再次對數據達到百萬量級的表進行數據切割，完成此次數據存儲。如果再次分割成的小表中的數據超出設定的時間段的范圍，則進行自動的刪除。
[0020]本發明通個分時段對數據龐大的表進行數據切割，對各個時間段的數據進行單獨維護，解決了大量數據的累積導致數據庫急速膨脹，無限擴大，查詢速度慢。
[0021]如上所述，盡管參照特定的優選實施例已經表示和表述了本發明，但其不得解釋為對本發明自身的限制。在不脫離所附權利要求定義的本發明的精神和范圍前提下，可對其在形式上和細節上作出各種變化。
【權利要求】
1.一種針對大量數據的優化存儲方法，其特征在于，按如下步驟進行: 51、將經過合法性校驗的數據按照一定的規則分割成小塊，將每個小塊的數據存入對應的表中； 52、對步驟SI中存儲數據的表進行判斷，如果表中的數據達到百萬量級，則將此表按照設定的時間段做為時間間隔進行數據切割，再次分割成小表存儲，每個小表中只存儲對應時間段內的數據。
2.根據權利要求1所述的一種針對大量數據的優化存儲方法，其特征在于，步驟S2中，所述設定的時間段為時間間隔由短到長的i個時間段，按照設定的時間段進行數據切割時，先選擇第i個時間段做為時間間隔進行數據切割；數據切割之后，對生成的小表進行判斷，如果還存在數據達到百萬量級的表，則選擇第i_l個時間段做為時間間隔再次對數據達到百萬量級的表進行數據切割，循環如上操作，直至無數據達到百萬量級的表存在或者設定的時間段全部使用。
3.根據權利要求2所述的一種針對大量數據的優化存儲方法，其特征在于，步驟S2中，所述設定的時間段為一天、一周和一個月，按照設定的時間段進行數據切割時，先選擇一個月做為時間間隔進行數據切割；數據切割之后，對生成的小表進行判斷，如果不存在數據達到百萬量級的表，則完成此次數據存儲；如果還存在數據達到百萬量級的表，則選擇一周時間段再次對數據達到百萬量級的表進行數據切割；數據切割之后，對生成的小表進行判斷，如果不存在數據達到百萬量級的表，則完成此次數據存儲；如果還存在數據達到百萬量級的表，則選擇一天時間段再次對數據達到百萬量級的表進行數據切割，完成此次數據存儲。
4.根據權利要求1所述的一種針對大量數據的優化存儲方法，其特征在于，如果再次分割成的小表中的數據超出設定的時間段的范圍，則進行自動的刪除。
5.根據權利要求1所述的一種針對大量數據的優化存儲方法，其特征在于，步驟S2中，將數據達到百萬量級的表進行數據切割后，對分割的數據進行判斷，如果兩個及兩個以上的數據單位合并后的表仍小于百萬量級，則先將表進行合并，然后再存入小表。
【文檔編號】G06F17/30GK103473271SQ201310363130
【公開日】2013年12月25日 申請日期:2013年8月20日 優先權日:2013年8月20日
【發明者】董營, 孟詩寂 申請人:蘇州邁科網絡安全技術股份有限公司