本發明涉及大數據處理技術領域，尤其涉及一種日志數據可視化分析系統及方法。

背景技術：

隨著互聯網行業的迅猛發展，尤其是移動端應用的異軍突起，新一輪的數據爆炸時代的大門已經開啟，各類在線應用相互間的競爭日趨白熱化，如何在保證信息安全的前提下對海量用戶訪問日志數據進行深入挖掘、分析從而提高用戶體驗，已經成為業界亟待解決的難題。

應用服務日志由于數據量巨大，傳統人工查看原始記錄的方法已經無法滿足業務需求，針對該類問題已有學者做了相關研究并取得了一定成果。一方面，系統級日志能夠反應服務器的運行狀況，另一方面，應用級日志更是為業務提供了發展規劃的重要指標。然而，目前未見有將日志收集分析及展示的實用性整體方案。

Hadoop是Apache軟件基金會發起并開發維護的一個能夠對海量數據進行分布式處理和計算的軟件框架，其以一種可靠、高效、可伸縮的方式進行數據跨平臺處理，相比傳統的數據處理平臺，具備高可靠性、高擴展性、高效性、高容錯性與低成本等優點，使得其已經成為處理大量日志數據的首選。

Saltstack是一種和以往不同的基礎設施管理方法，它能夠大幅提升大規模系統的高速通訊能力。Saltstack的拓撲結構為簡單的server/client，其具備優良的可伸縮性。Saltstack的核心是一個遠程執行引擎，它能夠為多組系統創建高速、安全的雙向通訊網絡。基于這個通訊系統，Saltstack提供了一個快速、靈活并且容易使用的配置管理方法，稱之為Salt States，其可以用于管理與處理分布式系統中不同程序的安裝、運行，即：若干用于提供應用的服務器都在后臺運行一個Salt-Minion進程，另外還有一臺服務器運行Salt-Master進程，其主要作用是向各應用服務器的Salt-Minion進程發送命令以實現生產環境中各項應用服務配置的變更與維護。

技術實現要素：

為了解決現有技術存在的不足，本發明的目的在于提供一種日志數據可視化分析系統及方法，基于Saltstack架構、Hadoop數據處理以及可視化呈現的低延遲、分布式應用服務日志分析。

為實現上述目的，本發明提供的日志數據可視化分析系統，包括，統一運維平臺、線上服務器、日志集中服務器、hadoop集群，以及統一展示平臺，其中，

所述統一運維平臺，其將各所述線上服務器配置為Minion服務器，并對各所述Minion服務器的服務狀態進行檢測和配置變更；

所述線上服務器，其根據所述統一運維平臺的請求，將原始日志數據定時同步到所述日志集中服務器中；

所述日志集中服務器，其暫時儲存壓縮文本形式的原始日志數據；

hadoop集群，其對根據業務的特征制定相應的數據抽取、轉換、載入與分析方案，將結構化的日志數據生成數據指標；

統一展示平臺，將數據指標以界面形式進行監測。

進一步地，所述統一運維平臺進一步包括，Salt-Master服務器、運維圖形用戶界面及中間層，其中，

所述Salt-Master服務器，其將所述線上服務器配置為Minion服務器，并對其服務狀態進行檢測和配置變更；

所述運維圖形用戶界面，其以界面形式為運維人員提供系統監測；

所述中間層作為所述運維圖形用戶界面與所述Salt-Master服務器之間交換數據的通道。

進一步地，所述Salt-Master服務器向所述Minion服務器發送定時日志提取請求，將原始日志數據定時同步到日志集中服務器中。

更進一步地，所述統一展示平臺進一步包括，結果數據庫、訪客圖形用戶界面及數據訪問層，其中，

所述結果數據庫，其用于存儲日志數據指標；

所述訪客圖形用戶界面，其以界面形式為訪客提供實時分布式系統監測；

所述數據訪問層作為所述訪客圖形用戶界面與所述結果數據庫之間交換數據的通道。

為實現上述目的，本發明提供的日志數據可視化分析方法，包括以下步驟：

1）對配置為Minion服務器的線上服務器的服務狀態進行檢測和配置變更，并將原始日志數據定時同步到日志集中服務器中；

2）根據業務的特征對日志制定相應的數據抽取、轉換、載入與分析方案；

3）對結構化的有效數據進行計算生成數據指標；

4）將數據指標以界面形式進行監測。

進一步地，所述步驟1），是統一運維平臺的Salt-Master服務器將所述線上服務器配置為Minion服務器，并對其進行檢測和配置變更。

進一步地，所述步驟2），是由hadoop集群根據業務的特征對日志制定相應的數據抽取、轉換、載入與分析方案。

進一步地，所述步驟3）是由hadoop集群對結構化的有效數據進行計算生成數據指標。

進一步地，在所述步驟3）之前，還包括以下步驟：對日志數據進行抓取、轉換、裝載實現有效數據的結構化。

更進一步地，在所述步驟4）之前，還包括以下步驟：將數據指標上傳到統一展示平臺的結果數據庫中。

本發明的日志數據可視化分析系統及方法，其優點主要體現在以下方面：

首先，Saltstack可以快捷地部署在任意規模的服務器集群中，根據其后臺所運行的不同服務及其特性進行并行、差異化的配置管理，同時通過Salt-Master服務器實現異地線上日志統一收集、存儲的功能，通過運維自動化技術提升了工作效率。

其次，Hadoop平臺充分發揮了機器集群的優勢，每一臺Hadoop集群中的節點（DataNode）服務器只需要實施日志ETL與分析過程，就可以通過同步并行計算的方式，隨著業務種類與訪問量的增長，可以對集群添加服務器，實現成百上千臺服務器的集群管理，具備高度可伸縮性，同時也有利于實現動態成本控制，從而提升資金利用效能。

本發明的其它特征和優點將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實施本發明而了解。

附圖說明

附圖用來提供對本發明的進一步理解，并且構成說明書的一部分，并與本發明的實施例一起，用于解釋本發明，并不構成對本發明的限制。在附圖中：

圖1為根據本發明的日志數據可視化分析系統架構圖；

圖2為根據本發明的日志數據可視化分析方法流程圖。

具體實施方式

以下結合附圖對本發明的優選實施例進行說明，應當理解，此處所描述的優選實施例僅用于說明和解釋本發明，并不用于限定本發明。

發明的日志數據可視化分析系統，其工作原理為：利用Saltstack分布式系統對大規模線上應用服務器的配置與日志進行管理，通過對日志的抽取、轉換與裝載，依托Hadoop平臺實現對日志文件的大數據分析，最后通過WEB GUI進行可視化呈現并為運維人員的操作提供相應參考依據。

圖1為根據本發明的日志數據可視化分析系統架構圖，如圖1所示，本發明的日志數據可視化分析系統，包括，統一運維平臺10、線上服務器20、日志集中服務器30、hadoop集群40，以及統一展示平臺50，其中，

統一運維平臺10，包括Salt-Master服務器11、運維圖形用戶界面12及中間層13，其中，Salt-Master服務器將各線上服務器20配置為Minion服務器，Salt-Master服務器對各Minion服務器的各項服務狀態進行檢測并發送指令對其進行配置變更與定時日志提取請求，各類原始日志數據會定時同步到日志集中服務器30中以壓縮文本形式暫時儲存（如bzip）；運維圖形用戶界面12，其以圖表形式為運維人員提供實時分布式系統監測；中間層13作為運維圖形用戶界面12與Salt-Master服務器11之間交換數據的通道。

線上服務器20，其接收并執行Salt-Master服務器的配置、變更指令，并接收Salt-Master的定時日志提取請求，將各類原始日志數據定時同步到日志集中服務器30中。

日志集中服務器30，其接收Salt-Master服務器的指令，將來自線上服務器20的各類原始日志數據以壓縮文本形式暫時儲存。

hadoop集群40，對來源于線上業務需求，根據各業務的特征對日志進行分析，制定相應的數據抓取、轉換、裝載與分析方案，實現各Minion服務器應用服務日志的Extract（抓取）、Transform（轉換）與Load（裝載）；在前期日志分析方案的基礎上，通過抓取、轉換、裝載一系列過程，最終實現有效數據的結構化；對結構化的日志數據查重檢驗后將其按照本地數據倉庫的一定規范進行導入并定期計算生成各項數據指標上傳到統一展示平臺50的結果數據庫中。

其中抓取環節的關鍵點在于數據獲取的完整性與精準性，即所獲取的數據必須盡可能全面并且不含臟數據；而在數據轉換過程中，數據清洗與格式化必不可少，該過程會涉及一系列的規則或函數、不同數據源的編碼格式、合并及排序等中間流程；最后，將前期經過處理并結構化的數據按照數據倉庫的一定規范進行導入，該過程中可能會涉及數據查重等檢驗步驟。

本發明的hadoop集群40，利用Hadoop大數據平臺具備高可靠性、高擴展性、高效性、高容錯性與低成本等優點，特別適用于大量的日志分析，能有效突破單一硬件性能瓶頸。

統一展示平臺50，其包括結果數據庫51、訪客圖形用戶界面52及數據訪問層53，其中，結果數據庫51用于存儲來自hadoop集群40計算生成的各項數據指標；訪客圖形用戶界面52，從結果數據庫51中提取相應的指標并以直觀、友好的WEB GUI界面與精美的圖表為運維乃至運營人員提供實時分布式系統監測；數據訪問層53作為訪客圖形用戶界面52與結果數據庫51之間交換數據的通道。

圖2為根據本發明的日志數據可視化分析方法流程圖，下面將參考圖2，對本發明的日志數據可視化分析方法進行詳細描述。

首先，在步驟201，Salt-Master服務器將各線上服務器20配置為Minion服務器，Salt-Master服務器對各Minion服務器的各項服務狀態進行檢測并發送指令對其進行配置變更。

在步驟202，Salt-Master服務器向各Minion服務器的發送定時日志提取請求，將原始日志數據定時同步到日志集中服務器30中以壓縮文本形式暫時儲存。

在步驟203，hadoop集群40根據各業務的特征對日志進行分析，制定設計相應的數據抽取、轉換、載入與分析方案；

在步驟204，hadoop集群40通過對日志數據的抓取、轉換、裝載，實現日志有效數據的結構化，經查重檢驗后將其按照本地數據倉庫的一定規范進行導入并定期計算生成各項數據指標上傳到統一展示平臺50的結果數據庫51中。

在步驟205，統一展示平臺50定期從結果數據庫51中提取相應的指標并以直觀、友好的WEB GUI界面與精美的圖表為運維乃至運營人員提供實時分布式系統監測。

本發明的日志數據可視化分析系統與方法，基于saltstack分布式日志收集、hadoop大數據ETL與分析，通過直觀、友好的WEB GUI界面與精美的圖表為運維、開發乃至運營人員提供實時分布式系統運行監測，實現Devops戰略布局，提升企業內部跨部門協作水平。

本領域普通技術人員可以理解：以上所述僅為本發明的優選實施例而已，并不用于限制本發明，盡管參照前述實施例對本發明進行了詳細的說明，對于本領域的技術人員來說，其依然可以對前述各實施例記載的技術方案進行修改，或者對其中部分技術特征進行等同替換。凡在本發明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發明的保護范圍之內。