一種資源監控方法及系統的制作方法
【專利摘要】本發明公開了一種資源監控方法及系統，包括收集云計算平臺中各個節點產生的日志數據；匹配收集到的日志數據和預先設置的異常事件策略，如果匹配成功，則產生異常事件；監聽異常事件并進行告警。本發明方法利用了被監控系統中已有的日志框架，不需要在系統中植入新的執行代碼，因此，不會增加被監控應用系統的開發工作量，降低了監控的復雜度，且減小了對系統的運行性能的影響，也避免了監控過程中的輪詢。同時，由于云計算平臺及大型應用系統的日志數據量巨大，因此，本發明方法具有充分的數據來源，并且由于日志數據包含的信息豐富，使得本發明方法適用于包括云計算平臺在內的各種大型應用系統。
【專利說明】一種資源監控方法及系統

【技術領域】
[0001] 本發明涉及云計算技術，尤指一種基于云計算平臺的資源監控方法及系統。

【背景技術】
[0002] 計算機運行時，需要對資源的運行狀況進行實時監控，比如CPU使用率、內存使用 率等。現有監控中，需要在系統中植入代碼，這樣必然影響系統的性能。特別是在云計算平 臺中，涉及的應用、資源眾多，部署環境要求高，往往涉及集群，系統運行情況復雜，如果不 能對云計算平臺進行準確、有效的監控，則難以對云計算平臺的實際運行情況進行掌控及 調度。
[0003] 監控在云計算系統中扮演著重要的角色。通過監控能夠及時發現云計算平臺在運 營過程中的資源使用情況，從而及時發現異常情況。
[0004] 云計算平臺監控的一般原理是，在各個分散的云計算節點上運行守護進程，該守 護進程用于收集本云計算節點上的監控信息并發送到匯聚節點，匯聚節點對收集到的監控 信息進行分析與存儲并將分析結果以可視化或告警等方式通知給用戶。對于云計算平臺監 控系統來說，關鍵是各個云計算節點的守護進程與收集的監控信息的處理方式。
[0005] 當前，比較流行的監控系統有 Ganglia，InteMon，ClusterProbe，HP OpenView，IBM Tivoli 等。其中，Ganglia，InteMon，ClusterProbe 是開源軟件，HP OpenView，IBM Tivoli 是商用軟件。
[0006] 其中，ClusterProbe是現有常用的監控系統。ClusterProbe是由香港大學設計與 開發的一款開放環境的集群監控工具。ClusterProbe的設計初衷在于開發高靈活性與擴展 性的大規模集群監控系統。ClusterProbe主要包括監控服務器、監控代理節點和節點代理 三部分，即代理（agent) +服務器（server)的方式。其中，監控服務器，用于接收用戶的請 求以及將用戶感興趣的監控結果反饋給用戶，監控服務器通過交互適配器和網絡上其它節 點交互信息，該適配器能夠支持多種網絡交互協議；監控代理節點用于管理該節點及其下 屬所有子節點，這些子節點包括不同類型的資源類型，并組成監控域；節點代理，以守護進 程的方式運行在云平臺中的每個節點上，用于從監控代理節點接收命令或者根據自身的設 置進行本地監控信息的收集，節點代理與監控代理節點通過Java遠程方法調用（RMI)進行 通信。
[0007] ClusterProbe的最大優點就是提出了開放式節點守護進程的概念，并且通過Java RMI實現功能的增減。這樣，使得各個節點上的守護進程更加輕量級，也降低了監控系統對 集群本身造成的壓力。但是，ClusterProbe也存在一些不足之處，比如：系統使用Java RMI 來實現遠程方法調用，實現較復雜，當監控代理節點過多時，容易造成系統結構復雜，存在 出現問題不易排查的缺陷。
[0008] 根據上面的分析可知，現有監控系統通用的架構是代理+服務器的方式。其中， Agent用于收集監控資源的狀態信息，server利用這些狀態信息。Agent與server之間采 用，在拉模式中，發起者是server，它采用輪詢的方式從agent "拉"信息。拉模式實現相對 簡單，但會消耗較多的資源，實時性也較差。因此，拉模式適用于周期性詢問的場景，但是， 如果輪詢周期較長，會降低資源的消耗，但可能丟失狀態信息；如果輪詢周期較短，則對系 統性能影響較大。
[0009] 現有監控系統往往需要安裝agent來收集數據，并將數據傳輸到server上，以實 現監控。這種監控方式會降低被監控系統性能，且監控數據容量越大，效率越低；同時，由于 各個被監控系統使用的數據格式不統一，導致agent植入代碼困難，而且由于需要創建監 控節點，增大了系統的使用復雜度。


【發明內容】

[0010] 為了解決上述技術問題，本發明提供了一種資源監控方法及系統，無需在系統中 植入代碼，能夠降低監控的復雜度，且減少對系統運行性能的影響。
[0011] 為了達到本發明目的，本發明提供了一種資源監控方法，包括：收集云計算平臺中 各個節點產生的日志數據；
[0012] 匹配收集到的日志數據和預先設置的異常事件策略，如果匹配成功，則產生異常 事件；
[0013] 監聽異常事件并進行告警。
[0014] 所述收集云計算平臺中各個節點產生的日志數據包括：將日志系統產生的日志數 據推送至監控容器。
[0015] 所述匹配收集到的日志數據和預先設置的異常事件策略庫之前，該方法還包括： 對所述對收集到的日志數據進行過濾。
[0016] 所述匹配采用Java中的Java事件處理機制實現。
[0017] 利用所述Java中的事件處理機制中包括的監聽功能實現所述監聽異常事件并進 行告警。
[0018] 本發明還提供了一種資源監控系統，至少包括日志適配器、日志數據生成器、一個 或一個以上監控容器，以及事件監聽器；其中，
[0019] 日志適配器，用于存儲日志數據與推送目標之間的對應關系；
[0020] 日志數據生成器，用于根據日志適配器的對應關系，將來自云計算平臺各個節點 的應用系統產生的日志數據推送到相應的監控容器；
[0021] 監控容器，用于匹配收集到的日志數據和預先設置的異常事件策略，如果匹配成 功，則產生異常事件；
[0022] 事件監聽器，用于按照預先設置的事件監聽類型，監聽異常事件并根據監聽的結 果進行告警。
[0023] 所述監控容器，還用于按照預先設置的過濾策略過濾所述日志數據生成器推送的 日志數據。
[0024] 所述事件監聽器為兩個或兩個以上，每個事件監聽器用于監聽一種具體類型的事 件。
[0025] 該系統還包括：應用日志配置器，用于設置日志配置文件，開啟或關閉對資源的監 控。
[0026] 與現有技術相比，本發明包括收集云計算平臺中各個節點產生的日志數據；匹配 收集到的日志數據和預先設置的異常事件策略，如果匹配成功，則產生異常事件；監聽異常 事件并進行告警。本發明方法利用了被監控系統中已有的日志框架，不需要在系統中植入 新的執行代碼，因此，不會增加被監控應用系統的開發工作量，降低了監控的復雜度，且減 小了對系統的運行性能的影響，也避免了監控過程中的輪詢。同時，由于云計算平臺及大型 應用系統的日志數據量巨大，因此，本發明方法具有充分的數據來源，并且由于日志數據包 含的信息豐富，使得本發明方法適用于包括云計算平臺在內的各種大型應用系統。
[0027] 本發明的其它特征和優點將在隨后的說明書中闡述，并且，部分地從說明書中變 得顯而易見，或者通過實施本發明而了解。本發明的目的和其他優點可通過在說明書、權利 要求書以及附圖中所特別指出的結構來實現和獲得。

【專利附圖】

【附圖說明】
[0028] 附圖用來提供對本發明技術方案的進一步理解，并且構成說明書的一部分，與本 申請的實施例一起用于解釋本發明的技術方案，并不構成對本發明技術方案的限制。
[0029] 圖1為本發明資源監控方法的流程圖；
[0030] 圖2為本發明資源監控系統的組成結構示意圖。

【具體實施方式】
[0031] 為使本發明的目的、技術方案和優點更加清楚明白，下文中將結合附圖對本發明 的實施例進行詳細說明。需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中 的特征可以相互任意組合。
[0032] 在附圖的流程圖示出的步驟可以在諸如一組計算機可執行指令的計算機系統中 執行。并且，雖然在流程圖中示出了邏輯順序，但是在某些情況下，可以以不同于此處的順 序執行所示出或描述的步驟。
[0033] 圖1為本發明資源監控方法的流程圖，如圖1所示，包括以下步驟：
[0034] 步驟100 :收集云計算平臺中各個節點產生的日志數據。
[0035] 本步驟中，首先，日志數據的產生采用現有的日志系統完成；之后再將現有日志系 統輸出的日志推送至監控容器。
[0036] 本步驟中，采用推數據的方式，利用被監控系統中已有的日志框架，不需要在系統 中植入新的執行代碼，通過增加日志適配器，基于現有的日志系統本身已有的日志輸出功 能，將數據推送到監控容器。因此，不會增加被監控應用系統的開發工作量，降低了監控的 復雜度，且減小了對系統的運行性能的影響。也避免了監控過程中的輪詢。同時，由于云計 算平臺及大型應用系統的日志數據量巨大，因此，使得對系統資源的監控具有了充分的數 據來源。
[0037] 步驟101 :匹配收集到的日志數據和預先設置的異常事件策略，如果匹配成功，則 廣生異常事件。
[0038] 本步驟中，異常事件策略可以根據實際需要設置，比如：某臺服務器在一段時間內 曰志數為〇,認為是一個異常事件等等。本發明并不對異常事件策略進行限定，其是本領域 技術人員根據實際需要而設置的，也不用于限定本發明的保護范圍。
[0039] 本步驟之前還包括：對收集到的日志數據進行過濾，比如可以過濾某個指定的被 監控系統中已有的日志框架的模塊產生的日志數據，比如，當該模塊產生的日志數據量特 別大時，可能是存在大量的無用數據，可以通過過濾掉這個模塊的日志數據，來進一步提高 系統的性能。
[0040] 本步驟中，如何匹配可以采用Java中的Java事件處理機制，這樣保證了監控的實 時性，其中Java事件處理機制屬于本領域技術人員的慣用技術手段，這里不再贅述。
[0041] 步驟102 :監聽異常事件并進行告警。本步驟具體包括：監控到異常情況后發送告 警通知，比如發送郵件通知等，這里是利用在Java中的事件處理機制中包括的監聽功能實 現對異常事件的監聽，具體實現并不在本發明的保護范圍內，這里不再贅述。
[0042] 本發明方法利用了被監控系統中已有的日志框架，不需要在系統中植入新的執行 代碼，因此，不會增加被監控應用系統的開發工作量，降低了監控的復雜度，且減小了對系 統的運行性能的影響，也避免了監控過程中的輪詢。同時，由于云計算平臺及大型應用系統 的日志數據量巨大，因此，本發明方法具有充分的數據來源，并且由于日志數據包含的信息 豐富，使得本發明方法適用于包括云計算平臺在內的各種大型應用系統。
[0043] 進一步地，本發明方法中，通過日志配置文件，實現了隨時開啟或關閉對資源的監 控，方便了資源監控的方便使用。比如在日志配置文件中，設置monitor = 1，表示開啟資源 監控；monitor = 0,則表示關閉資源監控等。
[0044] 圖2為本發明資源監控系統的組成結構示意圖，如圖2所示，至少包括日志適配 器、日志數據生成器、一個或一個以上監控容器，以及事件監聽器；其中，
[0045] 日志適配器，用于存儲日志數據與推送目標之間的對應關系，即表明了將日志數 據輸出到哪個輸出介質即日志數據推送目標。
[0046]日志數據生成器，用于根據日志適配器的對應關系，將來自云計算平臺各個節點 的應用系統產生的日志數據推送到相應的監控容器。
[0047] 監控容器，用于匹配收集到的日志數據和預先設置的異常事件策略，如果匹配成 功，則產生異常事件；
[0048] 監控容器，還用于按照預先設置的過濾策略過濾日志數據生成器推送的日志數 據。
[0049] 事件監聽器，用于按照預先設置的事件監聽類型，如事件監聽器的注冊和注銷等， 監聽異常事件并根據監聽的結果進行告警。如果系統中存在多個事件監聽器，每個事件監 聽器負責監聽一種具體類型的事件。
[0050] 本發明系統還包括：應用日志配置器，用于設置日志配置文件，開啟或關閉對資源 的監控，比如在日志配置文件中，設置monitor = 1，表示啟動日志數據生成器；monitor = 0,則表示關閉日志數據生成器。
[0051] 雖然本發明所揭露的實施方式如上，但所述的內容僅為便于理解本發明而采用的 實施方式，并非用以限定本發明。任何本發明所屬領域內的技術人員，在不脫離本發明所揭 露的精神和范圍的前提下，可以在實施的形式及細節上進行任何的修改與變化，但本發明 的專利保護范圍，仍須以所附的權利要求書所界定的范圍為準。
【權利要求】
1. 一種資源監控方法，其特征在于，包括：收集云計算平臺中各個節點產生的日志數 據； 匹配收集到的日志數據和預先設置的異常事件策略，如果匹配成功，則產生異常事 件； 監聽異常事件并進行告警。
2. 根據權利要求1所述的資源監控方法，其特征在于，所述收集云計算平臺中各個節 點產生的日志數據包括：將日志系統產生的日志數據推送至監控容器。
3. 根據權利要求2所述的資源監控方法，其特征在于，所述匹配收集到的日志數據和 預先設置的異常事件策略庫之前，該方法還包括：對所述對收集到的日志數據進行過濾。
4. 根據權利要求1、2或3所述的資源監控方法，其特征在于，所述匹配采用Java中的 Java事件處理機制實現。
5. 根據權利要求4所述的資源監控方法，其特征在于，利用所述Java中的事件處理機 制中包括的監聽功能實現所述監聽異常事件并進行告警。
6. -種資源監控系統，其特征在于，至少包括日志適配器、日志數據生成器、一個或一 個以上監控容器，以及事件監聽器；其中， 日志適配器，用于存儲日志數據與推送目標之間的對應關系； 日志數據生成器，用于根據日志適配器的對應關系，將來自云計算平臺各個節點的應 用系統產生的日志數據推送到相應的監控容器； 監控容器，用于匹配收集到的日志數據和預先設置的異常事件策略，如果匹配成功，則 廣生異常事件； 事件監聽器，用于按照預先設置的事件監聽類型，監聽異常事件并根據監聽的結果進 行告警。
7. 根據權利要求6所述的資源監控系統，其特征在于，所述監控容器，還用于按照預先 設置的過濾策略過濾所述日志數據生成器推送的日志數據。
8. 根據權利要求6或7所述的資源監控系統，其特征在于，所述事件監聽器為兩個或兩 個以上，每個事件監聽器用于監聽一種具體類型的事件。
9. 根據權利要求8所述的資源監控系統，其特征在于，該系統還包括：應用日志配置 器，用于設置日志配置文件，開啟或關閉對資源的監控。
【文檔編號】H04L12/24GK104092575SQ201410367633
【公開日】2014年10月8日 申請日期:2014年7月29日 優先權日:2014年7月29日
【發明者】王少鋒, 張云勇, 劉明輝 申請人:中國聯合網絡通信集團有限公司