技術總結
本發明提供了一種基于流式計算的數據監控方法及裝置，數據監控方法包括：通過分布式發布訂閱消息系統KAFKA獲取服務被調用的日志信息；采用分布式流式處理方法Spark?streaming對日志信息進行分析處理，獲得日志明細信息和日志匯總信息；將所述日志明細信息寫入到分布式文件系統HDFS中，并將所述日志匯總信息存儲至關系型數據庫管理系統MYSQL中。本發明提供的基于流式計算的數據監控方法及裝置，有效地解決了現有技術中存在的會對MySQL數據庫造成巨大的壓力，同時也會減緩計算速度和數據的顯示速度的問題，提高了數據處理效率，同時減緩了對MySQL數據庫造成的數據壓力，進而提高了該數據監控方法應用的穩定可靠性，有利于市場的推廣與應用。

技術研發人員：李鵬;于洋;郭振強
受保護的技術使用者：北京五八信息技術有限公司
文檔號碼：201611154103
技術研發日：2016.12.14
技術公布日：2017.05.10