【大数据】基于ELK+Kafka的智慧运维大数据分析平台研究与实现
- 管理员
-
44 次阅读
-
0 次下载
-
2020-11-11 12:19:35
文档简介:
基于ELK+Kafka的智慧运维大数据分析平台研究与实现2020-09-17摘要:摘要:基于ELK在智慧运维大数据分析平台实现海量数据分析,对ELK的部署结构进行优化,并在日志采集和日志处理中间增加Kafka消息处理队列,减轻Logstash压力,增加集群高可用性。通过Logstash的Filter插件利用正则表达式实现日志数据拆分,将拆分后的字段在Elasticsearch中存储,最终利用Kibana对日志数据进行搜索、绘图和展示。使用基于ELK的智慧运维大数据平台解决了运维过程中日志采集、日志处理、日志可视化问题,同时在数据处理上实现了接近1s的延迟搜索。关键词:关键词:ELK,Kafka,日志分析,大数据,流式数据00引言引言让运维更智能、更高效是运维的首要需求,智慧运维是运维发展的必然趋势。对数据中心海量运行数据进行分析,从数据中找规律、找价值是智慧运维的核心。智慧运维的基础是海量日志数据分析,日志分析是日常运维、故障排错、性能分析的重要途径。数据中心每天产生的日志数据越来越多,日志处理工作量越来越大,处理方法越来越复杂,对实时性的要求越来越高[1-4]。针对传统日志分析方法
评论
发表评论