您好,欢迎访问长三角智库平台

上传文档

当前位置:首页 > 长三角智库 > 新基建 > 大数据中心

【大数据】基于ELK+Kafka的智慧运维大数据分析平台研究与实现

  • 管理员
  • 44 次阅读
  • 0 次下载
  • 2020-11-11 12:19:35

还剩... 页未读,继续阅读

免费阅读已结束,点击付费阅读剩下 ...

¥ 1 元,已有44人购买

付费阅读

阅读已结束,您可以下载文档离线阅读

¥ 1 元,已有0人下载

付费下载
文档简介:

基于ELK+Kafka的智慧运维大数据分析平台研究与实现2020-09-17摘要:摘要:基于ELK在智慧运维大数据分析平台实现海量数据分析,对ELK的部署结构进行优化,并在日志采集和日志处理中间增加Kafka消息处理队列,减轻Logstash压力,增加集群高可用性。通过Logstash的Filter插件利用正则表达式实现日志数据拆分,将拆分后的字段在Elasticsearch中存储,最终利用Kibana对日志数据进行搜索、绘图和展示。使用基于ELK的智慧运维大数据平台解决了运维过程中日志采集、日志处理、日志可视化问题,同时在数据处理上实现了接近1s的延迟搜索。关键词:关键词:ELK,Kafka,日志分析,大数据,流式数据00引言引言让运维更智能、更高效是运维的首要需求,智慧运维是运维发展的必然趋势。对数据中心海量运行数据进行分析,从数据中找规律、找价值是智慧运维的核心。智慧运维的基础是海量日志数据分析,日志分析是日常运维、故障排错、性能分析的重要途径。数据中心每天产生的日志数据越来越多,日志处理工作量越来越大,处理方法越来越复杂,对实时性的要求越来越高[1-4]。针对传统日志分析方法

管理员
管理员
  • 60287

    文档
  • 22.4

    金币
Ta的主页 发私信

60287篇文档

评论

发表评论
< /13 > 付费下载 ¥ 1 元
Copyright © 长三角智库平台 All Rights Reserved. 沪ICP备20011950号-1
×
保存成功