【每日一记8】+第6天+k8s使用EFK实现日志采集存储展示
  

简单思考 1643

{{ttag.title}}
k8s集群上会跑各种各样的系统和应用程序的pod,而为了快速发现问题和更好的做日志监控,就必须要做日志的采集和集中存储展示了。综合考虑之下,我们推荐使用EFK技术栈来实现这个目的。

k8s日志采集架构选型1,每台节点采用DaemonSet部署agent:
原理:每台节点采用DaemonSet部署一个采集日志的agent,从/var/log/containers/目录采集所有容器的日志,而容器中的日志需要遵循docker的日志规范,把日志打入stdout/stderr,这样k8s会自动在/var/log/containers/目录生成对应容器的日志。
优点:部署维护简单,且能收集所有容器的日志
缺点:需要应用程序日志支持stdout/stderr输出,如果每个节点的日志规模过多,单个采集日志的agent可能成为瓶颈,不太灵活
2,pod的SideCar方式:
原理:每个pod通过SideCar方式部署一个采集日志的agent
优点:每个pod可单独配置agent,灵活性高
缺点:每个pod都需要一个SideCar比较麻烦
3,应用程序直接推送日志到日志存储:
原理:部署在pod的应用程序支持把日志直接推送到日志存储程序
优点:不用维护日志采集程序,运维简单
缺点:需要应用程序定制开发,开发成本大
总结:
建议采用1+2的方案就行日志采集,1能适应大部分场景,如果特殊应用程序不支持日志stdout/stderr的输出,采用2进行采集。

k8s日志采集软件选型确定了整体采集架构,就需要确定通过哪个软件实现了。通常我们使用的有如下四种,我们进行大致的对比,选择适合我们的软件。
1,logstash
大名鼎鼎ELK开源架构中的一员,优点是支持复杂日志的解析功能非常强大,缺点是性能相对比较差
2,filebeat
类似于logstash,属于轻量级的日志采集开源软件,采用go语言编写,性能比logstash好。
3,fluent
Treasure Data资助的有数据采集,处理,聚合功能的开源工具,是CNCF的项目,采用c和ruby开发,插件众多,性能好,是k8s官方推荐的容器日志采集软件。
4,fluentbit
Treasure Data资助的有数据采集,处理功能的开源工具,是CNCF的项目,采用c语言开发,相对fluent功能较少,插件较少。这个软件诞生的初衷就是为了开发一款轻量级和性能更好的日志采集工具。 fluentbit性能和其它3款对比最好,更适合于资源受限情况下的日志采集,且完美支持k8s。

打赏鼓励作者,期待更多好文!

打赏
暂无人打赏

小鱼儿 发表于 2024-2-24 18:58
  
谢谢分享,有助于工作。
蔺嘉宾 发表于 2024-2-24 19:01
  
谢谢分享,有助于工作。
朱墩2 发表于 2024-2-24 19:03
  
谢谢分享,有助于工作。
唐三平 发表于 2024-2-24 19:05
  
谢谢分享,有助于工作。
鲤鲤 发表于 2024-2-24 19:11
  
谢谢分享,有助于工作。
小小胖 发表于 2024-2-24 19:12
  
谢谢分享,有助于工作。
梦境人生 发表于 2024-2-24 19:14
  
谢谢分享,有助于工作。
小德 发表于 2024-2-24 19:18
  
谢谢分享,有助于工作。
飞飞侠 发表于 2024-2-24 19:20
  
谢谢分享,有助于工作。
发表新帖
热门标签
全部标签>
每日一问
2024年技术争霸赛
干货满满
技术盲盒
技术笔记
GIF动图学习
技术咨询
产品连连看
新版本体验
功能体验
标准化排查
信服圈儿
信服课堂视频
2023技术争霸赛专题
自助服务平台操作指引
深信服技术支持平台
答题自测
通用技术
秒懂零信任
畅聊IT
安装部署配置
安全攻防
上网策略
SDP百科
每周精选
专家问答
技术圆桌
在线直播
网络基础知识
社区帮助指南
纪元平台
技术晨报
场景专题
MVP
升级
测试报告
日志审计
问题分析处理
流量管理
每日一记
运维工具
云计算知识
用户认证
原创分享
解决方案
sangfor周刊
VPN 对接
项目案例
SANGFOR资讯
专家分享
技术顾问
信服故事
功能咨询
终端接入
授权
设备维护
资源访问
地址转换
虚拟机
存储
迁移
加速技术
排障笔记本
产品预警公告
玩转零信任
S豆商城资讯
技术争霸赛
「智能机器人」
追光者计划
答题榜单公布
卧龙计划
华北区拉练
天逸直播
以战代练
山东区技术晨报
文档捉虫活动
齐鲁TV
华北区交付直播
北京区每日一练
故障笔记

本版达人

adds

本周建议达人

无极剑圣

本周分享达人

新手25642...

本周提问达人