【原创分享挑战】EDR异常重启导致所有终端接入异常
  

陈铭煌 1203915人觉得有帮助

{{ttag.title}}
本帖最后由 陈铭煌 于 2023-2-24 09:39 编辑

【事件背景】:接到客户反馈,EDR上所有终端显示离线,导致无法下发策略,需要排查原因
跟客户沟通后发现,起因为周末有过一次异常断电,通电后发现该问题
客户的EDR平台为运行在服务器上的一台虚拟机
6492363f80de667ce4.png
【处理过程】
1、首先确认终端到EDR平台的TCP443、8083 、 54120端口是否可通,发现终端与EDR平台无法通讯,初步判断为网络问题导致。
2、使用 agent_check.rar 脚本一键检测ipc_proxy和eps_agent等进程是否正常运行,或者进程管理器查看ipc_proxy和eps_agent进程是否正常运行。进程运行正常。

3113963f80df1dc61d.png
3、排除IP冲突导致,通过核心交换机查询ARP,与平台实际MAC地址一致
4662263f80e608f848.png
861763f80e6a5afcb.png
4、进入搭载EDR平台的物理服务器,发现可以登录EDR控制台,既同网段是可以通讯的,查看Web控制台的网卡信息,路由信息,没有发现异常,默认路由也存在。考虑有可能路由失效,准备将默认路由删除后重新添加,发现无法添加,也无报错提示。
5、进入后台,通过ip route get +IP,确认设备路由走向,发现下一跳为10.251.251.251默认ip
6631863f80e97a88f6.png
6、查看网卡配置信息,发现eth1口业务地址的网关没有了,eth0口出现了10.251.251.251的网关。
5930563f80ec8db4eb.png
7、通过vim编辑器,修改eth1口网卡信息,新增网关信息,将eth0口的网关去掉。
2848463f80ee367a40.png
8、通过systemctl restart network重启下网络服务后,平台IP正常,查看终端上线情况,已经逐步开始上线
4752663f8154cef333.png
【总结】
1、EDR服务端异常重启,可能会导致网卡信息异常导致出现网络问题。
2、异常重启后,可能出现Web界面的路由信息显示正常,实际上路由信息已经失效。

打赏鼓励作者,期待更多好文!

打赏
119人已打赏

Sangfor43876 发表于 2023-3-4 13:59
  
感谢楼主分享!文章详细介绍了agent终端突然从MGR上离线的排查及解决方案,此类情况可能是因为之前的路由配置是在后台使用命令添加的,没有保存到文件中或者是突然断电导致文件异常,建议此类重要服务器要准备UPS稳定电源,以免出现突然断电导致业务异常,期待楼主带来更多有价值的分享~
新手534600 发表于 2023-2-24 09:49
  

感谢楼主分享,努力学习中!!!!
覃雲 发表于 2023-2-24 09:50
  
感谢楼主分享,非常详细,学习收藏了!
LHzz 发表于 2023-2-24 14:18
  
楼主分析的很详细,不错的实战经验,小白用户一看就懂,非常好的技术干货帖,顶一个!
宋智仲 发表于 2023-2-24 14:23
  
楼主,是你让我深深地理解了‘人外有人,天外有天’这句话。谢谢你!在看完这帖子以后,我没有立即回复,因为我生怕我庸俗不堪的回复会玷污了这社区少有的帖子。但是我还是回复了,因为觉得如果不能在如此精彩的帖子后面留下自己的网名,那我会遗憾终生的!
花开荼靡_ 发表于 2023-2-24 14:27
  

感谢楼主分享,非常详细,学习收藏了!
新手1018 发表于 2023-2-24 14:50
  
感谢楼主分享,努力学习中!!!!
原鹏程 发表于 2023-2-24 15:11
  
感谢楼主分享,努力学习中!!!
王志锋 发表于 2023-2-24 15:12
  
我在社区摸爬滚打这么多年,所谓阅人无数,就算没有见过猪走路,也总明白猪肉是啥味道的。一看到楼主的气势,我就觉得楼主同在社区里灌水的那帮小混子有着本质的差别,你一定就是传说中的最强技术牛。
981105 发表于 2023-2-24 16:53
  
发表新帖
热门标签
全部标签>
每日一问
2024年技术争霸赛
干货满满
技术笔记
技术盲盒
GIF动图学习
新版本体验
产品连连看
通用技术
信服课堂视频
2023技术争霸赛专题
秒懂零信任
安全攻防
标准化排查
答题自测
功能体验
自助服务平台操作指引
技术咨询
网络基础知识
问题分析处理
运维工具
玩转零信任
华北区交付直播
每周精选
畅聊IT
专家问答
技术圆桌
在线直播
MVP
安装部署配置
升级
上网策略
测试报告
日志审计
流量管理
每日一记
云计算知识
用户认证
原创分享
解决方案
sangfor周刊
VPN 对接
项目案例
SANGFOR资讯
专家分享
技术顾问
信服故事
SDP百科
功能咨询
终端接入
授权
设备维护
资源访问
地址转换
虚拟机
存储
迁移
加速技术
排障笔记本
产品预警公告
信服圈儿
S豆商城资讯
技术争霸赛
「智能机器人」
追光者计划
深信服技术支持平台
社区帮助指南
答题榜单公布
纪元平台
卧龙计划
华北区拉练
天逸直播
以战代练
技术晨报
山东区技术晨报
文档捉虫活动
齐鲁TV
北京区每日一练

本版版主

217
278
151

发帖

粉丝

关注

本版达人

新手61940...

本周建议达人

二进制网络

本周分享达人