×

#原创分享#记一次僵尸网络导致的网络故障处理
  

神奇轱辘 51551人觉得有帮助

{{ttag.title}}
本帖最后由 神奇轱辘 于 2019-11-9 10:48 编辑

问题描述
客户这边反馈网络异常,出口防火墙设备控制台无法正常登陆,期间出现网络中断,OA业务系统异常等现象。客户拓扑如下

故障排查
远程到客户电脑进行分析,发现防火墙web控制台无法打开,telnet 443端口不通,telnet后台端口22345正常,通过pshell连接后台查看,发现防火墙负载很高,内存不足。
由于涉及后台操作,联系某公司400协助处理,通过后台收集黑匣子信息,抓包分析,发现内网有很多pc发大量的异常包,有很多【ACK】的包
这边通过ac上进行防火墙策略过滤,做了一个lan-wan的黑名单过滤,当时负载就下来了
然后登陆防火墙web控制台,发现内网有很多僵尸网络主机
期间经过进一步测试,发现防火墙还是有负载饱和现象,通过收集防火墙黑匣子信息,发现高峰时期,防火墙还有在处理应用控制日志的操作,短短几个小时,应用控制日志处理10w+条记录,目前鉴于设备性能的影响,把应用控制日志关闭,释放设备性能。
问题定位
1. 内网很多僵尸主机,会发大量异常流量,导致设备负载很高,导致网络异常。
2. 出口af设备性能不足,目前已经关闭大部分功能,但是设备还是无法正常使用。
解决措施
1.安全加固
由于当前防火墙设备是路由模式部署在出口,当设备负载高的时候,网络会卡慢,而且该设备属于高端产品,临时没办法站到合适备机,紧急调一台备机做业务分流。
将业务区域独立出口,并建立DMZ区域,连接核心作为内网区域,同时部署防火墙策略。
开启地域访问限制
开启安全防护策略
2.病毒处理
根据防火墙僵尸网络日志,将问题主机ip加入黑名单,然后进行补丁修复,病毒查杀。
经过一星期的封锁,查杀,目前网络已经恢复正常。
总结
此次网络故障表面上是因为出口防火墙性能不足,导致负载高,主要根源还是因为内网存在大量僵尸网络主机,而且处理过程中发现,客户平时缺乏运维,pc都没有打补丁,导致内网病毒横向肆意传播,杀之不绝。
后续可以找个态势感知产品让客户体验一下。
经过此次事件,可以自信跟客户讲,运维多么重要,必要的运维服务投入是值得的




打赏鼓励作者,期待更多好文!

打赏
1人已打赏

清风慕竹 发表于 2019-11-5 19:35
  
大哥,你是如何进入后台的,能否告知一下密码啊
feeling 发表于 2019-11-5 19:38
  
非常详细的分享
Sangfor_闪电回_朱丽 发表于 2019-11-11 10:59
  

11.11社区也狂欢 +11 S豆 详情>

您好,感谢您参与社区原创分享计划4,您的文章已被收录到计划中,交由专家评审小组评审,分享奖励将在活动结束后统一安排发放!分享越多,奖励越多,期待您更多的精彩分享哦!:感恩:
sangfor_闪电回_小六 发表于 2019-11-14 15:43
  
为楼主点赞,希望楼主多多分享干货!
sangfor52783 发表于 2019-11-16 17:26
  
感谢分享,非常认同楼主所说的“运维多么重要”,安全真的不是单靠上了设备就真的安全了,运维也同样重要,而且防火墙受限物理位置影响,无法对内网的每个角落都提供防护能力。所以日常的运维,结合产品在工作中提供的威胁数据,及时发现问题,及时处理并加固,也是保障安全一直持续有效的手段。
S_tone 发表于 2019-11-24 19:06
  
僵尸网络对内网正常使用和客户的带宽使用影响很大,建议大家的网络环境中都定期进行病毒查杀,以防止僵尸网络大面积蔓延进而影响网络环境,楼主的分享很详细,感谢楼主分享
阿凯 发表于 2019-11-27 09:45
  
打卡学习中。。。
TCN 发表于 2019-11-28 09:19
  
僵尸网络主机,这边是PC杀毒+僵尸网络IP入黑名单
一个无趣的人 发表于 2020-1-20 23:06
  
干货满满,感谢楼主的分享!
发表新帖
热门标签
全部标签>
西北区每日一问
技术盲盒
安全效果
【 社区to talk】
技术笔记
干货满满
每日一问
信服课堂视频
GIF动图学习
新版本体验
技术咨询
2023技术争霸赛专题
功能体验
产品连连看
安装部署配置
通用技术
秒懂零信任
技术晨报
自助服务平台操作指引
原创分享
标准化排查
排障笔记本
玩转零信任
排障那些事
SDP百科
深信服技术支持平台
POC测试案例
畅聊IT
答题自测
专家问答
技术圆桌
在线直播
MVP
网络基础知识
升级
安全攻防
上网策略
测试报告
日志审计
问题分析处理
流量管理
每日一记
运维工具
云计算知识
用户认证
解决方案
sangfor周刊
VPN 对接
项目案例
SANGFOR资讯
专家分享
技术顾问
信服故事
功能咨询
终端接入
授权
设备维护
资源访问
地址转换
虚拟机
存储
迁移
加速技术
产品预警公告
信服圈儿
S豆商城资讯
技术争霸赛
「智能机器人」
追光者计划
社区帮助指南
答题榜单公布
纪元平台
卧龙计划
华北区拉练
天逸直播
以战代练
山东区技术晨报
文档捉虫活动
齐鲁TV
华北区交付直播
每周精选
2024年技术争霸赛
北京区每日一练
场景专题
故障笔记
高手请过招
升级&主动服务
高频问题集锦
社区新周刊
全能先锋系列
云化安全能力

本版版主

1
3
10

发帖

粉丝

关注

396
142
63

发帖

粉丝

关注

5
7
7

发帖

粉丝

关注

0
1
0

发帖

粉丝

关注

本版达人

新手61940...

本周建议达人

BGP网络

本周分享达人

BGP网络

本周提问达人