【原创分享】--XX政府网站业务异常原因分析
  

清风慕竹 3047

{{ttag.title}}
本帖最后由 清风慕竹 于 2020-5-31 22:14 编辑

一、问题现象
       2020年5月18日下午16点30分至18点30分左右,XX政府发现负载CPU上升,网口流量突增,节点节点连接数上升导致节点异常。访问XX网站出现异常情况。
二、问题影响
      导致公网用户访问XX网站缓慢,甚至出现访问不通的现象。
三、问题原因排查
3.1、现场设备状态灯查看
       现场进入登录设备进行排查,经初步设备亮灯状态判断,设备物理亮灯正常,红灯闪烁的为备机,红灯不亮的为主机,设备没有物理宕机的情况,使用直连的方式登录设备控制台继续排查。
       设备里记录的应用控制策略数据处理日志,确认应用控制策略无异常,策略匹配正常,流量挂钩正常,截图如下:
       在设备日志告警中,发现在17点56分36秒时链路监视器告警,经时间对比确认为现场拔线操作导致双机的切换。
       打开CPU占用率表,发现16点15分左右,设备CPU偏高
       对比同一时间的CPU记录,发现设备CPU利用率增大
       对比查看同一时间业务口ETH1口的流量记录,RX与TX在一分钟内翻了6倍。
       查看控制台节点监视器,发现在此时间段内,【新版业务网站】节点频繁超时离线
       在此时间段内的节点状态,显示为【网络不可以】
       查看并发连接数,看到峰值时并发数量为13501个,远远超出正常业务量的并发请求数目
       此时控制台中实时网络吞吐量与设备CPU占用率。
       综上日志告警及现场情况结合分析,问题原因定位外侧对负载访问量突增导致的负载设备承载量加大,在转发分发流量时负载下侧的节点服务器同一时刻处理不了突增庞大的请求,导致节点离线,业务访问异常。

打赏鼓励作者,期待更多好文!

打赏
暂无人打赏

新手548437 发表于 2020-5-31 22:55
  
感谢分享。
Sangfor_闪电回_朱丽 发表于 2020-6-1 09:19
  
您好,感谢您参与社区原创分享计划8,您的文章已被收录到计划中,交由专家评审小组评审,文章标签在专家评审后设置,S奖励预计在一周后到账,其他奖励在活动结束后统一安排发放!发文越多,奖励越多,期待您更多的精彩文章哦!:感恩:
关于技术文章的管理流程,请参考:http://bbs.sangfor.com.cn/forum.php?mod=viewthread&tid=90279
头像被屏蔽
新手899116 发表于 2020-6-2 09:19
  
提示: 作者被禁止或删除 内容自动屏蔽
逆天而行 发表于 2020-6-2 19:28
  
建议能把问题优化或者解决方法分享下。
zzvc007 发表于 2020-6-3 16:31
  
比较详细,能问下楼主用的这款是什么设备?
黄波 发表于 2020-6-8 11:38
  
感谢分享
徐英俊ya 发表于 2020-6-11 20:02
  
学习到了,以后遇到这种场景也有思路了
新手589624 发表于 2020-11-12 08:45
  
打卡学习
新手589624 发表于 2020-12-31 13:42
  
感谢分享
发表新帖
热门标签
全部标签>
西北区每日一问
安全效果
高手请过招
【 社区to talk】
每日一问
产品连连看
标准化排查
干货满满
新版本体验
纪元平台
社区新周刊
GIF动图学习
自助服务平台操作指引
技术咨询
功能体验
解决方案
社区帮助指南
秒懂零信任
每周精选
S豆商城资讯
技术盲盒
信服课堂视频
畅聊IT
答题自测
专家问答
技术笔记
技术圆桌
在线直播
MVP
网络基础知识
安装部署配置
升级
安全攻防
上网策略
测试报告
日志审计
问题分析处理
流量管理
每日一记
运维工具
云计算知识
用户认证
原创分享
sangfor周刊
VPN 对接
项目案例
SANGFOR资讯
专家分享
技术顾问
信服故事
SDP百科
功能咨询
终端接入
授权
设备维护
资源访问
地址转换
虚拟机
存储
迁移
加速技术
排障笔记本
产品预警公告
玩转零信任
信服圈儿
技术争霸赛
「智能机器人」
追光者计划
深信服技术支持平台
答题榜单公布
2023技术争霸赛专题
通用技术
卧龙计划
华北区拉练
天逸直播
以战代练
技术晨报
山东区技术晨报
文档捉虫活动
齐鲁TV
华北区交付直播
2024年技术争霸赛
北京区每日一练
场景专题
故障笔记
排障那些事
升级&主动服务
高频问题集锦
POC测试案例
全能先锋系列
云化安全能力

本版达人

新手61940...

本周建议达人

zhao_HN

本周分享达人

ZSFKF

本周提问达人