因在线用户数超过设备上限导致的部分用户断网事件
  

新手951387 114192人觉得有帮助

{{ttag.title}}
一、问题反馈
用户管理员反馈近期多次在上午九点左右部分内网终端无法上网,但到了九点五十左右该部分终端网络自动恢复正常的情况(故障终端没有任何规律)。
二、网络结构
核心以下的汇聚和接入交换机省略,该用户宿舍和办公走的同一套网络
三、问题分析与排查
1、在初次收到问题反馈时,由于网络已经恢复,只能根据客户的问题描述进行设备配置检查
考虑到反馈中有时间参数,并且网络会自动恢复,于是先检查所有带时间参数的策略
核心上未发现有ACL配置
上网行为管理上未发现有这个时间点的时间对象
防火墙上也未发现这个时间点的对象
检查AC和AF上的内网DOS攻击防护,发现也并未开启(之前有遇到过因为启用内网Dos攻击防护导致部分终端上不了网的情况)
检测了AF和AC的策略,也没有发现异常,于是告知客户在现象出现时第一时间通知我们,同时在故障主机做去往DNS的路由追踪
2、第二次收到客户反馈也正是在九点一十左右,通过故障主机tracert,发现到防火墙不通(防火墙未隐藏路由追踪),于是pingAC的地址,发现到AC是通的,在AC上面启用定向直通,发现故障终端上网恢复正常,定位到是AC拦截了,进行用户故障排查,报错显示认证失败。emo了,内网不需要认证也能认证失败?把问题反馈给400
400检查了在线用户管理,发现在线用户数达到了1000人(此图为故障前的截图)
告知该设备能允许的最大在线用户只有1000人,超过1000的终端都无法通过认证。思考临时解决办法,由于不需要认证终端无法强制注销,于是将宿舍的认证策略改成密码认证,然后改回不需要认证,原有在线用户就自动清除掉了,新的终端成功通过认证,网络恢复。
四、总结
该问题是近期发生的,分析得出,是由于近期疫情影响和世界杯的举办,导致客户公司留宿人员增多,终端数量上升。但客户公司员工在400人左右,按照每人两台终端也不应该会超过1000,根据九点五十网络会自动恢复,客户八点半上班,推测大量用户在七点五十左右离开宿舍吃早餐并前往办公楼,此时AC上面会存在该用户手机端在宿舍和办公楼同时存在两个不同IP的用户,AC上面无流量自动注销的策略时间是两个小时,在九点五十左右宿舍楼这部分IP自动注销,网络恢复正常。
临时解决方案:缩短无流量用户自动注销时间、强制每天清除在线用户
长期解决方案:
1.将宿舍网络和办公网络分离,两边各用单独的AC进行上网管控
2.更换高性能AC

打赏鼓励作者,期待更多好文!

打赏
37人已打赏

平凡的小网工 发表于 2022-12-8 10:31
  
我在社区摸爬滚打这么多年,所谓阅人无数,就算没有见过猪走路,也总明白猪肉是啥味道的。一看到楼主的气势,我就觉得楼主同在社区里灌水的那帮小混子有着本质的差别,你一定就是传说中的最强技术牛。
Mr程 发表于 2022-12-8 12:24
  
大佬牛逼啊,排障思路很详细
奔走的公牛 发表于 2022-12-8 13:44
  
感谢楼主分享,学习一下
她丶ta 发表于 2022-12-8 14:42
  
感谢楼主分享,学习一下
新手081074 发表于 2022-12-8 14:44
  
感谢楼主分享,学习一下
木棉 发表于 2022-12-8 14:45
  
感谢楼主分享,学习一下
絔痕 发表于 2022-12-8 14:48
  
感谢楼主分享,学习一下
新手741261 发表于 2022-12-8 15:28
  

感谢楼主分享,学习一下
发表新帖
热门标签
全部标签>
西北区每日一问
技术盲盒
安全效果
技术笔记
【 社区to talk】
干货满满
每日一问
新版本体验
产品连连看
GIF动图学习
技术咨询
2023技术争霸赛专题
安装部署配置
功能体验
通用技术
秒懂零信任
技术晨报
自助服务平台操作指引
原创分享
标准化排查
排障笔记本
玩转零信任
每周精选
深信服技术支持平台
POC测试案例
信服课堂视频
畅聊IT
答题自测
专家问答
技术圆桌
在线直播
MVP
网络基础知识
升级
安全攻防
上网策略
测试报告
日志审计
问题分析处理
流量管理
每日一记
运维工具
云计算知识
用户认证
解决方案
sangfor周刊
VPN 对接
项目案例
SANGFOR资讯
专家分享
技术顾问
信服故事
SDP百科
功能咨询
终端接入
授权
设备维护
资源访问
地址转换
虚拟机
存储
迁移
加速技术
产品预警公告
信服圈儿
S豆商城资讯
技术争霸赛
「智能机器人」
追光者计划
社区帮助指南
答题榜单公布
纪元平台
卧龙计划
华北区拉练
天逸直播
以战代练
山东区技术晨报
文档捉虫活动
齐鲁TV
华北区交付直播
2024年技术争霸赛
北京区每日一练
场景专题
故障笔记
排障那些事
高手请过招
升级&主动服务
高频问题集锦
社区新周刊
全能先锋系列
云化安全能力

本版版主

147
113
49

发帖

粉丝

关注

121
315
351

发帖

粉丝

关注

7
20
6

发帖

粉丝

关注

5
7
7

发帖

粉丝

关注

本版达人

新手89785...

本周建议达人

七嘴八舌bar

本周分享达人

新手76619...

本周提问达人