因在线用户数超过设备上限导致的部分用户断网事件
  

新手951387 114812人觉得有帮助

{{ttag.title}}
一、问题反馈
用户管理员反馈近期多次在上午九点左右部分内网终端无法上网,但到了九点五十左右该部分终端网络自动恢复正常的情况(故障终端没有任何规律)。
二、网络结构
核心以下的汇聚和接入交换机省略,该用户宿舍和办公走的同一套网络
三、问题分析与排查
1、在初次收到问题反馈时,由于网络已经恢复,只能根据客户的问题描述进行设备配置检查
考虑到反馈中有时间参数,并且网络会自动恢复,于是先检查所有带时间参数的策略
核心上未发现有ACL配置
上网行为管理上未发现有这个时间点的时间对象
防火墙上也未发现这个时间点的对象
检查AC和AF上的内网DOS攻击防护,发现也并未开启(之前有遇到过因为启用内网Dos攻击防护导致部分终端上不了网的情况)
检测了AF和AC的策略,也没有发现异常,于是告知客户在现象出现时第一时间通知我们,同时在故障主机做去往DNS的路由追踪
2、第二次收到客户反馈也正是在九点一十左右,通过故障主机tracert,发现到防火墙不通(防火墙未隐藏路由追踪),于是pingAC的地址,发现到AC是通的,在AC上面启用定向直通,发现故障终端上网恢复正常,定位到是AC拦截了,进行用户故障排查,报错显示认证失败。emo了,内网不需要认证也能认证失败?把问题反馈给400
400检查了在线用户管理,发现在线用户数达到了1000人(此图为故障前的截图)
告知该设备能允许的最大在线用户只有1000人,超过1000的终端都无法通过认证。思考临时解决办法,由于不需要认证终端无法强制注销,于是将宿舍的认证策略改成密码认证,然后改回不需要认证,原有在线用户就自动清除掉了,新的终端成功通过认证,网络恢复。
四、总结
该问题是近期发生的,分析得出,是由于近期疫情影响和世界杯的举办,导致客户公司留宿人员增多,终端数量上升。但客户公司员工在400人左右,按照每人两台终端也不应该会超过1000,根据九点五十网络会自动恢复,客户八点半上班,推测大量用户在七点五十左右离开宿舍吃早餐并前往办公楼,此时AC上面会存在该用户手机端在宿舍和办公楼同时存在两个不同IP的用户,AC上面无流量自动注销的策略时间是两个小时,在九点五十左右宿舍楼这部分IP自动注销,网络恢复正常。
临时解决方案:缩短无流量用户自动注销时间、强制每天清除在线用户
长期解决方案:
1.将宿舍网络和办公网络分离,两边各用单独的AC进行上网管控
2.更换高性能AC

打赏鼓励作者,期待更多好文!

打赏
37人已打赏

向上吧,少年 发表于 2023-2-12 11:51
  
每日一学,坚持打卡。
zjwshenxian 发表于 2023-2-12 10:00
  
我在社区摸爬滚打这么多年,所谓阅人无数,就算没有见过猪走路,也总明白猪肉是啥味道的。一看到楼主的气势,我就觉得楼主同在社区里灌水的那帮小混子有着本质的差别,你一定就是传说中的最强技术牛。
嘀嘀柠柠 发表于 2023-2-11 09:15
  
感谢分享案例分析!!学习了!!
策c 发表于 2023-2-3 09:45
  
楼主分享的案例很实用,具有典型性,希望有更多这样的干货供我们学习参考,非常感谢!
头像被屏蔽
JM 发表于 2023-1-31 12:02
  
提示: 作者被禁止或删除 内容自动屏蔽
头像被屏蔽
司马缸砸了光 发表于 2023-1-31 11:20
  
提示: 作者被禁止或删除 内容自动屏蔽
德德 发表于 2023-1-9 22:03
  
感谢楼主分享,学习一下
小鲤鱼 发表于 2023-1-9 21:59
  
感谢楼主分享,学习一下
焱燚 发表于 2023-1-9 21:54
  
感谢楼主分享,学习一下
发表新帖
热门标签
全部标签>
技术盲盒
西北区每日一问
安全效果
每日一问
干货满满
新版本体验
【 社区to talk】
技术笔记
功能体验
技术咨询
产品连连看
标准化排查
GIF动图学习
2023技术争霸赛专题
每周精选
信服课堂视频
通用技术
自助服务平台操作指引
秒懂零信任
技术晨报
安装部署配置
答题自测
原创分享
升级&主动服务
社区新周刊
POC测试案例
畅聊IT
专家问答
技术圆桌
在线直播
MVP
网络基础知识
升级
安全攻防
上网策略
测试报告
日志审计
问题分析处理
流量管理
每日一记
运维工具
云计算知识
用户认证
解决方案
sangfor周刊
VPN 对接
项目案例
SANGFOR资讯
专家分享
技术顾问
信服故事
SDP百科
功能咨询
终端接入
授权
设备维护
资源访问
地址转换
虚拟机
存储
迁移
加速技术
排障笔记本
产品预警公告
玩转零信任
信服圈儿
S豆商城资讯
技术争霸赛
「智能机器人」
追光者计划
深信服技术支持平台
社区帮助指南
答题榜单公布
纪元平台
卧龙计划
华北区拉练
天逸直播
以战代练
山东区技术晨报
文档捉虫活动
齐鲁TV
华北区交付直播
2024年技术争霸赛
北京区每日一练
场景专题
故障笔记
排障那些事
高手请过招
高频问题集锦
全能先锋系列
云化安全能力

本版版主

147
113
49

发帖

粉丝

关注

121
315
352

发帖

粉丝

关注

7
20
6

发帖

粉丝

关注

5
7
7

发帖

粉丝

关注

本版达人

新手89785...

本周建议达人

七嘴八舌bar

本周分享达人

新手76619...

本周提问达人