解决了一个客户不定时网络卡的怪异问题
  

破晓残阳 3232

{{ttag.title}}
简单说一下客户环境,客户ac部署路由模式,上联思科路由器作为互联网出口。
客户那边之前偶尔会出现上网卡的情况,刚开始怀疑是内网有人在下载带宽,占用大流量资源。登录ac查看是有人在进行下载操作,于是建议客户做流控观察情况。做完流控后果然客户没再反映卡,以为事情就这样结束了。


万万没想到。。。还没出一周客户又反映网络卡,登录到ac设备上一看什么都正常= =通过公网地址登录ac也不觉得慢,远程登录到出口路由器查看cpu、内存、接口流量也都正常。远程客户电脑操作也不会卡,但是在电脑上打开网页有时会刷半天。在电脑上ping dns地址延迟均正常,没发现丢包。此时已经是晚上,客户那边应该也没什么人在用网络,应该是跟使用人数、设备性能什么的都没什么关系了,那么问题有可能在电脑上,莫非是电脑中毒然后交叉感染了?大晚上快12点了,赶紧给电脑杀毒、修复lps看看。捣鼓了半天重启电脑,再远程接入,打开浏览器,还是老样子,经常网页会刷不出来。真是活见鬼了。抱着死马当活马医的想法,用网管必杀技——重启!!远程重启思科路由器,重启完成后再远程进来测试,发现网页居然都很快刷出来了。莫非必杀技真的奏效?为了验证是否真的问题解决了,不停刷网页刷了5分钟,都没出现过网页卡刷不出来的情况,于是心安理得地去睡觉了。第二天傍晚再去回访客户,客户反映网络正常。看来今天也是世界和平的一天。但是还是没有想到,一周后客户又反映网络卡。。。。这会儿真的快绝望了。没办法,第二天去客户现场看看情况(估计还是看不出个所以然)



到客户现场查看,还是跟之前一样网页经常会刷不出来,但是ping dns和ping域名都不会延迟丢包。ac上流量也正常,开了直通进行排查也没有排查出什么,思科路由器上cpu、内存等都正常,查看日志也没看出什么异常的东西。但是出于上次处理问题的方式考虑,问题很有可能在思科路由器上。这时随行的同事提出一个想法:莫非是在线会话数太多影响了设备性能?登录ac查看此时会话有6000条左右,但是设备状态是正常的,登录到思科路由器查看nat会话数有17000+!!!!!似乎发现了什么不得了的东西。在百度上查找关于思科nat会话数的相关问题,结果一个名词映入眼帘——tcp老化。按照网上说的思科路由器默认tcp老化时间是24小时,根据参数将老化时间调整到几分钟,过了一段时间观察,nat会话数慢慢降低了下来,网络也不再卡,观察了一段时间再也没有出现网络卡的问题,看来这次终于彻底解决了!!!


tcp老化是什么?
百度的结果,简单来说,客户端与服务器进行tcp会话。正常若是tcp会话结束,两边会断开tcp,设备会接收到关闭连接的报文,从而删除nat会话。但是若是客户端直接关闭,可能造成设备没有接收到关闭连接的报文,nat会话只能等到老化后才能删除。客户环境中用户数量较多,并且思科路由器默认tcp老化时间太久,设备中存在大量无用nat会话,影响新的nat转换处理。因此在大量用户用同一个互联网出口做nat上网的环境下,建议配置tcp老化时间优化网络。就是不知道深信服的设备是否也会出现这种情况?
内网PC访问外部网络时每个连接都会建立1个NAT会话表项,记录这个连接的状态信息,如源地址 源端口 目的地址 目的端口等信息,用来进行回复报文的NAT转换处理。根据不同的应用,每次内网PC发起的连接数都不一样,如:打开1个网页会建立10~50个TCP连接,下载和网络游戏会建立上百个连接,当这些连接的NAT会话表项建立后,如果因为异常原因,如:应用程序异常关闭,PC重启,导致网关设备没有收到关闭连接的报文,NAT会话表项只能等老化时间过后才能被删除,因此网关设备上会存在部分无用的NAT表项。 是在企业和网吧应用环境中,这些无用的NAT表项会非常多,如果不能及时的老化删除,会严重占用系统资源,影响系统转发效率。

打赏鼓励作者,期待更多好文!

打赏
2人已打赏

Sangfor_闪电回_朱丽 发表于 2017-8-30 09:37
  
TCP老化,这还是第一次听说,又涨知识了,感谢楼主的分享!
倪倪倪红亮 发表于 2017-9-16 19:39
  
说到老化 我想到了arp老化这个东西,原先帮客户配一个cisco的路由器,直接配上公网地址(上海松江电信),结果配上去过了5分钟就断网了,查了半天没查出来,换成h3c的也是5分钟就断网ping不通网关,倒是接上飞塔和ros没问题,打电话给10000,10000说其他路由器能用肯定是你路由器的问题,后来还是问到了当时安装线路的师傅说好像有个arp timeout值要设置下,他们电信的上联设备设的是10分钟,cisco默认的5分钟好像,改了这个参数就再也没断过网:666:
新手180966 发表于 2017-10-9 00:03
  
这个问题,跟我现在的一个客户公司的网络好像,也是查了很多种方法,终于看到了这个帖子 ,完美解决 ~~~~
feeling 发表于 2017-10-9 08:39
  
楼主很牛,这都被你发现了:奸笑:
雨点滴答滴 发表于 2017-10-9 09:54
  
这个我也知道,但是没想到还会影响网速!!!
kkk 发表于 2022-1-19 21:30
  
我们的AD设备有这个东西吗?
沧海一杯水 发表于 2022-1-20 00:53
  
坚持学习,坚持打卡。。。。。。。。。
向上吧,少年 发表于 2022-1-20 07:05
  
每日一学,坚持打卡。
发表新帖
热门标签
全部标签>
每日一问
技术盲盒
技术笔记
每周精选
干货满满
技术咨询
信服课堂视频
标准化排查
产品连连看
新版本体验
自助服务平台操作指引
安装部署配置
秒懂零信任
功能体验
GIF动图学习
玩转零信任
2023技术争霸赛专题
通用技术
技术晨报
社区帮助指南
安全攻防
每日一记
深信服技术支持平台
天逸直播
华北区交付直播
畅聊IT
答题自测
专家问答
技术圆桌
在线直播
MVP
网络基础知识
升级
上网策略
测试报告
日志审计
问题分析处理
流量管理
运维工具
云计算知识
用户认证
原创分享
解决方案
sangfor周刊
VPN 对接
项目案例
SANGFOR资讯
专家分享
技术顾问
信服故事
SDP百科
功能咨询
终端接入
授权
设备维护
资源访问
地址转换
虚拟机
存储
迁移
加速技术
排障笔记本
产品预警公告
信服圈儿
S豆商城资讯
技术争霸赛
「智能机器人」
追光者计划
答题榜单公布
纪元平台
卧龙计划
华北区拉练
以战代练
山东区技术晨报
文档捉虫活动
齐鲁TV

本版版主

12
185
6

发帖

粉丝

关注

本版达人

LoveTec...

本周分享达人

新手24116...

本周提问达人