【AD】时间戳导致虚拟服务业务异常
  

chenx 23112人觉得有帮助

{{ttag.title}}
一.问题描述:
客户反馈AD虚拟服务业务系统无法访问,节点池状态异常

二.处理过程:
1、远程查看发现业务系统对应的节点池状态有不停故障的情况。 端口是正常的,能到输入密码的界面;


2、进入设备后台随机挑选一个故障节点10.202.7.9,抓包发现tcp连接建立异常,设备发起syn以后,后端服务器没有应答;


3、沟通了解到AD负载设备到服务器中间是二层的,排除网络问题,且服务器上应用状态是正常的。怀疑可能是时间戳问题导致;

4、AD网口上增加浮动ip地址,扩大业务访问的源地址范围,业务状态没有明显改善。

5、协调客户在业务服务器上执行netstat -s |grep reject,结果如下,确实有由于时间戳拒绝tcp连接的情况。


6、开始是打算让业务服务器上关闭时间戳的校验功能,但是后面客户反馈应用那边要求开启。最终建议在AD上调整四层虚拟服务的tcp策略,时间戳动作为抹除。作用是如果客户端的请求携带时间戳,在AD设备snat后往服务器转发的时候抹除掉时间戳的参数。


调整以后观察测试业务访问恢复正常

三.根因
应用服务器上开启了校验时间戳的策略,tcp_tw_recycle/tcp_timestamps都开启的条件下,同一源ip主机的socket connect请求中的timestamp必须是递增的。服务器收到的请求校验时间戳的时候如果发现这个值没有大于前一个请求的值,就会拒绝掉这个syn请求,表现为服务器不应答syn请求。 服务器开启了时间戳,业务访问在snat的环境下,此类问题比较容易出现

四.解决方案
服务器上不开启时间戳校验,或者确保服务器收到的请求都不带时间戳,当前贵单位是通过AD的tcp优化策略抹除客户端的时间戳参数解决。

五.建议
AD配置虚拟服务时,询问客户业务服务器是否同时开启了tcp_tw_recycle/tcp_timestamps,如果同时开启,建议客户关闭tcp_timestamps,如客户由于业务原因不能关闭,可在AD的TCP优化策略里抹除时间戳。


打赏鼓励作者,期待更多好文!

打赏
30人已打赏

思贤 发表于 2023-9-7 09:41
  
感谢分享                                
一个无趣的人 发表于 2023-9-7 10:46
  
楼主的文章图文并茂,清晰易懂,看完这波操作可以轻松上手了,如遇到问题再向楼主请教~
wshellym 发表于 2023-9-7 11:29
  
楼主的文章图文并茂,清晰易懂
糖果星球 发表于 2023-9-7 12:21
  
楼主的文章图文并茂,清晰易懂
乀糖果 发表于 2023-9-7 12:23
  
楼主的文章图文并茂,清晰易懂
技术小白 发表于 2023-9-7 12:57
  
楼主的文章图文并茂,清晰易懂,看完这波操作可以轻松上手了,如遇到问题再向楼主请教~
技术小白 发表于 2023-9-7 12:58
  
楼主的文章图文并茂,清晰易懂,看完这波操作可以轻松上手了,如遇到问题再向楼主请教~
小鱼儿 发表于 2023-9-7 13:02
  
感谢分享,大佬思路清晰
唐三平 发表于 2023-9-7 13:02
  
感谢分享,大佬思路清晰
发表新帖
热门标签
全部标签>
每日一问
技术盲盒
技术笔记
干货满满
技术咨询
功能体验
新版本体验
产品连连看
GIF动图学习
标准化排查
自助服务平台操作指引
运维工具
2023技术争霸赛专题
通用技术
秒懂零信任
技术晨报
信服课堂视频
用户认证
安装部署配置
深信服技术支持平台
安全攻防
SDP百科
设备维护
社区帮助指南
答题自测
每日一记
玩转零信任
畅聊IT
专家问答
技术圆桌
在线直播
MVP
网络基础知识
升级
上网策略
测试报告
日志审计
问题分析处理
流量管理
云计算知识
原创分享
解决方案
sangfor周刊
VPN 对接
项目案例
SANGFOR资讯
专家分享
技术顾问
信服故事
功能咨询
终端接入
授权
资源访问
地址转换
虚拟机
存储
迁移
加速技术
排障笔记本
产品预警公告
信服圈儿
S豆商城资讯
技术争霸赛
「智能机器人」
追光者计划
答题榜单公布
纪元平台
卧龙计划
华北区拉练
天逸直播
以战代练
山东区技术晨报
文档捉虫活动
齐鲁TV
华北区交付直播
每周精选

本版达人

新手61940...

本周建议达人

zhao_HN

本周分享达人

ZSFKF

本周提问达人