【AD】时间戳导致虚拟服务业务异常
  

chenx 82232人觉得有帮助

{{ttag.title}}
一.问题描述:
客户反馈AD虚拟服务业务系统无法访问,节点池状态异常

二.处理过程:
1、远程查看发现业务系统对应的节点池状态有不停故障的情况。 端口是正常的,能到输入密码的界面;


2、进入设备后台随机挑选一个故障节点10.202.7.9,抓包发现tcp连接建立异常,设备发起syn以后,后端服务器没有应答;


3、沟通了解到AD负载设备到服务器中间是二层的,排除网络问题,且服务器上应用状态是正常的。怀疑可能是时间戳问题导致;

4、AD网口上增加浮动ip地址,扩大业务访问的源地址范围,业务状态没有明显改善。

5、协调客户在业务服务器上执行netstat -s |grep reject,结果如下,确实有由于时间戳拒绝tcp连接的情况。


6、开始是打算让业务服务器上关闭时间戳的校验功能,但是后面客户反馈应用那边要求开启。最终建议在AD上调整四层虚拟服务的tcp策略,时间戳动作为抹除。作用是如果客户端的请求携带时间戳,在AD设备snat后往服务器转发的时候抹除掉时间戳的参数。


调整以后观察测试业务访问恢复正常

三.根因
应用服务器上开启了校验时间戳的策略,tcp_tw_recycle/tcp_timestamps都开启的条件下,同一源ip主机的socket connect请求中的timestamp必须是递增的。服务器收到的请求校验时间戳的时候如果发现这个值没有大于前一个请求的值,就会拒绝掉这个syn请求,表现为服务器不应答syn请求。 服务器开启了时间戳,业务访问在snat的环境下,此类问题比较容易出现

四.解决方案
服务器上不开启时间戳校验,或者确保服务器收到的请求都不带时间戳,当前贵单位是通过AD的tcp优化策略抹除客户端的时间戳参数解决。

五.建议
AD配置虚拟服务时,询问客户业务服务器是否同时开启了tcp_tw_recycle/tcp_timestamps,如果同时开启,建议客户关闭tcp_timestamps,如客户由于业务原因不能关闭,可在AD的TCP优化策略里抹除时间戳。


打赏鼓励作者,期待更多好文!

打赏
30人已打赏

思贤 发表于 2023-9-7 09:41
  
感谢分享                                
一个无趣的人 发表于 2023-9-7 10:46
  
楼主的文章图文并茂,清晰易懂,看完这波操作可以轻松上手了,如遇到问题再向楼主请教~
wshellym 发表于 2023-9-7 11:29
  
楼主的文章图文并茂,清晰易懂
糖果星球 发表于 2023-9-7 12:21
  
楼主的文章图文并茂,清晰易懂
乀糖果 发表于 2023-9-7 12:23
  
楼主的文章图文并茂,清晰易懂
技术小白 发表于 2023-9-7 12:57
  
楼主的文章图文并茂,清晰易懂,看完这波操作可以轻松上手了,如遇到问题再向楼主请教~
技术小白 发表于 2023-9-7 12:58
  
楼主的文章图文并茂,清晰易懂,看完这波操作可以轻松上手了,如遇到问题再向楼主请教~
小鱼儿 发表于 2023-9-7 13:02
  
感谢分享,大佬思路清晰
唐三平 发表于 2023-9-7 13:02
  
感谢分享,大佬思路清晰
发表新帖
热门标签
全部标签>
技术盲盒
西北区每日一问
【 社区to talk】
每日一问
干货满满
技术笔记
新版本体验
标准化排查
技术咨询
GIF动图学习
信服课堂视频
安装部署配置
每周精选
产品连连看
2023技术争霸赛专题
功能体验
测试报告
高手请过招
POC测试案例
社区帮助指南
自助服务平台操作指引
社区新周刊
运维工具
VPN 对接
授权
排障笔记本
玩转零信任
通用技术
秒懂零信任
技术晨报
2024年技术争霸赛
畅聊IT
答题自测
资源访问
地址转换
信服圈儿
故障笔记
全能先锋系列
专家问答
技术圆桌
在线直播
MVP
网络基础知识
升级
安全攻防
上网策略
日志审计
问题分析处理
流量管理
每日一记
云计算知识
用户认证
原创分享
解决方案
sangfor周刊
项目案例
SANGFOR资讯
专家分享
技术顾问
信服故事
SDP百科
功能咨询
终端接入
设备维护
虚拟机
存储
迁移
加速技术
产品预警公告
S豆商城资讯
技术争霸赛
「智能机器人」
追光者计划
深信服技术支持平台
答题榜单公布
纪元平台
卧龙计划
华北区拉练
天逸直播
以战代练
山东区技术晨报
文档捉虫活动
齐鲁TV
华北区交付直播
北京区每日一练
场景专题
排障那些事
升级&主动服务
高频问题集锦

本版达人

新手61940...

本周建议达人

zhao_HN

本周分享达人

ZSFKF

本周提问达人