#原创分享#一次客户业务故障的分析和排查方法
  

新手025315 11222人觉得有帮助

{{ttag.title}}
      1月4号晚上,客户绿盟WAF下架,下架后,检查客户网络各层设备流量、内存、报错信息等都正常。

     第二天早上客户反馈一个client业务无法访问,我收到消息后第一时间打电话给业务部门运维人员,得知昨晚十点下架绿盟WAF后业务最前面的nginx反代即开始没有任何业务流量。

于是从公网最外层的AD负载开始重新梳理该业务的数据流量走向:
客户端访问域名,域名解析到115.x.x.x,最外层的某公司负载上接收到流量后经过某公司出口防火墙再转给瑞数系统(一个数据包防篡改的系统,反向代理模式部署),最后由瑞数系统转给真实业务服务器。

重新检查了经过的各设备健康状态,无异常信息,防火墙上查看业务无攻击、无拦截、无封禁。

将访问不了的IP在出口防火墙上加白后可以访问,随即进一步缩小测试范围发现出口防火墙针对该业务的的解密功能关闭即可访问。

联系研发得知系防火墙不支持低版本不安全的加密算法所致。

于是设置该业务在防火墙上不做解密,在不同网络环境下测试可以访问了。但业务部门反馈还是不行。

因此进一步分析:
一方面在防火墙和瑞数上分别查看是否有四层的TCP访问日志,发现瑞数上能看到七层的数据包明文,怀疑瑞数bypass也会对业务流量解密再加密,联系瑞数证实了确实只要https流量经过瑞数就会解密再加密。
另一方面,发现只要经过瑞数的https业务,都访问不了,http则可以访问。在防火墙和不能访问的客户端上同时抓包分析,发现SSL握手时报“ Encrypted Handshake MessageError”,

基本确认是客户端和瑞数SSL密钥协商有问题,瑞数和用户的老版本浏览器在密钥交换协商过程中,老版本浏览器使用的低版本算法,瑞数不支持低版本算法导致SSL密钥协商失败。

因此联系瑞数负责人,瑞数反馈在瑞数上针对该业务增加RC4-SHA的支持,增加后发现所有浏览器都可以打开了。此时客户还是反馈业务访问失败。

于是将访问失败的详细报错信息给瑞数分析,瑞数反馈瑞数设备SSL通信的密钥长度是2048位,要增加1024位的支持即可,因此按照瑞数指导,登录瑞数服务器后台修改业务配置文件,但银行端测试依然调用失败。

于是放弃瑞数配置调整的方案,采用第二种测试方案:出口负载节点池绕过瑞数,直接指向业务服务器。出口防火墙和业务服务器iptables均放通公网IP该业务服务器的访问。

负载上将节点池切到业务服务器后,业务部门各人员即刻反馈调用接口调通了。后续待我们的AF打上解密补丁,以及通知瑞数公司人员详细排查和解决他们设备针对SSL算法的问题。

打赏鼓励作者,期待更多好文!

打赏
2人已打赏

Sangfor2419 发表于 2021-1-15 08:49
  
感谢楼主分享,楼主的排查思路比较清晰,建议后续遇到一些配置类的问题优先提供一下配置截图或者配置路径等(前提是不泄露客户业务数据等敏感信息),这样可以方便大家后续在遇到此类问题时可以直接参考学习,期待楼主有更加精彩的分享~
TCN 发表于 2021-1-11 20:10
  
非常感谢排障分享,如果图文并茂,分下段落就更棒了
zhao_HN 发表于 2021-1-11 20:11
  
学习下排障,原来是设备对接时的密钥问题
沧海 发表于 2021-1-11 20:35
  
非常感谢排障分享,学习下
Sangfor_闪电回_朱丽 发表于 2021-1-13 11:47
  
您好,您的文章已被收录到原创分享计划并放到技术博客中,以便让更多的小伙伴们关注和学习,文章将交由专家评审小组评审,S奖励预计在一周后到账,其他奖励在活动结束后统一安排发放!
发文越多,奖励越多,期待您更多的精彩文章哦!:感恩:
点击查看本季原创内容要求及奖励规则:http://bbs.sangfor.com.cn/forum.php?mod=viewthread&tid=134423

PS:文章内容越完整,评级越高,奖励也就越高,建议楼主补充下环境拓扑、问题截图等
JM 发表于 2021-1-13 21:33
  
感谢楼主分享,图文并茂
策马路 发表于 2021-1-16 19:40
  
感谢楼主图文并茂的分享
烤肉 发表于 2021-1-20 09:39
  
感谢楼主分享,看来以后对接有问题,可以看看密钥问题,学习了
Rex_yang 发表于 2021-1-20 10:25
  
感谢分享
发表新帖
热门标签
全部标签>
每日一问
技术盲盒
每周精选
技术笔记
干货满满
技术咨询
信服课堂视频
产品连连看
新版本体验
标准化排查
安装部署配置
自助服务平台操作指引
秒懂零信任
功能体验
GIF动图学习
2023技术争霸赛专题
通用技术
社区帮助指南
技术晨报
安全攻防
每日一记
玩转零信任
天逸直播
华北区交付直播
深信服技术支持平台
畅聊IT
答题自测
专家问答
技术圆桌
在线直播
MVP
网络基础知识
升级
上网策略
测试报告
日志审计
问题分析处理
流量管理
运维工具
云计算知识
用户认证
原创分享
解决方案
sangfor周刊
VPN 对接
项目案例
SANGFOR资讯
专家分享
技术顾问
信服故事
SDP百科
功能咨询
终端接入
授权
设备维护
资源访问
地址转换
虚拟机
存储
迁移
加速技术
排障笔记本
产品预警公告
信服圈儿
S豆商城资讯
技术争霸赛
「智能机器人」
追光者计划
答题榜单公布
纪元平台
卧龙计划
华北区拉练
以战代练
山东区技术晨报
文档捉虫活动
齐鲁TV

本版版主

396
135
63

发帖

粉丝

关注

本版达人

新手61940...

本周建议达人

BGP网络

本周分享达人

BGP网络

本周提问达人