#原创分享#一次故障排查记录(最后知道真相的我眼泪掉下来)
  

静态路由 3300

{{ttag.title}}
没有拓扑都是耍流氓,先上组网图。


某公司:外联区为合作单位的网络,通过专线接入到我们系统,并且中间流量为ipsec加密封装。由于特殊原因,外联区合作单位某网络需要用到我们的互联网出口,全网跑的都是我的ID(静态路由)。所以业务流流向为,外联区通过ipsecvpn到内网防火墙,然后通过核心交换机,最后通过互联区出口防火墙AF接入互联网。

这套系统集团分公司自己维护,他们排查一阵没有发现原因,于是请求我方支援。昨天接到这个消息的时候,我还在社区Q群里聊得正嗨呢。

开始干活:
      客户这边访问很明确,外联区的172.16.X.X访问公网103.X.X.X的443端口,现在客户那边直接telnet端口不通。首先我想到的是先查配置,但是分公司的IT说配置肯定没问题。配置没问题那怎么会不通呢?那这样吧,我先不看配置,抓包看下吧。
      我分别在三个地方抓包了,外联区路由器,核心交换区核心交换机的下联口,以及上联口。
      抓包的时候,让客户从172.16.X.X访问公网103.X.X.X,分析数据走向。
外联区路由器抓包如下:
收到SYN了,说明已经收到外联区客户的发包了,但是没有回复SYN,ACK,继续往下抓包。

核心交换区下联口抓包如下:
同样的,收到SYN,说明数据包已经到到核心交换机下联口,但是没有回复SYN,ACK,继续往下抓包。

核心交换机上联口如下:
      这里发现线索了,在上联口这里,收到SYN,ACK了,但是就差最后的ack就能握手成功了。简单的理解,建立握手,数据包需要交换三次,也就是说172.X.X.X先要到103.X.X.X,然后回来172,最后在到103。结合三次抓包,可以分析出,数据包卡在了核心交换机这里,数据包是有去无回。
      那么是什么原因导致有去无回的呢?第一反应是不是没有加172.X.X.X的回程路由呢?话音刚落,分公司的小伙伴就说:“奥,对了,我核心交换机的回程172.X.X.X的路由忘记加了,上面的几个防火墙我都加了,平时核心动得少,一不小心都遗忘掉了。”
配上回程路由后,果然问题解决。
       工作久了,往往会遗忘掉最简单的操作,需要细心。抓包可以看现象背后的真相,是个好工具,希望大家都能多多分享自己的debug案例。

打赏鼓励作者,期待更多好文!

打赏
6人已打赏

carl 发表于 2019-10-24 18:00
  
哈哈哈,很常见!问题没找到之前,感觉又遇到严重BUG了!
sangfor_闪电回_小六 发表于 2019-10-29 11:41
  
您好,感谢您参与社区原创分享计划3,您的文章已被收录到计划中,分享激励将在专家小组评审结束后进行派发,再次感谢!
NONO 发表于 2019-10-30 09:33
  
我有的时候真不知道是设备问题还是线路问题。专线网络时不时就会连不上
阿凯 发表于 2019-10-30 09:58
  
楼主分析的很清楚,对以后的工作有帮助。。。
LLCOOLJ 发表于 2019-10-30 10:42
  
谢谢楼主分享,文章写的很不错,学习了
清风慕竹 发表于 2019-10-30 12:12
  
感谢楼主的分享,我发现了我要去请婷姐看电影!
吢丗巟 发表于 2019-10-30 13:23
  
分析思路很清晰啊
陈氹 发表于 2019-10-30 13:44
  
这个文档过程很详细,是干货
找不到用户名 发表于 2019-10-30 13:55
  
流啤,这个抓包软件是什么呀,感觉看起来直观很多
发表新帖
热门标签
全部标签>
每日一问
技术笔记
技术盲盒
技术咨询
功能体验
干货满满
新版本体验
2023技术争霸赛专题
标准化排查
产品连连看
GIF动图学习
信服课堂视频
自助服务平台操作指引
运维工具
技术晨报
安装部署配置
每日一记
用户认证
通用技术
秒懂零信任
安全攻防
云计算知识
SDP百科
设备维护
深信服技术支持平台
答题自测
sangfor周刊
资源访问
排障笔记本
社区帮助指南
畅聊IT
专家问答
技术圆桌
在线直播
MVP
网络基础知识
升级
上网策略
测试报告
日志审计
问题分析处理
流量管理
原创分享
解决方案
VPN 对接
项目案例
SANGFOR资讯
专家分享
技术顾问
信服故事
功能咨询
终端接入
授权
迁移
山东区技术晨报
地址转换
虚拟机
存储
加速技术
产品预警公告
玩转零信任
信服圈儿
S豆商城资讯
技术争霸赛
「智能机器人」
追光者计划
答题榜单公布
纪元平台
卧龙计划
华北区拉练
天逸直播
以战代练
文档捉虫活动
齐鲁TV
华北区交付直播
每周精选

本版版主

461
244
13

发帖

粉丝

关注

本版达人

feeling

本周分享达人

新手29676...

本周提问达人