记录一次网络连通性排查
  

新手172766 7129

{{ttag.title}}
本帖最后由 静态路由 于 2019-9-21 12:48 编辑


看到论坛有活动,那就贴上上周的网络连通性排查吧

      精简的网络拓扑图,总体差不多这个架构。现在有个需求,服务器A172.X.X.X通过互联网访问某个目标公网IP103.X.X.X,HTTPS协议,443端口。出口有三条链路,配置策略路由选择电信某线路。配置完毕后,发现服务器A到目标端口不通,记录下排查的过程。

      第一步:检查防火墙策略匹配
      外网用的某公司的防火墙,发现策略有27条匹配记录,说明数据包已经达到防火墙,网络设备配置应该没问题。

      第二步:外网防火墙抓包
      在PC3位置,抓取目标地址外网数据包,分析故障,抓包情况如下图。
      建立握手的时候,SYN发出去了,目标IP也恢复了SYN,ACK。这个时候还差服务器A再回复一个ACK就能建立连接了。偏偏缺没有这个ACK,自然网络现象是不通的。后面又大量的SYN重传,这说明服务器A没收到目标IP的SYN,ACK,于是一直在重传。
     在服务器A之前还有个核心交换机,我们在核心交换机上上,利用PC2抓包发现同样的情况。
这说明什么了?说明服务器A的SYN已经通过中间的网络设备,达到目标IP了。目标IP回复的SYN,ACK也已经到最后的一个网络设备,即将传递给服务器A了,但是莫名的原因服务器A并给syn,ack回应ACK。
      这个时候问题的最后一步也就自然的在服务器A上,负责网络的我可以甩锅咯。
   
     第三步:抓包服务器A
      联系系统管理员,让他在服务器A的对应网卡tcpdump一下,解析tcpdump。发现是一样的情况。
一样的,SYN从网卡发出去了,SYN,ACK也从网卡收到了,就是没有在回应了。为什么了,肯定是某种原因丢弃了。

      第四步:确定问题
     根据上述分析, 猜想是服务器上的iptables,规则导致进来的数据包丢弃了,系统管理员检查iptables后,发现确实没有配置有状态的规则,配置正确后,网络访问正常。 这里我就不贴iptables的规则了。


      总结:判断网络故障我个人认为比较重要的是要熟悉数据流的走向,进而在关键节点逐一抓包定位,确定问题出现的节点。分析出到底是策略,还是路由或者其他的原因导致,对症下药即可。
      第二篇关于抓包定位的类似文章《AF安全模块引发的思考》http://bbs.sangfor.com.cn/forum.php?mod=viewthread&tid=83719   ~

打赏鼓励作者,期待更多好文!

打赏
9人已打赏

sailyang 发表于 2019-9-10 09:49
  

非常详细的分享,楼主技术了得,按照数据流抓包定位问题,排错思路清晰
Sangfor_95899 发表于 2019-9-12 18:17
  
感谢楼主分享,从数据包分析看,这真的是一次非常典型的数据包tcp协议分享,可以作为教材出现。
网络运维工程师的日常就是不管遇到什么样的问题,只要和网络有关系,一定是第一时间救火的人。
通过确凿的证据定位到是业务系统问题,非常强大。
分享数据包可以说是基本功了,希望我们社区的每一个工程师都能沉下心,好好学习下。
楼主可以抽空分享下数据包的分享经验
FuJun 发表于 2024-8-23 20:06
  
非常好的实践教程,谢谢分享
阿威十八式 发表于 2024-7-16 10:56
  
每天坚持打卡学习签到!!
新手741261 发表于 2021-4-20 13:56
  
好厉害哦,必须点赞。
新手780102 发表于 2021-4-8 08:58
  
学习了 很全面,好多都是平时忽略和不知道的!
新手517842 发表于 2021-4-7 09:58
  
好厉害哦,必须点赞 .
还没变成王子的青蛙 发表于 2021-1-30 18:20
  
感谢楼主分享,这个很实用。
落色的陨石 发表于 2019-9-25 09:03
  
思路清晰,值得学习啊!
静态路由 发表于 2019-9-21 12:49
  
领了个什么东西,终于可以改名字啦,以前的帖子名字好像没有更改,是不是可以给产品提个建议呀。
新手217248 发表于 2019-9-20 15:56
  
点赞撤咯
发表新帖
热门标签
全部标签>
技术盲盒
西北区每日一问
安全效果
干货满满
每日一问
【 社区to talk】
新版本体验
技术笔记
功能体验
技术咨询
产品连连看
GIF动图学习
标准化排查
2023技术争霸赛专题
每周精选
通用技术
自助服务平台操作指引
信服课堂视频
秒懂零信任
技术晨报
安装部署配置
排障笔记本
答题自测
原创分享
升级&主动服务
社区新周刊
POC测试案例
畅聊IT
专家问答
技术圆桌
在线直播
MVP
网络基础知识
升级
安全攻防
上网策略
测试报告
日志审计
问题分析处理
流量管理
每日一记
运维工具
云计算知识
用户认证
解决方案
sangfor周刊
VPN 对接
项目案例
SANGFOR资讯
专家分享
技术顾问
信服故事
SDP百科
功能咨询
终端接入
授权
设备维护
资源访问
地址转换
虚拟机
存储
迁移
加速技术
产品预警公告
玩转零信任
信服圈儿
S豆商城资讯
技术争霸赛
「智能机器人」
追光者计划
深信服技术支持平台
社区帮助指南
答题榜单公布
纪元平台
卧龙计划
华北区拉练
天逸直播
以战代练
山东区技术晨报
文档捉虫活动
齐鲁TV
华北区交付直播
2024年技术争霸赛
北京区每日一练
场景专题
故障笔记
排障那些事
高手请过招
高频问题集锦
全能先锋系列
云化安全能力

本版版主

461
247
13

发帖

粉丝

关注

本版达人

feeling

本周分享达人

新手29676...

本周提问达人