【托管云】虚拟机访问外网丢包处理
  

伞兵一号lbw 210512人觉得有帮助

{{ttag.title}}
本帖最后由 伞兵一号lbw 于 2022-12-15 11:13 编辑

一、问题背景描述
1、11月19日,9:31 客户反馈私有云访问阿里云频繁丢包,随即接入排查
二、问题概述与闭环解决
2.1问题原因概述
1、之前根据需求在下一代防火墙设置了针对网段的流控设置,针对34.0网段访问外网最大上下行流量为30M;当内网网段对外访问流量大于30M时候,就会触发流控,导致访问外网出现丢包
2.2问题闭环解决方案
1、调整流控策略,增大34.0网段访问外网的流量,调整为100M;后续跟客户沟通重新调整流控带宽,防止出现带宽跑满导致卡顿现象
2、取消流控策略
三、问题处置过程详情
3.1问题接收
1、9:31 客户反馈私有云访问阿里云频繁丢包

2、反馈192.168.34.35机器ping哪里都丢包
3.2问题分析定位
1登录云上测试机器,ping阿里云正常;查看云主机系统负载和IP带宽监控,暂未发现异常;防火墙安全日志未见异常




2、登录异常服务器,进行ping测试——排查是公网线路异常还是集群虚拟网络问题
(1)ping网关正常
(2)ping百度丢包
(3)ping虚拟网络出口ip丢包 103.213.97.6 3、检查平台是否有IP冲突,并且对虚拟机网卡进行重启;现象依旧
4、虚拟机更换运行位置依然丢包(把ecs迁移至其他物理机,此物理机上的ecs没反馈丢包);从44节点迁移至27节点——排查物理机是否出现异常
5、对租户的虚拟网络设备进行抓包分析,虚拟机访问外网流量路径如下:虚拟机——子网交换机——内网路由器——下一代防火墙——出口交换机——出口路由器


6、通过抓取子网交换机,内网路由器,出口交换机,出口路由器的ICMP包,;源192.168.34.35 ping www.baidu.com;抓取192.168.34.35和icmp的包

(1)子网交换机抓包分析——发现请求包有发出去,但是没有收到回应包,说明子网交换机是正常
(2)内网路由器抓包分析——发现请求包有发出去,但是没有收到回应包,说明内部路由器是正常

3)出口交换机抓包分析——icmp正常,有请求包和回应包响应
4)出口路由器抓包分析——icmp正常,有请求包和回应包响应
5)分析内网路由器——出口的流量有异常,登录防火墙进行检查
7、临时把异常主机的ip进入白名单后,主机不丢包了;怀疑防火墙功能失效
8、协调防火墙专家一起排查,发现34.0的流控策略带宽跑满了,导致访问有丢包现象;

9、查看34.0网段的虚拟机流量,存在带宽大于30M的情况;把流控调整至100M,访问恢复,不丢包
4.3闭环措施
1、跟客户沟通重新调整流控带宽,防止出现带宽跑满导致卡顿现象
2、针对某些主机ip取消流控策略

图片9.png (21.44 KB, 下载次数: 751)

图片9.png

图片10.png (81.93 KB, 下载次数: 763)

图片10.png

图片11.png (88.54 KB, 下载次数: 760)

图片11.png

打赏鼓励作者,期待更多好文!

打赏
49人已打赏

এ塔铃独语别黄昏এ 发表于 2024-8-18 21:36
  
感谢分享,对工作有用!
蟲爺 发表于 2023-2-5 00:08
  
感谢分享
Mr程 发表于 2023-1-30 09:43
  

感谢分享,有助学习!!!
一个无趣的人 发表于 2023-1-29 11:02
  
楼主分析的很详细,不错的实战经验,小白用户一看就懂,非常好的技术干货帖,顶一个!
zjwshenxian 发表于 2023-1-28 21:30
  
感谢楼主分享,学习一下
日出 发表于 2023-1-4 11:57
  
每天学习一点点,每天进步一点点。
小小胖 发表于 2023-1-4 11:53
  
每天学习一点点,每天进步一点点。
小飞鱼 发表于 2023-1-4 11:50
  
每天学习一点点,每天进步一点点。
小鱼儿 发表于 2023-1-4 11:44
  

每天学习一点点,每天进步一点点。
发表新帖
热门标签
全部标签>
西北区每日一问
技术盲盒
【 社区to talk】
安全效果
干货满满
技术笔记
每日一问
信服课堂视频
GIF动图学习
新版本体验
技术咨询
2023技术争霸赛专题
功能体验
产品连连看
安装部署配置
通用技术
秒懂零信任
技术晨报
自助服务平台操作指引
原创分享
标准化排查
排障笔记本
玩转零信任
排障那些事
SDP百科
深信服技术支持平台
畅聊IT
答题自测
专家问答
技术圆桌
在线直播
MVP
网络基础知识
升级
安全攻防
上网策略
测试报告
日志审计
问题分析处理
流量管理
每日一记
运维工具
云计算知识
用户认证
解决方案
sangfor周刊
VPN 对接
项目案例
SANGFOR资讯
专家分享
技术顾问
信服故事
功能咨询
终端接入
授权
设备维护
资源访问
地址转换
虚拟机
存储
迁移
加速技术
产品预警公告
信服圈儿
S豆商城资讯
技术争霸赛
「智能机器人」
追光者计划
社区帮助指南
答题榜单公布
纪元平台
卧龙计划
华北区拉练
天逸直播
以战代练
山东区技术晨报
文档捉虫活动
齐鲁TV
华北区交付直播
每周精选
2024年技术争霸赛
北京区每日一练
场景专题
故障笔记
高手请过招
升级&主动服务
高频问题集锦
社区新周刊
POC测试案例
全能先锋系列
云化安全能力

本版达人