问题排查分析记录:服务器持续发送reset包导致AF卡顿/异常
  

85039王毅波 32

{{ttag.title}}
本帖最后由 85039王毅波 于 2025-1-7 18:12 编辑

网络拓扑示意图   


一、问题现象:服务器持续发送reset包导致AF卡顿/异常






1、11-02 AF设备上收到大量rst 219.247.255.129.XX -> 64.62.197.114.33573 [ip.id == 0x3d58递增] 报文,大量小包导致设备单核打满
2、12-07 AF设备上收到大量rst 219.247.255.20.XX -> 74.82.47.45.52567 [ip.id == 0x5826] 报文,大量小包导致单核打满,业务卡慢



二、排查过程:

1、0x5826是AC的rstid,AC为旁路部署,大量报文到AC后会发起rst报文,从AC eth0内网口发往内网核心,经过AF后导致单核打满。

2、11-02出现的rst报文中,非AC发起,目前怀疑219.247.255.129服务TCP状态已关闭,且收到大量SYN报文,导致不断发送SYN包。

3、使用EDR以及自研工具MMH对主机进行查杀未发现存在恶意进程,查看主机网络信息,未发现主机存在异常外联现象,主要是以java和docker-proxy代理为主。
4、分析态势感知和第三方设备(网盾),发现是外部主机对内网多台主机进行访问现象,根据威胁情报,发现47.82.47.45为恶意的扫描ip。总结:外部扫描导致相关主机存在异常发送rst数据包
5、在客户授权情况下,模拟黑客对内网的教育网业务进行端口扫描,复现现象并在友商AF、运维区AF等设备进行抓包,发现还是存在服务器rst回包。
6、梳理完客户真实业务拓扑和每个设备的机制,最终定位出来2个问题:
a、K01设备将黑客地址加了黑名单,并且如果发现扫描或者其他攻击行为就会模拟业务系统来给发rst的包,ip.id ==
0x0000的数据包就是K01模拟业务系统发送的。
b、取消AC的默认路由,旁路部署模式不发送rst报文。

三、结论:
1、目前根据流量来看,基本是美国的扫描,而且我们也根据客户环境做了多个实验。扫描ip相关的页面,也说明自己是美国shadowserver基金会,展开的全网扫描。
2、总结:服务器之所以一直发送rst包,是因为外界恶意ip74.82.47.45,持续对用户的219.247.255.129展开端口扫描,导致该现象。
3、客户的这个教育网地址本质上还是个公网地址,虽然没有在公网开放业务,但是攻击者在扫描客户相关网段的时候,客户这个ip地址还是能够接收到相关的数据包,那么这个端口没有开放,那么服务器就会返回一个rst的数据包,表示我这个端口没有开放,这个也是nmap、masscan这类端口扫描工具的扫描原理,来判断端口是否开放。
如下图所示,我用自己本身电脑的虚拟机扫描219.247.255.129,发现服务器本身还是能够接收到我发过去的tcp数据包的。





四、解决方案:
1、出口防火墙禁止互联网方向访问内网的对应教育网IP业务---这个最重要
2、取消AC的默认路由,旁路部署模式不发送rst报文。
3、K01设备接到核心交换机。跳过运维区AF也可以一定程度规避类似问题

PS:本次属于单次应急支撑,客户对自身网络拓扑和测试设备情况不熟悉,设备主要原理和机制不清楚,对外同时涉及2个友商的设备和业务部门协调,内部涉及AC和AF、安服三方的协同排查。

8136677cea43f2117.png (108.41 KB, 下载次数: 2)

8136677cea43f2117.png

打赏鼓励作者,期待更多好文!

打赏
5人已打赏

এ塔铃独语别黄昏এ 发表于 2025-1-8 23:19
  
马天尼 谁在用吗  没人回复 我可清了啊
发表新帖
热门标签
全部标签>
西北区每日一问
高手请过招
【 社区to talk】
安全效果
每日一问
功能体验
纪元平台
产品连连看
新版本体验
社区新周刊
标准化排查
技术咨询
技术盲盒
GIF动图学习
秒懂零信任
干货满满
S豆商城资讯
技术晨报
自助服务平台操作指引
每周精选
技术笔记
安全攻防
文档捉虫活动
故障笔记
答题自测
信服课堂视频
畅聊IT
专家问答
技术圆桌
在线直播
MVP
网络基础知识
安装部署配置
升级
上网策略
测试报告
日志审计
问题分析处理
流量管理
每日一记
运维工具
云计算知识
用户认证
原创分享
解决方案
sangfor周刊
VPN 对接
项目案例
SANGFOR资讯
专家分享
技术顾问
信服故事
SDP百科
功能咨询
终端接入
授权
设备维护
资源访问
地址转换
虚拟机
存储
迁移
加速技术
排障笔记本
产品预警公告
玩转零信任
信服圈儿
技术争霸赛
「智能机器人」
追光者计划
深信服技术支持平台
社区帮助指南
答题榜单公布
2023技术争霸赛专题
通用技术
卧龙计划
华北区拉练
天逸直播
以战代练
山东区技术晨报
齐鲁TV
华北区交付直播
2024年技术争霸赛
北京区每日一练
场景专题
排障那些事
升级&主动服务
高频问题集锦
POC测试案例
全能先锋系列
云化安全能力
故障案例库

本版版主

49
17
0

发帖

粉丝

关注

90
27
2

发帖

粉丝

关注

6
2
0

发帖

粉丝

关注

本版达人