×

#原创分享#记AF一次“误封”事件
  

静态路由 18863

{{ttag.title}}
      事件起因:近期准备上线一个业务,上周分配了一个测试公网ip用于新业务测试。上午的时候,看到SIT测试的同事在群里说系统遇到问题了。当TPS到6000/S交易就卡主了,然后过几分钟又好了,当时没有在意。然后过几分钟又恢复,负责SIT测试的同事猜测可能是数据库压力有问题。

      一听是数据库的问题,我刚开始并没有在意。虽然我印象中,之前数据库压测过,TPS到10W/S都没有问题的,但是反正不是我的问题也就没多问了。

       数据库的同事查看之后果然发现没有问题,当测试交易卡主的时候,数据库根本没有执行任何语句。

      看了下他们的描述,应该在卡主的时候数据库没有收到任何流量。这时候我让测试直接通过内网进行压测,5W/S的TPS一直保持了十分钟没有问题。这时候初步分析应该就是通过公网估计有问题。

      问了下测试是如何进行压测的,大概梳理总结如下:三台虚拟机,每台1.5W/TPS同时压测,最后公网从一个源地址出去。也就是说,那个源地址每秒会发很多个数据包,聪明的社区小伙伴应该能猜到是什么情况导致问题发生。

      首先我们来回忆一下AF上如何防御DDOS,设置路径为策略-安全策略-DOS防护

设置扫描和攻击防护,添加保护对象。

DDOS攻击类型里面定义DDOS阈值(按需配置)

以上就是AF的DDOS防御策略设置。
      正是这个配置,导致了测试过程的异常。在进行压测的时候,会大量新建连接,syn的连接数激活了设置的5000阈值,触发DDOS模块,临时封锁300秒。
       在运行状态-攻击中IP这里,能够看到触发的源IP。

      那个源IP,正是来自测试那边的出口IP,原来是压测的时候,触发了DDOS模块,达到了非正常阈值,被AF认为是受到攻击,产生了“误封”,临时封禁了300秒,符合最开始测试说的过一会儿就好的情况。

     最后暂时关闭了DDOS防护,待测试顺利完成后再开启。

打赏鼓励作者,期待更多好文!

打赏
13人已打赏

icorgi 发表于 2019-11-24 22:54
  
其实AF的DDOS这块功能个人觉得一直以来蛮鸡肋的,对于内到外的来说,阈值这一块确实不好调,调太低天天误报,太高又没什么效果。外到内来说,真正碰到DDOS单靠一台AF流量根本清洗不过来的(17年就碰到过AF被打瘫了)。所以这一块功能个人一直觉得很鸡肋,食之无味弃之可惜。
小猪要上树 发表于 2019-12-12 16:42
  

12.12狂欢一周 +48 S豆 详情>

看完这个帖子,再一次感受到,解决问题一定要从业务的角度去查,只有懂得业务系统的前提下,才可以快速的定位问题
技术部分写的也很好,思路很清晰
感谢楼主,期待您更多的分享
sangfor52783 发表于 2019-12-17 21:21
  
感谢分享,在AF中,有几个功能都会自动触发联动封锁。所以在一些有SNAT或者CDN的场景,都需要谨慎开启,除了楼主说的DOS攻击外,还有IPS的暴力破解,WAF的漏洞防扫描,WAF的CC攻击防护,邮件的撞库功能。
沧海 发表于 2019-11-20 12:20
  
感谢分享
Sangfor_闪电回_朱丽 发表于 2019-11-20 18:08
  
您好,感谢您参与社区原创分享计划4,您的文章已被收录到计划中,交由专家评审小组评审,分享奖励将在活动结束后统一安排发放!分享越多,奖励越多,期待您更多的精彩分享哦!:感恩:
哥丶珍藏版 发表于 2019-11-20 22:03
  
我感觉很多企业都关闭了DDOS
呆呆蛙 发表于 2019-11-21 09:24
  
回帖是美德
新手379206 发表于 2019-11-22 18:32
  
打卡学习
新手627798 发表于 2019-11-22 22:28
  
感谢分享
新手780102 发表于 2019-11-22 22:31
  

感谢分享
新手031815 发表于 2019-11-22 22:55
  
来看看,学习下
心灵鸡汤 发表于 2019-11-23 09:29
  
了解了,触发了DDOS模块。感谢分享。其实也可以调整一下防护阀值。
发表新帖
热门标签
全部标签>
安全效果
西北区每日一问
技术盲盒
技术笔记
干货满满
【 社区to talk】
每日一问
信服课堂视频
GIF动图学习
新版本体验
技术咨询
2023技术争霸赛专题
功能体验
产品连连看
自助服务平台操作指引
标准化排查
秒懂零信任
技术晨报
安装部署配置
原创分享
排障笔记本
玩转零信任
排障那些事
SDP百科
技术争霸赛
深信服技术支持平台
通用技术
以战代练
升级&主动服务
社区新周刊
畅聊IT
答题自测
专家问答
技术圆桌
在线直播
MVP
网络基础知识
升级
安全攻防
上网策略
测试报告
日志审计
问题分析处理
流量管理
每日一记
运维工具
云计算知识
用户认证
解决方案
sangfor周刊
VPN 对接
项目案例
SANGFOR资讯
专家分享
技术顾问
信服故事
功能咨询
终端接入
授权
设备维护
资源访问
地址转换
虚拟机
存储
迁移
加速技术
产品预警公告
信服圈儿
S豆商城资讯
「智能机器人」
追光者计划
社区帮助指南
答题榜单公布
纪元平台
卧龙计划
华北区拉练
天逸直播
山东区技术晨报
文档捉虫活动
齐鲁TV
华北区交付直播
每周精选
2024年技术争霸赛
北京区每日一练
场景专题
故障笔记
高手请过招
高频问题集锦
POC测试案例
全能先锋系列
云化安全能力

本版版主

1
3
10

发帖

粉丝

关注

396
142
63

发帖

粉丝

关注

5
7
7

发帖

粉丝

关注

0
1
0

发帖

粉丝

关注

本版达人

新手61940...

本周建议达人

BGP网络

本周分享达人

BGP网络

本周提问达人