×

SSL VPN资源访问排错奇葩案例分享
  

justgonnab 5825

{{ttag.title}}
     之前项目所建设的应用系统由于下级反馈访问速度慢甚至页面打不开,所以新加了一台硬件负载均衡设备(应用交付ADC)来提高应用访问的速度,然后发现原有应用地址迁移到新增的硬件ADC设备地址后发现访!问!不!了而且内网访问没问题,外网通过SSL VPN访问就偏偏不给力!
由于机房是租用来的,而且内网环境非常复杂,排错之路就这样慢慢开始了……

先描述下大致的系统框架:

基于网络的安全性考虑,所有外网用户若要使用内网应用则需要通过深信服SSL VPN来进行安全访问。
原有的软件负载均衡Redis由于一段时间的试用后发现性能不行,访问人数一多页面就卡顿甚至无法打开,造成下级业务工作收到了极大的影响,反响强烈!
所以选购了一台硬件ADC。

但是发现ADC上架后有同样的问题:大量用户访问的情况下系统页面同样打不开,系统访问起来速度并没有任何提升!

遂咨询软件厂商确认软件的并发性能,结果得到答复:原因是内网多个Tomcat服务器使用了共享磁盘,而共享磁盘通过Linux nfs来实现,而nfs依赖于内网的IP网络,性能较低,所以在大用户量访问的情况下nfs吞吐量遇到瓶颈,导致系统整体性能下降。
在得知此答复后非常气愤,因为据我所知在系统试用期间通过SSL VPN后台所监测到的整个数据中心机房出口带宽最大也才4MB/s左右。


而整个系统的内部是万兆网络环境,并且测试的nfs大文件读取速率在790MB/s左右,大文件的写入速率也在90MB/s左右,所以在没有内网用户的情况下(即全部访问流量均来自外网SSL VPN)软件厂商的答复纯粹是在推!脱!责!任!

好吧,多次协商后无果,那就硬着头皮查原因吧……

排除软件系统吞吐性能过低的情况下,我们将问题定位到了SSL VPN到ADC之间的链路。
会不会是因为ADC设备的IP地址与原有地址冲突且原地址防ping?!然后随即测试:发现内网直接访问无问题,SSL VPN使用PC替换后访问也无问题,但是唯独使用SSL VPN访问就会发现长ping在VPN设备刚上架的时候很流畅、很稳定,但是一段时间后就开始丢包,最后无法访问。所以IP地址冲突这种猜想是错误的。

随后协调机房运维一起排错,发现SSL VPN到ADC设备之间有一台抗DDOS系统……登陆后台发现抗DDOS系统在大访问量的情况下直接把ADC地址给屏蔽掉了!

W!T!F!
好吧果断加入白名单
世界终于安静了……

打赏鼓励作者,期待更多好文!

打赏
2人已打赏

feeling 发表于 2017-7-31 08:57
  
分享的不错
Sangfor_闪电回_朱丽 发表于 2017-7-31 11:07
  
楼主的经历告诉我们,遇到问题不要着急,先整理思路,一步步排查,都会解决的~
zoou 发表于 2017-8-1 16:03
  
厉害,这个排查问题的思路可以。
新手490671 发表于 2018-1-10 08:56
  
收藏~收藏~收藏~收藏~收藏~
飞猪 发表于 2018-1-10 11:37
  
所以,ADC白买了,客户最后当然是选择了退货呀!哇哈哈!
慈行普度 发表于 2018-1-16 17:06
  
很好很强啊!
zoonctrl 发表于 2018-1-31 13:37
  
都是部署使用过程中可能出现的问题,感谢楼主的分享!
瞭望星空 发表于 2018-2-25 08:12
  
这个排查问题的思路可以。
Nevermore 发表于 2018-7-17 10:33
  
居然有DDOS设备这么坑爹,还好楼主火眼金睛
发表新帖
热门标签
全部标签>
技术盲盒
西北区每日一问
安全效果
每日一问
干货满满
新版本体验
【 社区to talk】
技术笔记
功能体验
技术咨询
产品连连看
标准化排查
GIF动图学习
2023技术争霸赛专题
每周精选
信服课堂视频
通用技术
自助服务平台操作指引
秒懂零信任
技术晨报
安装部署配置
答题自测
原创分享
升级&主动服务
社区新周刊
POC测试案例
畅聊IT
专家问答
技术圆桌
在线直播
MVP
网络基础知识
升级
安全攻防
上网策略
测试报告
日志审计
问题分析处理
流量管理
每日一记
运维工具
云计算知识
用户认证
解决方案
sangfor周刊
VPN 对接
项目案例
SANGFOR资讯
专家分享
技术顾问
信服故事
SDP百科
功能咨询
终端接入
授权
设备维护
资源访问
地址转换
虚拟机
存储
迁移
加速技术
排障笔记本
产品预警公告
玩转零信任
信服圈儿
S豆商城资讯
技术争霸赛
「智能机器人」
追光者计划
深信服技术支持平台
社区帮助指南
答题榜单公布
纪元平台
卧龙计划
华北区拉练
天逸直播
以战代练
山东区技术晨报
文档捉虫活动
齐鲁TV
华北区交付直播
2024年技术争霸赛
北京区每日一练
场景专题
故障笔记
排障那些事
高手请过招
高频问题集锦
全能先锋系列
云化安全能力

本版版主

12
185
6

发帖

粉丝

关注

121
315
352

发帖

粉丝

关注

本版达人

LoveTec...

本周分享达人

新手24116...

本周提问达人