SSL VPN资源访问排错奇葩案例分享
  

justgonnab 3888

{{ttag.title}}
     之前项目所建设的应用系统由于下级反馈访问速度慢甚至页面打不开,所以新加了一台硬件负载均衡设备(应用交付ADC)来提高应用访问的速度,然后发现原有应用地址迁移到新增的硬件ADC设备地址后发现访!问!不!了而且内网访问没问题,外网通过SSL VPN访问就偏偏不给力!
由于机房是租用来的,而且内网环境非常复杂,排错之路就这样慢慢开始了……

先描述下大致的系统框架:

基于网络的安全性考虑,所有外网用户若要使用内网应用则需要通过深信服SSL VPN来进行安全访问。
原有的软件负载均衡Redis由于一段时间的试用后发现性能不行,访问人数一多页面就卡顿甚至无法打开,造成下级业务工作收到了极大的影响,反响强烈!
所以选购了一台硬件ADC。

但是发现ADC上架后有同样的问题:大量用户访问的情况下系统页面同样打不开,系统访问起来速度并没有任何提升!

遂咨询软件厂商确认软件的并发性能,结果得到答复:原因是内网多个Tomcat服务器使用了共享磁盘,而共享磁盘通过Linux nfs来实现,而nfs依赖于内网的IP网络,性能较低,所以在大用户量访问的情况下nfs吞吐量遇到瓶颈,导致系统整体性能下降。
在得知此答复后非常气愤,因为据我所知在系统试用期间通过SSL VPN后台所监测到的整个数据中心机房出口带宽最大也才4MB/s左右。


而整个系统的内部是万兆网络环境,并且测试的nfs大文件读取速率在790MB/s左右,大文件的写入速率也在90MB/s左右,所以在没有内网用户的情况下(即全部访问流量均来自外网SSL VPN)软件厂商的答复纯粹是在推!脱!责!任!

好吧,多次协商后无果,那就硬着头皮查原因吧……

排除软件系统吞吐性能过低的情况下,我们将问题定位到了SSL VPN到ADC之间的链路。
会不会是因为ADC设备的IP地址与原有地址冲突且原地址防ping?!然后随即测试:发现内网直接访问无问题,SSL VPN使用PC替换后访问也无问题,但是唯独使用SSL VPN访问就会发现长ping在VPN设备刚上架的时候很流畅、很稳定,但是一段时间后就开始丢包,最后无法访问。所以IP地址冲突这种猜想是错误的。

随后协调机房运维一起排错,发现SSL VPN到ADC设备之间有一台抗DDOS系统……登陆后台发现抗DDOS系统在大访问量的情况下直接把ADC地址给屏蔽掉了!

W!T!F!
好吧果断加入白名单
世界终于安静了……

打赏鼓励作者,期待更多好文!

打赏
2人已打赏

feeling 发表于 2017-7-31 08:57
  
分享的不错
Sangfor_闪电回_朱丽 发表于 2017-7-31 11:07
  
楼主的经历告诉我们,遇到问题不要着急,先整理思路,一步步排查,都会解决的~
zoou 发表于 2017-8-1 16:03
  
厉害,这个排查问题的思路可以。
新手490671 发表于 2018-1-10 08:56
  
收藏~收藏~收藏~收藏~收藏~
飞猪 发表于 2018-1-10 11:37
  
所以,ADC白买了,客户最后当然是选择了退货呀!哇哈哈!
慈行普度 发表于 2018-1-16 17:06
  
很好很强啊!
zoonctrl 发表于 2018-1-31 13:37
  
都是部署使用过程中可能出现的问题,感谢楼主的分享!
瞭望星空 发表于 2018-2-25 08:12
  
这个排查问题的思路可以。
Nevermore 发表于 2018-7-17 10:33
  
居然有DDOS设备这么坑爹,还好楼主火眼金睛
发表新帖
热门标签
全部标签>
每日一问
技术笔记
技术咨询
功能体验
新版本体验
2023技术争霸赛专题
干货满满
技术盲盒
标准化排查
产品连连看
技术晨报
GIF动图学习
信服课堂视频
安装部署配置
运维工具
深信服技术支持平台
秒懂零信任
自助服务平台操作指引
答题自测
安全攻防
每日一记
用户认证
通用技术
云计算知识
SDP百科
畅聊IT
sangfor周刊
资源访问
排障笔记本
专家问答
技术圆桌
在线直播
MVP
网络基础知识
升级
上网策略
测试报告
日志审计
问题分析处理
流量管理
原创分享
解决方案
VPN 对接
项目案例
SANGFOR资讯
专家分享
技术顾问
信服故事
功能咨询
终端接入
授权
设备维护
迁移
地址转换
虚拟机
存储
加速技术
产品预警公告
玩转零信任
信服圈儿
S豆商城资讯
技术争霸赛
「智能机器人」
追光者计划
社区帮助指南
答题榜单公布
纪元平台
卧龙计划
华北区拉练
天逸直播
以战代练
山东区技术晨报
文档捉虫活动
齐鲁TV
华北区交付直播
每周精选

本版版主

12
185
6

发帖

粉丝

关注

本版达人

LoveTec...

本周分享达人

新手24116...

本周提问达人