【托管云】客户业务卡慢故障处理
  

新手327372 40401人觉得有帮助

{{ttag.title}}
一、问题概述
客户于9.25分反馈PM9业务卡顿,随即信服云工程师对云平台网络,应用服务器,数据库sql alwayson进行排查;
共享带宽:61.183.132.121
PM9应用服务器:192.168.0.20
SQL alwayson数据库:
vip: 192.168.0.21
主节点:192.168.0.25
备节点:192.168.0.24
备节点:192.168.0.23
1、客户于9点25分反馈PM9业务系统访问卡顿,随即信服云工程师立即响应,对网络带宽,虚拟机,数据库性能进行排查;获取客户的测试账号进行访问复现,具体现象是登录业务系统,点击目录访问时,回显较慢,响应时间大概10s-20s

三、故障原因分析
1、排查信服云上网络、应用服务器、数据库性能暂无瓶颈;后期可考虑增加应用服务器cpu核数提高应用服务器性能——深信服

(CPU规格调整目的,一个是提高规格,降低CPU资源利用率;一个是改变单槽配置,改为2槽配置,优化CPU性能效果)
2、广联达排查发现应用服务器调用静态数据(应用服务器本地数据)响应慢,调用后端数据库响应正常;具体原因请求在IIS排队,造成堵塞导致访问卡顿;需要升级高版本解决此问题——广联达
四、解决方案1、网络层面
(1)通过平台网络带宽监控发现9.23带宽接近跑满,怀疑带宽跑满导致业务卡慢,将带宽从20M调整至40M,访问业务仍然出现卡慢现象


2、操作系统层面
(1)查看应用服务器192.168.0.20的系统指标,发现cpu占用率较高,客户进系统查看是否有异常进程占用虚拟机性能,查看后是正常进程。后期可以考虑增加cpu核数提高性能;(因为目前虚拟机是1个插槽数,这个插槽数已经是10核了;无法热添加。所以只能关机调整每个插槽的核数进行cpu增加)
(2)排查信服云网络、应用服务器、数据库性能暂无明显瓶颈。
PM9应用服务器系统cpu、内存、io情况
1小时:
24小时:
虚拟机io时延:
1小时:
24小时:
应用服务器::CPU、内存、磁盘io读写、时延正常
3)数据库SQL alwayson PM9应用服务器系统cpu、内存、io情况
数据库cpu、内存、io情况
1小时:
24小时:
结论:数据库cpu、内存、磁盘io读写、时延正常
3、应用层面
(1)创建内网测试机器,通过内网进行访问业务依然卡慢,排除网络问题;通过浏览器工具查看,发现应用服务器调用数据库延时较长。


(2)客户反馈从应用服务器查询表特别慢,在数据库服务器直接调用就很快;初步断定是应用服务器软件问题;随即协调广联达应用厂商进行排查,经过排查发现应用服务器访问静态资源加载慢,需要访问数据库的还行,结论是应用软件版本低导致;(目前对后端的请求会在IIS排队,造成堵塞。需要升级到9.19.0版本,版本优化了组织、流程等日常工作试用频率最高的模块性能,能解决很多性能问题)

打赏鼓励作者,期待更多好文!

打赏
5人已打赏

平凡的小网工 发表于 2022-12-5 10:16
  
楼主的文章图文并茂,清晰易懂,看完这波操作可以轻松上手了,如遇到问题再向楼主请教~
嘀嘀柠柠 发表于 2022-12-28 23:34
  
每天学习一点新知识,谢谢分享
小鱼儿 发表于 2023-1-31 13:02
  
每天学习一点新知识,谢谢分享
日出 发表于 2023-1-31 13:18
  
每天学习一点新知识,谢谢分享
德德 发表于 2023-1-31 13:18
  
每天学习一点新知识,谢谢分享
梦境人生 发表于 2023-1-31 13:18
  
每天学习一点新知识,谢谢分享
唐三平 发表于 2023-1-31 13:18
  
每天学习一点新知识,谢谢分享
蔺嘉宾 发表于 2023-1-31 13:18
  
每天学习一点新知识,谢谢分享
小小胖 发表于 2023-1-31 13:27
  
每天学习一点新知识,谢谢分享
发表新帖
热门标签
全部标签>
西北区每日一问
技术盲盒
干货满满
安全效果
【 社区to talk】
技术笔记
每日一问
信服课堂视频
GIF动图学习
新版本体验
技术咨询
2023技术争霸赛专题
功能体验
产品连连看
安装部署配置
通用技术
秒懂零信任
技术晨报
自助服务平台操作指引
原创分享
标准化排查
排障笔记本
玩转零信任
排障那些事
SDP百科
深信服技术支持平台
升级&主动服务
畅聊IT
答题自测
专家问答
技术圆桌
在线直播
MVP
网络基础知识
升级
安全攻防
上网策略
测试报告
日志审计
问题分析处理
流量管理
每日一记
运维工具
云计算知识
用户认证
解决方案
sangfor周刊
VPN 对接
项目案例
SANGFOR资讯
专家分享
技术顾问
信服故事
功能咨询
终端接入
授权
设备维护
资源访问
地址转换
虚拟机
存储
迁移
加速技术
产品预警公告
信服圈儿
S豆商城资讯
技术争霸赛
「智能机器人」
追光者计划
社区帮助指南
答题榜单公布
纪元平台
卧龙计划
华北区拉练
天逸直播
以战代练
山东区技术晨报
文档捉虫活动
齐鲁TV
华北区交付直播
每周精选
2024年技术争霸赛
北京区每日一练
场景专题
故障笔记
高手请过招
高频问题集锦
社区新周刊
POC测试案例
全能先锋系列
云化安全能力

本版达人