一、问题概述 客户于9.25分反馈PM9业务卡顿,随即信服云工程师对云平台网络,应用服务器,数据库sql alwayson进行排查; 共享带宽:61.183.132.121 PM9应用服务器:192.168.0.20 SQL alwayson数据库: vip: 192.168.0.21 主节点:192.168.0.25 备节点:192.168.0.24 备节点:192.168.0.23 1、客户于9点25分反馈PM9业务系统访问卡顿,随即信服云工程师立即响应,对网络带宽,虚拟机,数据库性能进行排查;获取客户的测试账号进行访问复现,具体现象是登录业务系统,点击目录访问时,回显较慢,响应时间大概10s-20s 三、故障原因分析1、排查信服云上网络、应用服务器、数据库性能暂无瓶颈;后期可考虑增加应用服务器cpu核数提高应用服务器性能——深信服
(CPU规格调整目的,一个是提高规格,降低CPU资源利用率;一个是改变单槽配置,改为2槽配置,优化CPU性能效果) 2、广联达排查发现应用服务器调用静态数据(应用服务器本地数据)响应慢,调用后端数据库响应正常;具体原因请求在IIS排队,造成堵塞导致访问卡顿;需要升级高版本解决此问题——广联达 四、解决方案1、网络层面(1)通过平台网络带宽监控发现9.23带宽接近跑满,怀疑带宽跑满导致业务卡慢,将带宽从20M调整至40M,访问业务仍然出现卡慢现象
2、操作系统层面(1)查看应用服务器192.168.0.20的系统指标,发现cpu占用率较高,客户进系统查看是否有异常进程占用虚拟机性能,查看后是正常进程。后期可以考虑增加cpu核数提高性能;(因为目前虚拟机是1个插槽数,这个插槽数已经是10核了;无法热添加。所以只能关机调整每个插槽的核数进行cpu增加) (2)排查信服云网络、应用服务器、数据库性能暂无明显瓶颈。 PM9应用服务器系统cpu、内存、io情况 1小时: 24小时: 虚拟机io时延: 1小时: 24小时: 应用服务器::CPU、内存、磁盘io读写、时延正常 (3)数据库SQL alwayson PM9应用服务器系统cpu、内存、io情况 数据库cpu、内存、io情况 1小时: 24小时: 结论:数据库cpu、内存、磁盘io读写、时延正常 3、应用层面(1)创建内网测试机器,通过内网进行访问业务依然卡慢,排除网络问题;通过浏览器工具查看,发现应用服务器调用数据库延时较长。
(2)客户反馈从应用服务器查询表特别慢,在数据库服务器直接调用就很快;初步断定是应用服务器软件问题;随即协调广联达应用厂商进行排查,经过排查发现应用服务器访问静态资源加载慢,需要访问数据库的还行,结论是应用软件版本低导致;(目前对后端的请求会在IIS排队,造成堵塞。需要升级到9.19.0版本,版本优化了组织、流程等日常工作试用频率最高的模块性能,能解决很多性能问题) |