1、2月20日排查日志索引进程卡死,导致日志不能正常显示出来,进入后台对索引进行重启后观察日志陆陆续续出现。
2、3月8日再次观察日志系统,发现仍然有日志查看不出来现象,在3月12日只能查到1月12日得日志。
3、查看设备状态,发现设备使用7年,且设备内存剩余大小约为600M,总大小2G,且目前AC设备大部分资源都已被日志中心进程占用。
4、查看日志中心进程,发现中间表进程有6个,索引进程只有一个
经过研发确认,AC设备为了防止日志系统占用资源过高影响设备正常运行会限制日志系统得资源占用。AC得日志建立是由索引表完成才能查询得到,其中中间表6个,索引表一个。AC进程执行机制是所有任务轮询进行执行。表示中间表得执行时间是索引表的6倍。其中整个设备留给日志系统得资源已经不能实时得进行日志更新。
问题原因分析
1、设备使用年限过久,设备存在老化,随着业务发展现有设备不能满足现有网络要求。
2、内存可用大小仅剩600M,为了保障AC设备业务正常运行,会优先给设备业务进行使用,导致日志系统进程执行缓慢。
3、设备日志系统索引进程执行时间中间表进程占用时间较多,导致日志索引执行进度变慢。
解决方案
1、放开AC对于日志系统得资源占用限制,让日志进程用更多资源加快执行。(当前设备性能4C2G,剩余内存600M,经过评估该方法风险较高,会引起设备宕机)
2、部署外置日志中心,不使用内置日志中心,则AC资源会进一步释放。
3、设备换新,设备已不满足当前业务需要,建议更换高型号设备。