本帖最后由 赵冬伟 于 2024-4-30 10:17 编辑
问题背景和现象 386版本EDR通过脚本方式部署在阿里云平台,大概20分钟左右后EDR控制台无法访问,ping/telent相关端口通信都正常,通过阿里云平台跳转到虚拟机后台,后台卡死,无法执行任何操作。强制重启虚拟机后,恢复正常,EDR控制台正常访问,20分钟左右现象再次发生。再次强制重启后恢复正常,一段时间后问题依旧发生,以此往复。
虚拟机后台卡死现象:
问题排查(研发介入) 1. 分析EDR黑盒日志和系统日志,日志在2024-03-29 18:26至2024-04-02 10:09时间段是缺失的,怀疑系统已经关机、宕机了,和客户确认在该时间段内明确没有进行关机,那就有可能是系统宕机。 2. 通过last命令,看到该时间段有一条crash记录,产生crash记录一般是强制关机或系统宕机等原因; 3. 分析系统messages-20240329日志,在该时间段有多条异常记录堆栈信息,堆栈信息中有阿里云的驱动;堆栈信息中包含有阿里的AliSecGuard、AliSecProcFilterAdv64驱动,怀疑阿里云的驱动中的某个处理逻辑有问题或阿里云驱动与系统上的某个服务(hids)有兼容性问题。
4. 手动屏蔽hids服务组件,启动EDR服务,观察一段时间看控制台访问是否正常 5. 观察2个小时后控制台访问正常,初步确认是该问题导致,研发内部出包解决(屏蔽hids组件),2-3天后回访客户访问正常 6. 若要确定阿里云驱动与hids服务出现冲突的原因,建议客户测协调阿里云厂商分析驱动导致系统crash的根本原因; 7. 后续常规场景建议使用ova或iao包部署
3.8.6版本屏蔽MGR的hids(与阿里云的组件有兼容性问题)的KB包: |