聚合模式引起的EDS故障
  

琪琪技术员 291

{{ttag.title}}
深信服分布式 EDS 完整故障案例(生产业务中断・三节点 ISCSI 块存储场景)
一、基础环境信息
  • 硬件集群:3 节点 EDS 一体机集群,节点编号 Node41(集群主控)、Node42、Node43
  • 软件版本:EDS 5.0.2.249
  • 组网架构

      管理网:单千兆,三节点互通,用于 Web 控制台、集群元数据通信
      存储私网:双万兆网卡静态 LACP 链路聚合,对接华三核心存储交换机,承载节点间副本同步、ISCSI 业务流量
      上层业务:深信服 HCI 虚拟化平台,通过 ISCSI 挂载 EDS 共享 LUN,承载 ERP、数据库核心业务

  • 业务类型:块存储 ISCSI LUN,三副本冗余,生产 7×24 小时在线

二、故障现象(业务感知)
  • 上午 9:20,HCI 平台内所有虚拟机磁盘读写卡死,数据库、ERP 全部业务中断,业务无法读写;
  • HCI 存储页面告警:ISCSI LUN 连接断开,存储卷离线;
  • EDS Web 控制台弹出集群告警:Node42、Node43主机离线,副本组降级,存在数据丢失风险;
  • 网络连通性测试异常:

      Node42、Node43 存储私网 IP 之间互相 ping 通无丢包;
      Node41(主控)存储私网无法 ping 通 42、43 节点;
      三节点管理网全程互通,Web 控制台可正常登录;

  • 硬件状态:所有服务器硬盘、电源、风扇指示灯无告警,无硬盘掉盘、硬件故障提示。

三、分层排查过程

阶段 1:初步硬件与链路排查(10 分钟)
  • 登录交换机查看端口状态:三台 EDS 聚合端口均 UP,无 CRC 错包、无端口 flapping;
  • 机房现场插拔 Node41 存储聚合其中一根万兆网线,1 分钟后业务自动恢复,LUN 重新挂载,虚拟机读写恢复;
  • 恢复后观察 5 分钟,故障未复现,但未定位根因。


阶段 2:EDS 集群日志深度分析(20 分钟)
  • 导出三节点后台日志,定位关键报错:

      Node41 日志持续打印:存储私网聚合链路协商失败,网口离线;
      集群仲裁逻辑日志:主控 Node41 存储私网断连 42、43,但管理网正常互通;EDS 仲裁机制判定:和主控存储网不通的节点为离线节点,因此误报 42、43 离线;
      主控切换日志:未触发自动主从切换,原因为仲裁判定逻辑优先级:先判断存储网节点离线,再执行主控切换,直接阻塞切换流程。

  • 核对两端聚合配置:

      EDS 侧:聚合模式 LACP 动态协商(dynamic)
      华三交换机侧:聚合模式 静态手工聚合(static)
      两端聚合协商模式不匹配,导致聚合链路存在隐性断流、单链路失效时整组链路震荡。





阶段 3:根因定位
  • 直接故障原因:存储私网交换机与 EDS 两端 LACP 聚合模式不一致(EDS 动态 LACP,交换机静态聚合),协商异常,主控 Node41 聚合链路间歇性断流,节点间存储私网隔离;
  • 业务放大诱因

      ISCSI LUN 仅绑定主控 Node41 对外服务,主控存储网中断后,所有业务链路全部断开;
      版本仲裁逻辑缺陷:存储网断连后优先判定其他节点离线,阻塞主控自动切换,无冗余节点承接业务;

  • 告警误导问题:实际故障为主控网口故障,但平台反向告警备机离线,初期排查方向走偏。


四、临时恢复方案与永久根治方案
1. 临时应急恢复(故障发生时)
  • 插拔故障主控聚合网线,强制重新协商链路,临时恢复存储私网互通;
  • HCI 端重新扫描 ISCSI 存储,重新挂载离线 LUN,业务恢复读写;
  • 业务低峰期限制写入流量,避免副本重建压力过大。


2. 永久根治整改措施
  • 交换机配置修正(核心)
    将华三存储交换机聚合口从static静态聚合修改为dynamic LACP动态协商,与 EDS 聚合模式统一;

  • interface Bridge-Aggregation 10



    port link-type trunk port aggregation mode dynamic






  • 业务架构优化

      ISCSI LUN 开启多节点负载均衡,业务流量分散至 3 个节点,单节点断流自动切换其他节点;
      划分业务存储池,核心数据库 LUN 分散绑定不同节点,避免单点主控承载全部业务;

  • 版本迭代修复
    升级 EDS 至官方修复版本,优化集群仲裁逻辑:区分「主控网口故障」和「备机离线」,主控存储网断连后自动触发主从切换,消除误告警;
  • 上线验收规范新增
    新增存储私网聚合配置双检项:交换机与 EDS 聚合模式必须统一为 LACP dynamic,上线前做链路拔线压测验证。


五、故障复盘总结

1. 故障影响
  • 业务中断时长:约 12 分钟;
  • 数据风险:集群三副本未丢失,但副本组降级,故障期间存在双重硬件故障丢数风险;
  • 人力损耗:运维、数据库、业务多岗位紧急介入处置。


2. 经验教训
  • EDS 存储私网聚合为核心业务链路,交换机与存储两端 LACP 模式必须完全匹配,静态 / 动态混用会引发隐性断流;
  • 仅依靠 Web 告警易误判故障节点,故障时优先导出节点底层网络日志定位真实故障设备;
  • 生产块存储业务禁止单节点承载全部 LUN,必须配置多节点负载均衡,实现链路级高可用;
  • 新交付 EDS 集群需做链路故障演练:拔线、断网测试集群自动切换能力,提前暴露仲裁、聚合类隐性缺陷。


3. 同类预防巡检项
  • 定期核对存储交换机聚合协商模式;
  • 监控聚合端口错包、频繁 up/down 日志;
  • 检查 ISCSI LUN 多节点绑定状态;
  • 查看集群副本健康度,避免长期降级运行。

打赏鼓励作者,期待更多好文!

打赏
暂无人打赏

流云 发表于 2026-7-3 14:46
  
看来运维人要全能才行
发表新帖
热门标签
全部标签>
GIF动图学习
每日一问
纪元平台
功能体验
高手请过招
新版本体验
知识大闯关
标准化排查
排障那些事
技术笔记
王者破雾峡谷
信服课堂视频
解决方案
2025年技术争霸赛
秒懂零信任
技术盲盒
产品知识周周练
有一说一
产品连连看
畅聊IT
答题自测
专家问答
技术圆桌
在线直播
MVP
网络基础知识
安装部署配置
升级
安全攻防
上网策略
测试报告
日志审计
问题分析处理
流量管理
每日一记
运维工具
用户认证
原创分享
sangfor周刊
VPN 对接
项目案例
SANGFOR资讯
专家分享
技术顾问
信服故事
SDP百科
功能咨询
终端接入
授权
设备维护
资源访问
地址转换
虚拟机
存储
迁移
排障笔记本
产品预警公告
玩转零信任
S豆商城资讯
技术争霸赛
「智能机器人」
追光者计划
2023技术争霸赛专题
卧龙计划
华北区拉练
天逸直播
以战代练
技术晨报
平台使用
山东区技术晨报
文档捉虫
齐鲁TV
华北区交付直播
每周精选
2024年技术争霸赛
北京区每日一练
场景专题
故障笔记
西北区每日一问
升级&主动服务
高频问题集锦
社区新周刊
【 社区to talk】
POC测试案例
全能先锋系列
安全效果
云化安全能力
专家说
热门活动
产品动态
行业实践
产品解析
关键解决方案
声音值千金
工具体验官
产品体验官
VMware替换
课后茶话社

本版版主

105
38
12

发帖

粉丝

关注

本版达人