【aCloud】HA测试之误操作导致脑裂
  

Spanlee 4525

{{ttag.title}}
问题描述   

                                

      客户环境是两个节点的超融合,部署完成后,进行HA测试,通过拔带另外一台物理主机的所有网线模拟物理主机离线或宕机。HA完成后,插回网线。


    脑裂后是没有告警信息的,不过会有一个现象。重启两台物理主机后,虚拟机可以开始开机操作(如下图),但最后会开机失败。


处理过程                                    
这种情况下,重启两台物理主机后,可能是两台主机数据不同步导致脑裂,这时需要协调深信400帮忙解决问题,看是否能够找回数据。


原因
                                    
HA过程中拔掉其中一台主机的所有网线模拟主机离线或宕机,这时两台主机的虚拟机都在运行(会导致两个副本数据不一致),且相互认为另外一台主机离线,两台主机会把各自的副本当作集群的主运行副本,重启主机后,集群不能确认哪个副本是主运行副本,导致虚拟机不能开机。


解决方案                                    
1. 若问题已经产生,这时只能联系某公司400,寻找研发,找到两个副本,先把其中一个副本挂载,协调客户确认副本没问题后,用此副本覆盖另外一个副本。若两个副本都有问题,只能尽量对比,用最新的副本覆盖旧的副本。最坏结果就是数据丢失,找不回来了。

2.最佳解决方案就是严格按照标准化测试方案进行测试,避免误操作。
                                                        

建议与总结                                   
1.若要避免这种误操作,首先不能用拔掉物理主机所有网线的方式模拟主机离线。关于HA测试,请严格遵守超融合标准化PoC测试方案中的《A01-HCI-POC-某公司超融合测试方案》中的计划外保护HA。如果可以的话,进行HA测试前,先咨询某公司厂家服务或请教有HA测试经验的同事。

2.在做超融合方案时,可以推荐使用至少三个节点以上的部署方案,可以有效避免脑裂现象的产生。
                                
                                




打赏鼓励作者,期待更多好文!

打赏
2人已打赏

Sangfor_闪电回_朱丽 发表于 2019-9-6 17:14
  
感谢楼主带来的经验分享,小伙伴们学习起来,避免误操作哦!
秋水伊人 发表于 2019-9-9 15:12
  
感谢分享!
水之蓝色 发表于 2019-9-9 21:11
  
学习一下,谢谢分享!
蓝海 发表于 2019-9-11 17:08
  
感谢楼主的分享
13712507178 发表于 2019-9-18 10:14
  
如果能附上问题发生的详细过程及后续的处理结果就完美了。感谢作者分享,让我们避免在后期测试中踩坑。
liugd1013 发表于 2019-9-18 13:58
  
这个问题必须避免,否则很麻烦
凡鸟末世 发表于 2019-9-18 14:34
  
谢谢分享,涨知识啦
2804925644 发表于 2021-3-19 11:06
  
学到了,简直干活,有利于工作开展
发表新帖
热门标签
全部标签>
技术盲盒
西北区每日一问
安全效果
干货满满
每日一问
技术笔记
新版本体验
【 社区to talk】
产品连连看
功能体验
技术咨询
GIF动图学习
标准化排查
2023技术争霸赛专题
每周精选
信服课堂视频
通用技术
自助服务平台操作指引
秒懂零信任
技术晨报
安装部署配置
答题自测
原创分享
升级&主动服务
社区新周刊
POC测试案例
畅聊IT
专家问答
技术圆桌
在线直播
MVP
网络基础知识
升级
安全攻防
上网策略
测试报告
日志审计
问题分析处理
流量管理
每日一记
运维工具
云计算知识
用户认证
解决方案
sangfor周刊
VPN 对接
项目案例
SANGFOR资讯
专家分享
技术顾问
信服故事
SDP百科
功能咨询
终端接入
授权
设备维护
资源访问
地址转换
虚拟机
存储
迁移
加速技术
排障笔记本
产品预警公告
玩转零信任
信服圈儿
S豆商城资讯
技术争霸赛
「智能机器人」
追光者计划
深信服技术支持平台
社区帮助指南
答题榜单公布
纪元平台
卧龙计划
华北区拉练
天逸直播
以战代练
山东区技术晨报
文档捉虫活动
齐鲁TV
华北区交付直播
2024年技术争霸赛
北京区每日一练
场景专题
故障笔记
排障那些事
高手请过招
高频问题集锦
全能先锋系列
云化安全能力

本版版主

189
299
979

发帖

粉丝

关注

217
288
151

发帖

粉丝

关注

25
13
5

发帖

粉丝

关注

7
11
24

发帖

粉丝

关注

5
7
7

发帖

粉丝

关注

31
34
45

发帖

粉丝

关注

本版达人

皮皮虾·真

本周建议达人

郑州网络

本周分享达人

二进制网络

本周提问达人