flying 发表于 2022-5-7 19:04
  
厉害了,技术越来越强
dhf 发表于 2022-5-8 11:06
  
感谢楼主的精彩分享,有助工作!!!
卢冰 发表于 2022-5-8 19:27
  
感谢分享有助于工作和学习。
白鹭先生 发表于 2022-5-8 21:03
  
感谢分享有助于工作和学习。
听雷 发表于 2022-5-8 22:37
  
感谢分享,学习一下~
韩_鹏 发表于 2022-5-9 08:47
  
感谢分享有助于工作和学习!
白鹭先生 发表于 2022-5-9 09:12
  
感谢分享有助于工作和学习。
飞翔的苹果 发表于 2022-5-9 10:39
  
感谢分享有助于工作和学习!
独家揭秘 | 深信服超融合卡慢盘识别准确率高达99%
  

阿云在战斗 9123

{{ttag.title}}

随着各行各业数字化转型升级的加速,数据存储容量和硬盘数量也在不断增加,数据丢失事件时有发生,特别是硬盘故障事件,一旦发生,对于业务的影响不可估量。
超融合在磁盘故障提前检测及处置方面是如何做的?今天就跟大家揭秘信服云的卡慢盘监控和隔离机制。
深信服超融合持续对主机上的硬盘进行IO级监控,如发现有卡盘或者慢盘,就会对硬盘进行隔离处理,避免继续有IO落入该硬盘导致业务卡死或者变慢。超融合卡慢盘检测隔离机制在应用过程中分为监控、识别和处置三个阶段。
一、监控
针对磁盘卡慢故障模式复杂的问题,多维度检测确诊。
超融合采用了Linux通用的工具和信息,包括内核日志分析、smart信息分析、硬盘IO监控数据分析等从多个维度精确定位故障硬盘,真正实现不依赖特定硬件工具、兼容性广的软件定义可靠性。
二、识别
对识别卡慢盘的模型进行细致打磨:超融合卡慢盘检测机制在识别阶段,使用了《卡慢盘识别与处理方案》《一种卡慢盘识别处理方法、装置以及存储介质》《一种慢盘故障精准识别和诊断方法》等专利技术,制定出了更加精准的卡慢盘识别模型,使卡慢盘的识别准确率在99%以上。最终将卡慢盘分为三种类型:卡慢严重慢盘轻微慢盘
三、处置
超融合针对不同类型的卡慢盘采用不同的处置方法,避免业务数据落在卡慢盘上,保障业务数据安全。在上述前提下,尽可能保障业务正常对外提供服务。
超融合针对不同类型卡慢盘处置流程如下:

轻微慢盘
轻微卡慢对业务性能影响较小,优先保障业务运行。超融合会在WEB控制台进行告警,并通过预先设置好的邮件、短信等方式发送给管理员,管理员根据情况进行人工处置。人工处置操作包括手动隔离、替换硬盘等。
严重慢盘
在对端副本正常时,将该硬盘从系统中隔离。新数据多副本写入时,写入到其他健康的硬盘上,业务读取该盘数据时,主动切换到另一副本读取。同时触发数据重建,保障数据的安全性。
在对端副本业务异常时,优先保障业务运行,超融合会在WEB控制台进行告警,并通过预先设置好的邮件、短信等方式发送给管理员,管理员根据情况进行人工处置。
卡盘
在对端副本正常时,将该硬盘从系统中隔离,新数据多副本写入时,写入到其他健康的硬盘上,业务读取该盘数据时,主动切换到另一副本读取,同时触发数据重建,保障数据的安全性。
在对端副本异常时,第一次出现卡慢场景优先保障业务运行。超融合会在WEB控制台进行告警,并通过预先设置好的邮件、短信等方式发送给管理员,管理员根据情况进行人工处置。1小时内出现3次硬盘卡慢时保障数据安全,将该硬盘从系统中隔离。


综合实际测试效果,在未开启卡慢盘检测及处置功能前,在硬盘出现卡慢时,IO多次出现断崖式下降,业务持续受到影响。开启功能后超融合在硬盘卡慢亚健康状态出现后能够在1分钟内检测到并进行隔离处置,隔离后业务IO恢复稳定,整个过程虚拟机不出现HA,降低了卡慢盘对业务性能的影响。根据深信服统计,2021年卡慢盘引发的业务中断问题数下降60%
以上就是本期《信服云黑板报》的分享,关注“深信服科技”微信公众号,可以持续获取更多技术干货内容哦!

打赏鼓励作者,期待更多好文!

打赏
8人已打赏

发表新帖
热门标签
全部标签>
西北区每日一问
技术盲盒
安全效果
技术笔记
【 社区to talk】
干货满满
每日一问
新版本体验
产品连连看
GIF动图学习
技术咨询
2023技术争霸赛专题
安装部署配置
功能体验
通用技术
秒懂零信任
技术晨报
自助服务平台操作指引
原创分享
标准化排查
排障笔记本
玩转零信任
每周精选
深信服技术支持平台
POC测试案例
信服课堂视频
畅聊IT
答题自测
专家问答
技术圆桌
在线直播
MVP
网络基础知识
升级
安全攻防
上网策略
测试报告
日志审计
问题分析处理
流量管理
每日一记
运维工具
云计算知识
用户认证
解决方案
sangfor周刊
VPN 对接
项目案例
SANGFOR资讯
专家分享
技术顾问
信服故事
SDP百科
功能咨询
终端接入
授权
设备维护
资源访问
地址转换
虚拟机
存储
迁移
加速技术
产品预警公告
信服圈儿
S豆商城资讯
技术争霸赛
「智能机器人」
追光者计划
社区帮助指南
答题榜单公布
纪元平台
卧龙计划
华北区拉练
天逸直播
以战代练
山东区技术晨报
文档捉虫活动
齐鲁TV
华北区交付直播
2024年技术争霸赛
北京区每日一练
场景专题
故障笔记
排障那些事
高手请过招
升级&主动服务
高频问题集锦
社区新周刊
全能先锋系列
云化安全能力

本版热帖

本版达人