【2022争霸赛*干货满满】 深信服企业级分布式存储EDS上架配置分享
  

网泰王晓庆 48043人觉得有帮助

{{ttag.title}}
本帖最后由 网泰王晓庆 于 2022-9-26 11:12 编辑

各位技术大牛好,本人小白,发表帖子经验较少,贴中观点仅为个人理解,有错误欢迎大家指正。
这次给大家带来的是深信服企业级分布式存储EDS的上架配置经验分享
1、首先明确客户的网络拓扑,确定设备位置
2、明确网络类型和特点
2.1.管理网络:平台管理网络,提供Web网页登录EDS进行运维管理、资源管控等功能,EDS集群存储节点间通信等。要求EDS集群存储节点管理IP与EDS集群IP均在同一网段
2.2.存储私网:负责存储节点间存储数据通信。采用链路聚合/无链路聚合的方式连接
2.3.存储外网(业务网络):用于对外连接客户端提供存储业务。采用链路聚合/无链路聚合的方式连接。

3、组网说明
3.1.存储外网(业务网络):采用2*10GE网口,并做网口聚合绑定,接入层使用两台万兆交换机进行堆叠或者MLAG,交换机对应的两个接口也做链路聚合(链路聚合的方式推荐采用主备和链路均衡模式balance-xor)
3.2.存储私网:采用2*10GE网口,采用链路聚合,增加网络冗余性和传输带宽。每台存储节点使用2个10GE网口作链路聚合口后,同时连接到堆叠或者MLAG的两台交换机上,交换机对应的两个接口也做链路聚合(链路聚合的方式推荐采用主备和链路均衡模式balance-xor)
3.3.管理网络:采用2*GE网口,采用链路聚合,增加网络的可靠性。每台存储节点使用2个1GE网口作链路聚合口后,连接到堆叠或者MLAG的两台交换机上,交换机对应的两个接口也做链路聚合(链路聚合的方式推荐采用主备和链路均衡模式balance-xor)
(注:当网口采用链路聚合的方式组网时,聚合配置要求如下:
1.轮询模式(balance-rr):提供负载平衡和容错能力,对端交换机对应网口也需配置为轮询负载均衡模式(mode0:round-roubin)
2.主备模式(active-backup):提供网口级别的冗余机制,但不能做到网口的负载均衡,对端交换机对应网口无需任何配置(mode1:active-backup)
3.主备和链路均衡模式(balance-xor):推荐配置。此模式提供负载平衡和容错能力,对端交换机对应网口也需配置为哈希负载均衡模式,建议xmit_hash_policy参数(用于指定hash策略)配置为:源MAC地址XOR目标MAC地址。)

4、IP地址规划要求
每台存储节点规划三组不同网段IP地址:管理网络、存储外网、存储私网,同时需要规划一个集群IP,这个IP需要和管理网络在一个网段
[虚拟IP池]:对外存储服务访问IP,业务服务器通过接入EDS集群的虚拟IP池,从而接入EDS集群的存储服务。虚拟IP池必须与客户业务服务器网口IP网络互通,支持与存储外网网口在相同或不同网段,且虚拟IP池的IP地址数量不少于EDS集群节点数量
(注:如何保证高可用性:业务服务器通过虚拟IP池中的其中一个IP接入,进行存储业务访问。当一台EDS服务器故障后,此EDS服务器上的虚拟IP会随机漂移到另一台EDS服务器上的存储外网物理口,保证业务服务器的存储服务不中断。)
块存储:须配置虚拟IP池,且需配置接入IP做对外的统一访问接口。(接入IP可与虚拟IP池中的IP相同)
文件存储和对象存储:需要配置虚拟IP池,通过虚拟IP池和业务服务器通信
N台存储节点,要求存储业务高可用和负载均衡情况下,IP地址数量要求如下:

5、文档和工具准备
5.1 获取最新的用户手册
5.2 授权文件(在随设备发货的U盘内)
5.3 EDS安装包、升级包(实施前明确需要实施的版本)
5.4 Chrome、UltraISO、Xshell、MD5等工具软件
5.5 S3Browser(对象存储测试)、mount.util(NFS文件存储测试)、IOmeter等测试工具
(注:1.授权容量按照数据盘裸磁盘容量总和计算,而不是按照初始化完成后的可用容量计算。2.商业授权软件升级服务无限期,测试授权软件升级服务为90天)
导入授权步骤:
登录EDS控制台,并依次找到[系统管理/系统设置/授权管理],进入授权管理页面
点击<导入授权文件>,选择对应的授权LIC文件导入。导入后结果如下图所示

6、上架操作步骤
6.1.EDS一体机修改默认IP。EDS一体机出厂时已经安装了EDS的系统。默认ETH0口为管理口,IP地址为10.252.252.1。(也可在一体机上外接显示器和键盘,修改管理口IP,重启后生效)
6.22.使用网线连接PC的物理网口和一体机的Eth0口(一体机上有标明),一般将PC的网卡配置为跟ETH0口同网段的IP地址如10.252.252.2,然后打开Chrome浏览器,地址栏输入https://10.252.252.1,打开控制台界面。默认登录账号和密码均为admin
6.3.登录后,可以点击<管理口IP设置>修改默认IP地址。按实际情况修改管理口IP地址。
6.4输入规划好的集群IP地址、子网掩码以及集群名称
6.5.选择<+>分别添加存储主机
6.6输入要添加的存储主机的IP地址、用户名admin和密码
6.7.选择存储私网的通信部署方式,可以选择链路聚合和无链路聚合两种方式。选择链路聚合方式具有链路冗余和带宽聚合;选择无链路聚合则不具备这个功能。
(注:1.轮询模式(balance-rr):提供负载平衡和容错能力,对端交换机对应网口也需配置为轮询负载均衡模式(mode0:round-roubin)。2.主备模式(active-backup):提供网口级别的冗余机制,但不能做到网口的负载均衡,对端交换机对应网口无线任何配置(mode1:active-backup)。3.主备和链路均衡模式(balance-xor):此模式提供负载平衡和容错能力,对端交换机对应网口也需配置为哈希负载均衡模式,建议xmit_hash_policy参数(用于指定hash策略)配置为:源MAC地址XOR目标MAC地址)
6.8输入网络名称和规划的存储外网的IP地址。选择<添加网络>,配置存储外网(存储外网可以在完成集群配置后单独配置)
6.9.选择存储外网的通信部署方式,可以选择链路聚合和无链路聚合两种方式。选择链路聚合方式具有链路冗余和带宽聚合;选择无链路聚合则不具备这个功能
6.10.选择<下一步>,进入下一步操作
6.11.配置DNS服务器
6.12.配置时间同步。(集群时间必须正确,请确认时间同步准确后,再继续)

6.13.输入OK,点击<确定>
6.14.点击<创建集群>,开始集群创建
6.15.等待集群创建

7、存储池创建
集群创建完毕后,需要创建存储池才可以使用,存储池分为高性能块存储和容量型通用存储两种。容量型通用存储池提供文件存储和对象存储服务,高性能块存储池提供块存储服务
(注:一个集群只允许创建一个高性能块存储池和一个容量型通用存储池)
7.1.登录EDS控制台,选择[资源管理],会提示需要创建存储池,选择<立即创建存储池>,或者依次打开[资源管理/存储池]
7.2.点击<创建存储池>
7.3.填写存储池的名称,选择存储池类型为[容量型通用存储],填写紧急容量阈值(范围是5%—20%),配置存储池SSD和HDD磁盘数量(推荐SSD和HDD磁盘的数量比为1:5),选择纠删码冗余策略为“EC4+2”或者“EC8+2”
注:1.数据池EC4+2策略要求:3~5节点:每个节点至少2块SSD,2块HDD。6节点:每个节点至少1块SSD,1块HDD。2.数据池EC8+2策略要求(至少选择5节点):每个节点至少2块SSD,2块HDD。3.紧急容量预留:系统将预留部分存储容量,在容量写满等紧急情况使用并提前告警,以预留10%的紧急容量为例,可以实现以下效果:a.提前告警:当存储池容量达到80%时将出现容量告警,提醒用户及时扩容,系统告警阈值=100%-预留容量阈值-10%;b.容量预留:若管理员没有关注容量告警,当存储池空间完全用尽,业务系统无法写入数据,此时管理员很难在短时间内扩容,从而导致业务长时间受影响。为避免以上情况的发生,存储池支持预留10%的紧急容量,此时当空间持续增长到90%时,业务系统无法写入数据,管理员可以降低预留的阈值(最低可以调整为5%),从而达到快速恢复业务,且有足够的缓冲期完成扩容的目的)
7.4.核对每台存储主机的缓存盘和数据盘的数量、容量是否准确。
7.5.点击<缓存盘全局配置>,配置单个缓存盘的分布式缓存、磁盘元数据、磁盘缓存、文件系统元数据的大小。(建议使用推荐设置即可)
(注:缓存盘配置信息使用默认的推荐配置即可,无需改动。1.PhxCache:缓存加速组件,用于前端业务的读写加速。2.PhxKV:元数据存储组件,作为存储系统的元数据存储引擎。3.PhxBcache:缓存加速组件,用于机械盘的读写加速。)
7.6.确认无误后,点击<创建>后即开始创建存储池,等待创建完成
7.7.创建高性能块存储池,依次打开[资源管理/存储池],点击<创建存储池>
7.8.选择存储池类型为[高性能块存储],填写存储池名称,填写紧急容量阈值(范围是2%—20%),配置存储池SSD和HDD磁盘数量,原则上SSD和HDD磁盘的数量比不低于1:6,推荐为1:3
(注:1.每个节点至少1块SSD,1块HDD。2.紧急容量预留:系统将预留部分存储容量,在容量写满等紧急情况使用并提前告警,以预留10%的紧急容量为例,可以实现以下效果:a.提前告警:当存储池容量达到80%时将出现容量告警,提醒用户及时扩容,系统告警阈值=100%-预留容量阈值-10%;b.容量预留:若管理员没有关注容量告警,当存储池空间完全用尽,业务系统无法写入数据,此时管理员很难在短时间内扩容,从而导致业务长时间受影响。为避免以上情况的发生,存储池支持预留10%的紧急容量,此时当空间持续增长到90%时,业务系统无法写入数据,管理员可以降低预留的阈值(最低可以调整到2%),从而达到快速恢复业务,且有足够的缓冲期完成扩容的目的。)
7.9.核对各台主机用于创建块存储池的缓存盘、数据盘的数量及容量是否正确
7.10.切换为磁盘组模式,确认是否满足磁盘组要求
7.11.确认无误后,点击<创建>后即开始创建存储池,等待创建完成

8、使用工具进行检测:
8.1在平台部署完毕后,需要检查当前版本是否有可用的补丁需要升级,请使用EDS智能巡检工具进行检查,并按照检测结果升级对应的补丁包。
工具下载地址:
https://bbs.sangfor.com.cn/plugin.php?id=service:download&action=tool



好了,到这里就结束了,以上步骤纯属个人理解,欢迎各位大牛指正里面的遗漏和错误!!!
另外还有一句话,山外青山楼外楼,求个点赞行不行~~~~~

打赏鼓励作者,期待更多好文!

打赏
1人已打赏

新手207330 发表于 2022-9-28 15:34
  
感谢楼主分享!配置上架属于基本操作可参考指导书,帖子的主要目的是分享高难新方案或者问题处理思路方案以便于大家学习哈,期待楼主带来更多有价值的案例。
山东_朱文鑫 发表于 2022-9-26 11:19
  
向大佬学习!!!!!!!!!!!11
平凡的小网工 发表于 2022-10-19 16:14
  
楼主的文章图文并茂,清晰易懂,看完这波操作可以轻松上手了,如遇到问题再向楼主请教~
一个无趣的人 发表于 2022-11-2 10:27
  
我在社区摸爬滚打这么多年,所谓阅人无数,就算没有见过猪走路,也总明白猪肉是啥味道的。一看到楼主的气势,我就觉得楼主同在社区里灌水的那帮小混子有着本质的差别,你一定就是传说中的最强技术牛。
jan 发表于 2023-10-7 10:50
  
感谢楼主分享!配置上架属于基本操作可参考指导书
发表新帖
热门标签
全部标签>
安全效果
西北区每日一问
技术盲盒
技术笔记
干货满满
【 社区to talk】
每日一问
信服课堂视频
GIF动图学习
新版本体验
技术咨询
功能体验
2023技术争霸赛专题
产品连连看
自助服务平台操作指引
标准化排查
秒懂零信任
技术晨报
安装部署配置
原创分享
排障笔记本
玩转零信任
排障那些事
SDP百科
技术争霸赛
深信服技术支持平台
通用技术
以战代练
升级&主动服务
社区新周刊
畅聊IT
答题自测
专家问答
技术圆桌
在线直播
MVP
网络基础知识
升级
安全攻防
上网策略
测试报告
日志审计
问题分析处理
流量管理
每日一记
运维工具
云计算知识
用户认证
解决方案
sangfor周刊
VPN 对接
项目案例
SANGFOR资讯
专家分享
技术顾问
信服故事
功能咨询
终端接入
授权
设备维护
资源访问
地址转换
虚拟机
存储
迁移
加速技术
产品预警公告
信服圈儿
S豆商城资讯
「智能机器人」
追光者计划
社区帮助指南
答题榜单公布
纪元平台
卧龙计划
华北区拉练
天逸直播
山东区技术晨报
文档捉虫活动
齐鲁TV
华北区交付直播
每周精选
2024年技术争霸赛
北京区每日一练
场景专题
故障笔记
高手请过招
高频问题集锦
POC测试案例
全能先锋系列
云化安全能力

本版版主

107
51
12

发帖

粉丝

关注

本版达人