本帖最后由 网泰王晓庆 于 2022-9-26 11:12 编辑
各位技术大牛好,本人小白,发表帖子经验较少,贴中观点仅为个人理解,有错误欢迎大家指正。
这次给大家带来的是深信服企业级分布式存储EDS的上架配置经验分享
1、首先明确客户的网络拓扑,确定设备位置2、明确网络类型和特点 2.1.管理网络:平台管理网络,提供Web网页登录EDS进行运维管理、资源管控等功能,EDS集群存储节点间通信等。要求EDS集群存储节点管理IP与EDS集群IP均在同一网段 2.2.存储私网:负责存储节点间存储数据通信。采用链路聚合/无链路聚合的方式连接 2.3.存储外网(业务网络):用于对外连接客户端提供存储业务。采用链路聚合/无链路聚合的方式连接。
3、组网说明 3.1.存储外网(业务网络):采用2*10GE网口,并做网口聚合绑定,接入层使用两台万兆交换机进行堆叠或者MLAG,交换机对应的两个接口也做链路聚合(链路聚合的方式推荐采用主备和链路均衡模式balance-xor) 3.2.存储私网:采用2*10GE网口,采用链路聚合,增加网络冗余性和传输带宽。每台存储节点使用2个10GE网口作链路聚合口后,同时连接到堆叠或者MLAG的两台交换机上,交换机对应的两个接口也做链路聚合(链路聚合的方式推荐采用主备和链路均衡模式balance-xor) 3.3.管理网络:采用2*GE网口,采用链路聚合,增加网络的可靠性。每台存储节点使用2个1GE网口作链路聚合口后,连接到堆叠或者MLAG的两台交换机上,交换机对应的两个接口也做链路聚合(链路聚合的方式推荐采用主备和链路均衡模式balance-xor) (注:当网口采用链路聚合的方式组网时,聚合配置要求如下: 1.轮询模式(balance-rr):提供负载平衡和容错能力,对端交换机对应网口也需配置为轮询负载均衡模式(mode0:round-roubin) 2.主备模式(active-backup):提供网口级别的冗余机制,但不能做到网口的负载均衡,对端交换机对应网口无需任何配置(mode1:active-backup) 3.主备和链路均衡模式(balance-xor):推荐配置。此模式提供负载平衡和容错能力,对端交换机对应网口也需配置为哈希负载均衡模式,建议xmit_hash_policy参数(用于指定hash策略)配置为:源MAC地址XOR目标MAC地址。)
4、IP地址规划要求 每台存储节点规划三组不同网段IP地址:管理网络、存储外网、存储私网,同时需要规划一个集群IP,这个IP需要和管理网络在一个网段 [虚拟IP池]:对外存储服务访问IP,业务服务器通过接入EDS集群的虚拟IP池,从而接入EDS集群的存储服务。虚拟IP池必须与客户业务服务器网口IP网络互通,支持与存储外网网口在相同或不同网段,且虚拟IP池的IP地址数量不少于EDS集群节点数量 (注:如何保证高可用性:业务服务器通过虚拟IP池中的其中一个IP接入,进行存储业务访问。当一台EDS服务器故障后,此EDS服务器上的虚拟IP会随机漂移到另一台EDS服务器上的存储外网物理口,保证业务服务器的存储服务不中断。) 块存储:须配置虚拟IP池,且需配置接入IP做对外的统一访问接口。(接入IP可与虚拟IP池中的IP相同) 文件存储和对象存储:需要配置虚拟IP池,通过虚拟IP池和业务服务器通信 N台存储节点,要求存储业务高可用和负载均衡情况下,IP地址数量要求如下:
5、文档和工具准备 5.1 获取最新的用户手册 5.2 授权文件(在随设备发货的U盘内) 5.3 EDS安装包、升级包(实施前明确需要实施的版本) 5.4 Chrome、UltraISO、Xshell、MD5等工具软件 5.5 S3Browser(对象存储测试)、mount.util(NFS文件存储测试)、IOmeter等测试工具 (注:1.授权容量按照数据盘裸磁盘容量总和计算,而不是按照初始化完成后的可用容量计算。2.商业授权软件升级服务无限期,测试授权软件升级服务为90天) 导入授权步骤: 登录EDS控制台,并依次找到[系统管理/系统设置/授权管理],进入授权管理页面 点击<导入授权文件>,选择对应的授权LIC文件导入。导入后结果如下图所示
6、上架操作步骤 6.1.EDS一体机修改默认IP。EDS一体机出厂时已经安装了EDS的系统。默认ETH0口为管理口,IP地址为10.252.252.1。(也可在一体机上外接显示器和键盘,修改管理口IP,重启后生效) 6.22.使用网线连接PC的物理网口和一体机的Eth0口(一体机上有标明),一般将PC的网卡配置为跟ETH0口同网段的IP地址如10.252.252.2,然后打开Chrome浏览器,地址栏输入 https://10.252.252.1,打开控制台界面。默认登录账号和密码均为admin 6.3.登录后,可以点击<管理口IP设置>修改默认IP地址。按实际情况修改管理口IP地址。 6.4输入规划好的集群IP地址、子网掩码以及集群名称 6.5.选择<+>分别添加存储主机 6.6输入要添加的存储主机的IP地址、用户名admin和密码 6.7.选择存储私网的通信部署方式,可以选择链路聚合和无链路聚合两种方式。选择链路聚合方式具有链路冗余和带宽聚合;选择无链路聚合则不具备这个功能。 (注:1.轮询模式(balance-rr):提供负载平衡和容错能力,对端交换机对应网口也需配置为轮询负载均衡模式(mode0:round-roubin)。2.主备模式(active-backup):提供网口级别的冗余机制,但不能做到网口的负载均衡,对端交换机对应网口无线任何配置(mode1:active-backup)。3.主备和链路均衡模式(balance-xor):此模式提供负载平衡和容错能力,对端交换机对应网口也需配置为哈希负载均衡模式,建议xmit_hash_policy参数(用于指定hash策略)配置为:源MAC地址XOR目标MAC地址) 6.8输入网络名称和规划的存储外网的IP地址。选择<添加网络>,配置存储外网(存储外网可以在完成集群配置后单独配置) 6.9.选择存储外网的通信部署方式,可以选择链路聚合和无链路聚合两种方式。选择链路聚合方式具有链路冗余和带宽聚合;选择无链路聚合则不具备这个功能 6.10.选择<下一步>,进入下一步操作 6.11.配置DNS服务器 6.12.配置时间同步。(集群时间必须正确,请确认时间同步准确后,再继续)
6.13.输入OK,点击<确定> 6.14.点击<创建集群>,开始集群创建 6.15.等待集群创建
7、存储池创建 集群创建完毕后,需要创建存储池才可以使用,存储池分为高性能块存储和容量型通用存储两种。容量型通用存储池提供文件存储和对象存储服务,高性能块存储池提供块存储服务 (注:一个集群只允许创建一个高性能块存储池和一个容量型通用存储池) 7.1.登录EDS控制台,选择[资源管理],会提示需要创建存储池,选择<立即创建存储池>,或者依次打开[资源管理/存储池] 7.2.点击<创建存储池> 7.3.填写存储池的名称,选择存储池类型为[容量型通用存储],填写紧急容量阈值(范围是5%—20%),配置存储池SSD和HDD磁盘数量(推荐SSD和HDD磁盘的数量比为1:5),选择纠删码冗余策略为“EC4+2”或者“EC8+2” (注:1.数据池EC4+2策略要求:3~5节点:每个节点至少2块SSD,2块HDD。6节点:每个节点至少1块SSD,1块HDD。2.数据池EC8+2策略要求(至少选择5节点):每个节点至少2块SSD,2块HDD。3.紧急容量预留:系统将预留部分存储容量,在容量写满等紧急情况使用并提前告警,以预留10%的紧急容量为例,可以实现以下效果:a.提前告警:当存储池容量达到80%时将出现容量告警,提醒用户及时扩容,系统告警阈值=100%-预留容量阈值-10%;b.容量预留:若管理员没有关注容量告警,当存储池空间完全用尽,业务系统无法写入数据,此时管理员很难在短时间内扩容,从而导致业务长时间受影响。为避免以上情况的发生,存储池支持预留10%的紧急容量,此时当空间持续增长到90%时,业务系统无法写入数据,管理员可以降低预留的阈值(最低可以调整为5%),从而达到快速恢复业务,且有足够的缓冲期完成扩容的目的) 7.4.核对每台存储主机的缓存盘和数据盘的数量、容量是否准确。 7.5.点击<缓存盘全局配置>,配置单个缓存盘的分布式缓存、磁盘元数据、磁盘缓存、文件系统元数据的大小。(建议使用推荐设置即可) (注:缓存盘配置信息使用默认的推荐配置即可,无需改动。1.PhxCache:缓存加速组件,用于前端业务的读写加速。2.PhxKV:元数据存储组件,作为存储系统的元数据存储引擎。3.PhxBcache:缓存加速组件,用于机械盘的读写加速。) 7.6.确认无误后,点击<创建>后即开始创建存储池,等待创建完成 7.7.创建高性能块存储池,依次打开[资源管理/存储池],点击<创建存储池> 7.8.选择存储池类型为[高性能块存储],填写存储池名称,填写紧急容量阈值(范围是2%—20%),配置存储池SSD和HDD磁盘数量,原则上SSD和HDD磁盘的数量比不低于1:6,推荐为1:3 (注:1.每个节点至少1块SSD,1块HDD。2.紧急容量预留:系统将预留部分存储容量,在容量写满等紧急情况使用并提前告警,以预留10%的紧急容量为例,可以实现以下效果:a.提前告警:当存储池容量达到80%时将出现容量告警,提醒用户及时扩容,系统告警阈值=100%-预留容量阈值-10%;b.容量预留:若管理员没有关注容量告警,当存储池空间完全用尽,业务系统无法写入数据,此时管理员很难在短时间内扩容,从而导致业务长时间受影响。为避免以上情况的发生,存储池支持预留10%的紧急容量,此时当空间持续增长到90%时,业务系统无法写入数据,管理员可以降低预留的阈值(最低可以调整到2%),从而达到快速恢复业务,且有足够的缓冲期完成扩容的目的。) 7.9.核对各台主机用于创建块存储池的缓存盘、数据盘的数量及容量是否正确 7.10.切换为磁盘组模式,确认是否满足磁盘组要求 7.11.确认无误后,点击<创建>后即开始创建存储池,等待创建完成
8、使用工具进行检测: 8.1在平台部署完毕后,需要检查当前版本是否有可用的补丁需要升级,请使用EDS智能巡检工具进行检查,并按照检测结果升级对应的补丁包。 工具下载地址: https://bbs.sangfor.com.cn/plugin.php?id=service:download&action=tool
好了,到这里就结束了,以上步骤纯属个人理解,欢迎各位大牛指正里面的遗漏和错误!!! 另外还有一句话,山外青山楼外楼,求个点赞行不行~~~~~ |