本帖最后由 乐乐乐乐 于 2024-6-25 13:39 编辑
EDS的安装部署EDS的在本次测试环境拓扑图如下。2个万兆存储交换机以及一个千兆管理交换机,采用存储外网和存储私网均采用单交换机链路聚合。 1、网络类型 l 管理网络:平台管理网络,提供Web网页登录EDS进行运维管理、资源管控等功能,EDS集群存储节点间通信等。要求EDS集群存储节点管理IP与EDS集群IP均在同一网段。 l 存储私网:负责存储节点间存储数据通信。采用lacp链路聚合的方式连接。 l 存储外网:用于对外连接客户端提供存储业务。采用lacp链路聚合 2、IP地址规划要求 每台存储节点至少需要四个网口,规划三组不同网段IP地址:管理网络、存储外网、存储私网,同时需要规划一个集群IP,这个IP需要和管理网络在一个网段。 [虚拟IP池:对外存储服务访问IP,业务服务器通过接入EDS集群的虚拟IP池,从而接入EDS集群的存储服务。虚拟IP池必须与客户业务服务器网口IP网络互通,支持与接入网口地址(推荐存储外网网口)在相同或不同网段,且虚拟IP池的IP地址数量不少于EDS集群节点数量。 3、集群初始化:参照EDS用户手册,这里不赘述 客户端vdbench安装和使用客户端版本:Centos7 1、安装Java vdbench的运行需要依赖于java,先查看主机是否装有java: java -version 我这已经安装完成
如没有安装使用 yum installopenjdk-8-jdk 2、安装vdbench a、安装vdbench,下载vdbench50407.zip包,上传至服务器上 b、解压unzip vdbench50407.zip -d vdbench50407/ c、进入vdbench解压后的目录中,修改vdbench文件的权限 chmod 777 vdbench d、执行./vdbench -t 成功运行即vdbench安装成功 测试脚本1、1m-3client脚本,验证多目录大文件集群读写功能 #指定执行测试客户端 hd=default,vdbench=/data/vdbench,user=root,shell=ssh #说明了默认的vdbench软件存放位置,user为客户端用户名,shell为ssh,说明通过ssh访问 hd=hd1,system=192.168.110.43 #指定测试的客户端1的IP hd=hd2,system=192.168.110.57 #指定测试的客户端2的IP hd=hd3,system=192.168.110.48 #指定测试的客户端3的IP
#定义三个文件系统,指定测试的目录,在测试目录中创建测试的目录深度为1、每层目录的文件夹数量为1、每个文件夹的文件数量为70、每个测试的文件大小为200M; #指定测试使用的文件目录 fsd=fsd1,anchor=/data/test1/1,depth=1,width=1,files=70,size=200M,openflags=o_direct,shared=yes fsd=fsd2,anchor=/data/test2/2,depth=1,width=1,files=70,size=200M,openflags=o_direct,shared=yes fsd=fsd3,anchor=/data/test3/3,depth=1,width=1,files=70,size=200M,openflags=o_direct,shared=yes
fwd=format,xfersize=1m,threads=64
#定义工作负载,配置1m大小的块、64线程、顺序写的工作负载 fwd=fwd1,fsd=fsd*,host=hd1,operation=write,xfersize=1m,fileio=sequential,fileselect=random,threads=64 fwd=fwd2,fsd=fsd*,host=hd2,operation=write,xfersize=1m,fileio=sequential,fileselect=random,threads=64 fwd=fwd3,fsd=fsd*,host=hd3,operation=write,xfersize=1m,fileio=sequential,fileselect=random,threads=64
#定义工作负载,配置1m大小的块、64线程、顺序读的工作负载 fwd=fwd7,fsd=fsd*,host=hd1,operation=read,xfersize=1m,fileio=sequential,fileselect=sequential,threads=64 fwd=fwd8,fsd=fsd*,host=hd2,operation=read,xfersize=1m,fileio=sequential,fileselect=sequential,threads=64 fwd=fwd9,fsd=fsd*,host=hd3,operation=read,xfersize=1m,fileio=sequential,fileselect=sequential,threads=64
#定义工作负载,配置1m大小的块、64线程、顺序选择读写的工作负载 fwd=fwd13,fsd=fsd*,host=hd1,rdpct=70,xfersize=1m,fileio=random,fileselect=sequential,threads=64 fwd=fwd14,fsd=fsd*,host=hd2,rdpct=70,xfersize=1m,fileio=random,fileselect=sequential,threads=64 fwd=fwd15,fsd=fsd*,host=hd3,rdpct=70,xfersize=1m,fileio=random,fileselect=sequential,threads=64
#执行1m顺序写测试,测试时间为180秒 rd=rd1_1m_seqWrite,fwd=(fwd1-fwd3),fwdrate=max,format=restart,elapsed=180,interval=1
#执行1m顺序读测试,测试时间为180秒 rd=rd2_1m_seqRead,fwd=(fwd7-fwd9),fwdrate=max,format=restart,elapsed=180,interval=1
#执行1m随机读写测试,测试时间为180秒 rd=rd3_1m_MixRW,fwd=(fwd13-fwd15),fwdrate=max,format=restart,elapsed=180,interval=1
2、4k-3client脚本,验证多目录小文件集群读写功能 #指定执行测试客户端 hd=default,vdbench=/data/vdbench,user=root,shell=ssh #说明了默认的vdbench软件存放位置,user为客户端用户名,shell为ssh,说明通过ssh访问 hd=hd1,system=192.168.110.43 #指定测试的客户端1的IP hd=hd2,system=192.168.110.57 #指定测试的客户端2的IP hd=hd3,system=192.168.110.48 #指定测试的客户端3的IP
#定义三个文件系统,指定测试的目录,在测试目录中创建测试的目录深度为1、每层目录的文件夹数量为1、每个文件夹的文件数量为30000、每个测试的文件大小为64k; #指定测试使用的文件目录 fsd=fsd1,anchor=/data/t1/1,depth=1,width=1,files=30000,size=64k,openflags=o_direct,shared=yes fsd=fsd2,anchor=/data/t2/1,depth=1,width=1,files=30000,size=64k,openflags=o_direct,shared=yes fsd=fsd3,anchor=/data/t3/1,depth=1,width=1,files=30000,size=64k,openflags=o_direct,shared=yes fsd=fsd4,anchor=/data/t4/1,depth=1,width=1,files=30000,size=64k,openflags=o_direct,shared=yes
fwd=format,xfersize=4k,threads=16
#定义工作负载,配置4k大小的块、64线程、顺序写的工作负载 fwd=fwd1,fsd=fsd*,host=hd1,operation=write,xfersize=4k,fileio=sequential,fileselect=random,threads=16 fwd=fwd2,fsd=fsd*,host=hd2,operation=write,xfersize=4k,fileio=sequential,fileselect=random,threads=16 fwd=fwd3,fsd=fsd*,host=hd3,operation=write,xfersize=4k,fileio=sequential,fileselect=random,threads=16
#定义工作负载,配置4k大小的块、64线程、顺序读的工作负载 fwd=fwd7,fsd=fsd*,host=hd1,operation=read,xfersize=4k,fileio=sequential,fileselect=sequential,threads=16 fwd=fwd8,fsd=fsd*,host=hd2,operation=read,xfersize=4k,fileio=sequential,fileselect=sequential,threads=16 fwd=fwd9,fsd=fsd*,host=hd3,operation=read,xfersize=4k,fileio=sequential,fileselect=sequential,threads=16
#定义工作负载,配置4k大小的块、64线程、顺序选择读写的工作负载 fwd=fwd13,fsd=fsd*,host=hd1,rdpct=70,xfersize=4k,fileio=random,fileselect=sequential,threads=16 fwd=fwd14,fsd=fsd*,host=hd2,rdpct=70,xfersize=4k,fileio=random,fileselect=sequential,threads=16 fwd=fwd15,fsd=fsd*,host=hd3,rdpct=70,xfersize=4k,fileio=random,fileselect=sequential,threads=16
#执行顺序4k写测试,测试时间为180秒 rd=rd1_4k_seqWrite,fwd=(fwd1-fwd3),fwdrate=max,format=restart,elapsed=60,interval=1
#执行4k顺序读测试,测试时间为180秒 rd=rd2_4k_seqRead,fwd=(fwd7-fwd8),fwdrate=max,format=restart,elapsed=60,interval=1
#执行4k随机读写测试,测试时间为180秒 rd=rd3_4k_MixRW,fwd=(fwd13-fwd15),fwdrate=max,format=restart,elapsed=60,interval=1
挂载方式1m-3client测试挂载方式 3节点集群的虚拟IP分别为192.168.110.130、131、132,一个客户端上使用三个虚拟IP挂载EDS一个文件目录,使得分布式存储能力发挥到极限。 4k-3client挂载方式 EDS上创建12个文件目录0-11,创建的时候注意手动勾选元数据服务节点,性能优化方式选择非均衡 在EDS后台查看mds所属EDS节点,由主机名称确认主机所属虚拟IP,整理成表格得出挂载点 看测试结果 Vdbench测试完成会在这个目录得出结论 data/vdbench/output 查看output目录下totals.html文件 |