一次EDS文件存储使用vdbench测试过程

EDS的安装部署

EDS的在本次测试环境拓扑图如下。2个万兆存储交换机以及一个千兆管理交换机，采用存储外网和存储私网均采用单交换机链路聚合。

1、网络类型

l  管理网络：平台管理网络，提供Web网页登录EDS进行运维管理、资源管控等功能，EDS集群存储节点间通信等。要求EDS集群存储节点管理IP与EDS集群IP均在同一网段。

l  存储私网：负责存储节点间存储数据通信。采用lacp链路聚合的方式连接。

l  存储外网：用于对外连接客户端提供存储业务。采用lacp链路聚合

2、IP地址规划要求

每台存储节点至少需要四个网口，规划三组不同网段IP地址：管理网络、存储外网、存储私网，同时需要规划一个集群IP，这个IP需要和管理网络在一个网段。

[虚拟IP池：对外存储服务访问IP，业务服务器通过接入EDS集群的虚拟IP池，从而接入EDS集群的存储服务。虚拟IP池必须与客户业务服务器网口IP网络互通，支持与接入网口地址（推荐存储外网网口）在相同或不同网段，且虚拟IP池的IP地址数量不少于EDS集群节点数量。

3、集群初始化：参照EDS用户手册，这里不赘述

客户端vdbench安装和使用

客户端版本：Centos7

1、安装Java

vdbench的运行需要依赖于java，先查看主机是否装有java：

java -version

我这已经安装完成

如没有安装使用

yum installopenjdk-8-jdk

2、安装vdbench

a、安装vdbench,下载vdbench50407.zip包，上传至服务器上

b、解压unzip vdbench50407.zip -d vdbench50407/

c、进入vdbench解压后的目录中，修改vdbench文件的权限

chmod 777 vdbench

d、执行./vdbench -t 成功运行即vdbench安装成功

测试脚本

1、1m-3client脚本，验证多目录大文件集群读写功能

#指定执行测试客户端

hd=default,vdbench=/data/vdbench,user=root,shell=ssh  #说明了默认的vdbench软件存放位置，user为客户端用户名，shell为ssh，说明通过ssh访问

hd=hd1,system=192.168.110.43   #指定测试的客户端1的IP

hd=hd2,system=192.168.110.57  #指定测试的客户端2的IP

hd=hd3,system=192.168.110.48   #指定测试的客户端3的IP

#定义三个文件系统，指定测试的目录，在测试目录中创建测试的目录深度为1、每层目录的文件夹数量为1、每个文件夹的文件数量为70、每个测试的文件大小为200M；

#指定测试使用的文件目录

fsd=fsd1,anchor=/data/test1/1,depth=1,width=1,files=70,size=200M,openflags=o_direct,shared=yes

fsd=fsd2,anchor=/data/test2/2,depth=1,width=1,files=70,size=200M,openflags=o_direct,shared=yes

fsd=fsd3,anchor=/data/test3/3,depth=1,width=1,files=70,size=200M,openflags=o_direct,shared=yes

fwd=format,xfersize=1m,threads=64

#定义工作负载，配置1m大小的块、64线程、顺序写的工作负载

fwd=fwd1,fsd=fsd*,host=hd1,operation=write,xfersize=1m,fileio=sequential,fileselect=random,threads=64

fwd=fwd2,fsd=fsd*,host=hd2,operation=write,xfersize=1m,fileio=sequential,fileselect=random,threads=64

fwd=fwd3,fsd=fsd*,host=hd3,operation=write,xfersize=1m,fileio=sequential,fileselect=random,threads=64

#定义工作负载，配置1m大小的块、64线程、顺序读的工作负载

fwd=fwd7,fsd=fsd*,host=hd1,operation=read,xfersize=1m,fileio=sequential,fileselect=sequential,threads=64

fwd=fwd8,fsd=fsd*,host=hd2,operation=read,xfersize=1m,fileio=sequential,fileselect=sequential,threads=64

fwd=fwd9,fsd=fsd*,host=hd3,operation=read,xfersize=1m,fileio=sequential,fileselect=sequential,threads=64

#定义工作负载，配置1m大小的块、64线程、顺序选择读写的工作负载

fwd=fwd13,fsd=fsd*,host=hd1,rdpct=70,xfersize=1m,fileio=random,fileselect=sequential,threads=64

fwd=fwd14,fsd=fsd*,host=hd2,rdpct=70,xfersize=1m,fileio=random,fileselect=sequential,threads=64

fwd=fwd15,fsd=fsd*,host=hd3,rdpct=70,xfersize=1m,fileio=random,fileselect=sequential,threads=64

#执行1m顺序写测试，测试时间为180秒

rd=rd1_1m_seqWrite,fwd=(fwd1-fwd3),fwdrate=max,format=restart,elapsed=180,interval=1

#执行1m顺序读测试，测试时间为180秒

rd=rd2_1m_seqRead,fwd=(fwd7-fwd9),fwdrate=max,format=restart,elapsed=180,interval=1

#执行1m随机读写测试，测试时间为180秒

rd=rd3_1m_MixRW,fwd=(fwd13-fwd15),fwdrate=max,format=restart,elapsed=180,interval=1

2、4k-3client脚本，验证多目录小文件集群读写功能

#指定执行测试客户端

hd=default,vdbench=/data/vdbench,user=root,shell=ssh       #说明了默认的vdbench软件存放位置，user为客户端用户名，shell为ssh，说明通过ssh访问

hd=hd1,system=192.168.110.43   #指定测试的客户端1的IP

hd=hd2,system=192.168.110.57   #指定测试的客户端2的IP

hd=hd3,system=192.168.110.48   #指定测试的客户端3的IP

#定义三个文件系统，指定测试的目录，在测试目录中创建测试的目录深度为1、每层目录的文件夹数量为1、每个文件夹的文件数量为30000、每个测试的文件大小为64k；

#指定测试使用的文件目录

fsd=fsd1,anchor=/data/t1/1,depth=1,width=1,files=30000,size=64k,openflags=o_direct,shared=yes

fsd=fsd2,anchor=/data/t2/1,depth=1,width=1,files=30000,size=64k,openflags=o_direct,shared=yes

fsd=fsd3,anchor=/data/t3/1,depth=1,width=1,files=30000,size=64k,openflags=o_direct,shared=yes

fsd=fsd4,anchor=/data/t4/1,depth=1,width=1,files=30000,size=64k,openflags=o_direct,shared=yes

fwd=format,xfersize=4k,threads=16

#定义工作负载，配置4k大小的块、64线程、顺序写的工作负载

fwd=fwd1,fsd=fsd*,host=hd1,operation=write,xfersize=4k,fileio=sequential,fileselect=random,threads=16

fwd=fwd2,fsd=fsd*,host=hd2,operation=write,xfersize=4k,fileio=sequential,fileselect=random,threads=16

fwd=fwd3,fsd=fsd*,host=hd3,operation=write,xfersize=4k,fileio=sequential,fileselect=random,threads=16

#定义工作负载，配置4k大小的块、64线程、顺序读的工作负载

fwd=fwd7,fsd=fsd*,host=hd1,operation=read,xfersize=4k,fileio=sequential,fileselect=sequential,threads=16

fwd=fwd8,fsd=fsd*,host=hd2,operation=read,xfersize=4k,fileio=sequential,fileselect=sequential,threads=16

fwd=fwd9,fsd=fsd*,host=hd3,operation=read,xfersize=4k,fileio=sequential,fileselect=sequential,threads=16

#定义工作负载，配置4k大小的块、64线程、顺序选择读写的工作负载

fwd=fwd13,fsd=fsd*,host=hd1,rdpct=70,xfersize=4k,fileio=random,fileselect=sequential,threads=16

fwd=fwd14,fsd=fsd*,host=hd2,rdpct=70,xfersize=4k,fileio=random,fileselect=sequential,threads=16

fwd=fwd15,fsd=fsd*,host=hd3,rdpct=70,xfersize=4k,fileio=random,fileselect=sequential,threads=16

#执行顺序4k写测试，测试时间为180秒

rd=rd1_4k_seqWrite,fwd=(fwd1-fwd3),fwdrate=max,format=restart,elapsed=60,interval=1

#执行4k顺序读测试，测试时间为180秒

rd=rd2_4k_seqRead,fwd=(fwd7-fwd8),fwdrate=max,format=restart,elapsed=60,interval=1

#执行4k随机读写测试，测试时间为180秒

rd=rd3_4k_MixRW,fwd=(fwd13-fwd15),fwdrate=max,format=restart,elapsed=60,interval=1

挂载方式

1m-3client测试挂载方式

3节点集群的虚拟IP分别为192.168.110.130、131、132，一个客户端上使用三个虚拟IP挂载EDS一个文件目录，使得分布式存储能力发挥到极限。

4k-3client挂载方式

EDS上创建12个文件目录0-11，创建的时候注意手动勾选元数据服务节点，性能优化方式选择非均衡

在EDS后台查看mds所属EDS节点，由主机名称确认主机所属虚拟IP，整理成表格得出挂载点

看测试结果

Vdbench测试完成会在这个目录得出结论

data/vdbench/output

查看output目录下totals.html文件

多谢分享，有助于工作。

图文结合，步骤清晰，有助于工作。

每天坚持打卡学习签到！！