第1章 概述 1.1 测试目的 此次测试需要达到以下目的: Ø 验证oracle RAC数据库双活的稳定性; Ø 验证HCI 6.0.1双活的稳定性。
1.2 测试安排
1.3 测试规范 首日测试需递交名片至客户,并在本日测试完成后将测试情况反馈至市场接口人。 第2章 测试准备 2.1 硬件准备 推荐准备4台或以上aServer一体机组建双活集群,主备故障域最小各配置2台服务器,且建议主备故障域硬件配置保持一致,若是Oracle RAC双活测试,必须使用aServer-2000以上中高端型号。 另外可以使用1台aServer-1000型号的一体机部署仲裁节点。 如果使用第三方服务器,应当参考对应型号aServer一体机的参数进行硬件配置,并参照《SANGFOR_HCI_V6.0.1_深信服超融合用户手册》安装超融合平台。
| | | | 64位CPU,主频2.0GHz以上 必须支持Intel VT-x | | | | | | | 系统盘:128GB 缓存盘:2*480GB Intel SSD 数据盘:6*2TB SATA(7.2K RPM) | | | | | | |
如果第三方服务器有RAID卡,raid卡的模式应当配置为JBOD直通模式。 2.2 我司准备
注:以下清单为推荐配置,若实际POC测试时交换机不能满足下表所述的条件,请按照测试拓扑划分VLAN实现。 附表1-硬件信息表: 名称 | | | | | | | | CPU: E5-2630 V4*2 内存:128G 磁盘:2*480G3 SSD 4*4TB 网卡:6*GE 电口 2*10GE 光口 | | | | | CPU:E3-1230 V5 3.4GHz 内存:32G 磁盘:1*128G SSD 网卡:6*GE电口 | | | | | | | | | | | | | | | | | | | | | |
附表2-测试工具信息表: | | | | |
| | Google浏览器,兼容性较好,用于访问超融合web控制台 | https://chrome.en.softonic.com/ | 金蝶银企平台app_Windows2012R2_Sangfor123.vma | | 银企应用登陆:http://虚拟机IP:5389 虚拟机密码Sangfor123 | | | | | |
| | |
| | | | | | | p13390677_112040_Linux-x86-64_1of7.zIP | | | p13390677_112040_Linux-x86-64_2of7.zIP、 | | | p13390677_112040_Linux-x86-64_3of7.zIP | | | | | | SANGFOR_HCI_V6.0.1_深信服超融合测试方案 | | | SANGFOR_HCI_深信服Oracle RAC自动化部署指导手册及安装脚本 | | |
2.3 客户准备 第3章 环境部署 3.1 拓扑规划
如上图拓扑搭建HCI集群,整体的延伸集群部署在两个机房:机房A和机房B,将机房A做为主故障域,机房B作为备故障域。 主故障域机房A和备故障域机房B之间采用万兆裸光纤相连,延时小于1ms。 主故障域机房A业务网络/VXLAN网络/管理网络交换机采用堆叠的方式,存储私网交换机使用两个交换机;业务网络/VXLAN网络/管理网络交换机和存储私网交换机与汇聚交换机相连;HCI平台的管理、业务和VXLAN网络平面复用采用网口聚合的方式与交换机相连,存储私网采用单交换机链路聚合;主故障域的汇聚交换机与核心交换机采用网口聚合的方式,以trunk方式连接;VLAN的所有网关都放到主故障域的核心交换机上。 备故障域机房B业务网络/VXLAN网络/管理网络交换机采用堆叠的方式,存储私网交换机使用两个交换机;业务网络/VXLAN网络/管理网络交换机和存储私网交换机与汇聚交换机相连;HCI平台的管理、业务和VXLAN网络复用采用网口聚合的方式与交换机相连,存储私网采用单交换机链路聚合。备故障域的汇聚交换机与主故障域的核心交换机以trunk方式连接; VLAN的所有网关都放到主故障域的核心交换机上。 主备故障域之间的HCI各个网络平面需要放到同一个VLAN里边,即二层打通。 仲裁节点部署在第三方机房,并且仲裁节点所在的机房与主备故障域机房之间的带宽应不小于100Mbps,延时要小于5ms;仲裁节点没有第三方机房的条件下,建议将仲裁节点部署在主机房,但是当主机房的主故障域和仲裁节点同时挂了的情况下,备机房将无法拉起业务。 注:本拓扑是标准交付场景的拓扑,若POC测试时资源配备不足,请按照本拓扑的架构,划分交换机VLAN实现。如有1台千兆交换机,1台万兆交换机,4台超融合实体机,1台仲裁节点,则可按照如下策略进行配置。 Ø 千兆交换机划分管理VLAN,给主备故障域管理口和仲裁节点使用; Ø 千兆交换机划分业务VLAN,给主备故障域业务口和VXLAN使用; Ø 万兆交换机划分存储VLAN,给主备故障域的存储口做单交换机链路聚合; Ø 2台超融合实体机做主故障域; Ø 2台超融合实体机做备故障域; Ø 仲裁节点接入到千兆交换机的管理VLAN。 3.2 IP规划 测试所需的主机IP地址和网口功能划分,建议按照以下方式进行配置。 3.2.1 HCI延伸集群
3.2.2 仲裁节点 3.3 安装部署 3.3.1 仲裁节点部署 1. 如采用ISO安装,则加载仲裁安装包(在深信服社区可下载对应的安装包),选择从IPMI启动。如采用U盘安装,使用仲裁安装包制作好的U盘启动。得到如下页面,选择『安装深信服企业级云(aCloud)』,按【ENTER】键,进入安装界面。
2. 选择『格式化安装』,按ENTER键,进入解压安装。
3. 选择安装位置磁盘,选择后直接点击确定。
4. 选择磁盘后提示需要格式化硬盘数据,在输入框中输入format,再点击确定开始安装;选择磁盘后进行磁盘测速,如果不需要测速可以选择否进入下一步。
5. 系统安装完成后,提示配置网卡,选择要配置的网卡,选择【确定】,按【ENTER】键,进入设置界面。
6. 设置网卡IP、子网掩码、网关,点击【确定】。设置时需要确保该地址能与aCloud集群正常通信。
7. 单张网卡设置好后,提示是否继续设置其他网卡,点击是,返回网卡选择界面;点击否则安装完成。
8. 安装完成后,点击【重启】,重启设备,拔出U盘或者移除光盘,安装完毕。
9. 重启完成后,浏览器通过URL地址https://配置的IP 登录仲裁节点的WEB控制台页面。 3.3.2 搭建延申集群 l 部署基本要求: 1. aCloud集群中主机按照规划平均分配到两个机房中; 2. aCloud集群的虚拟存储卷配置为延伸卷,并按照实际物理机房的分布配置对应的故障域; 3. aCloud集群中的虚拟机按照不同的要求配置好相应的HA策略; l 部署步骤 1. 按照规划将各个主机放置到不同的机房或机柜,并将主机的网口连接到交换机对应的网口上。 2. 按照规划配置好主机各个网口的IP地址; 3. 参考《SANGFOR_aCloud_v5.8.8_深信服企业级云aCloud用户手册》进行aCloud集群的部署。 4. 创建延伸卷: (1) 配置卷类型及数据副本数量:点击『存储』→『虚拟存储』打开虚拟存储页面,然后点击创建卷,选择卷类型为“延伸卷”。配置存储数据副本数量,即虚拟存储对数据保存的份数,选择“2副本”。 (2) 选择物理主机:选择需要加入延伸卷的物理主机,延伸集群需要至少4台主机,按照实际部署的物理位置,将主机分布到不同的故障域中。 (3) 添加仲裁节点:给主机房和备机房命名后,根据事先安装好的仲裁节点配置仲裁节点IP。按照向导输入密码确认配置仲裁节点,然后确认配置。
(4) 确认配置:确认故障域的配置,卷创建后不支持修改主机所在的故障域。
配置硬盘:接下来需要规划磁盘用途。磁盘用途包括数据盘、缓存盘、热备盘和仲裁盘。通常用SSD磁盘作为缓存盘,提升虚拟存储的IO性能。系统通常会根据配置自动推荐硬盘用途,默认按照系统推荐
(5) 确认配置:最后显示虚拟存储的配置结果信息,包括最终存储容量、副本数量和磁盘数量。确认配置无误后,需要输入管理员密码,点击“完成”以开始初始化虚拟存储。 (6)
3.3.3 单机业务系统双活测试 针对单机的业务系统,用户只要求能够在主机房故障时能够在备机房重新拉起即可: 这种场景虚拟机的配置如下: 1. 虚拟机的存储位置为延伸卷; 2. 虚拟机勾选HA选项,运行位置为主故障域并优先在所选位置运行; 3. 虚拟机内的业务系统设置为开机自动启动,保障虚拟机在重启后业务系统能够自动运行; 3.3.4 集群业务系统双活测试 1. Oracle的搭建 根据《深信服Oracle RAC自动化部署指导手册及安装脚本V1.2》(下载地址见第二章测试工具信息表)在延伸集群aCloud6.0.1R1部署Oracle RAC 两节点数据库(预期时间2小时)。其中配置要求:Oracle RAC虚拟机的存储策略必须选择为3副本高性能(主故障域)优先策略。配置rac1必须运行在主机房, rac2必须运行在备机房;环境检查正常,页面无修复任务,存储正常,无环境告警; 2. 导入金蝶银企App系统并进行克隆。 导入虚拟机“金蝶银企平台app_Windows2012R2_Sangfor123”虚拟机,存储策略选择“3副本(主故障域)优先策略”,并克隆出两台虚拟机分别命名为web1、web2。其中web1运行在主故障域(必须在所选位置运行),且调度策略不设置,手动为它们选择不同的运行主机;虚拟机web2运行在备故障域(必须在所选位置运行),web1、web2虚拟机均不勾选HA配置; 3. 金蝶银企App系统的搭建。 导入App模板:在aCloud导入“金蝶银企平台 app_Windows2012R2_Sangfor123.vma”虚拟机。 金蝶银企App虚拟机信息:虚拟机windows系统登录用户名:**istrator ,登录密码:Sangfor123 启停方式: 方式一:如果App未启动可以通过以下命令启动App。 启动apache tomcat,关闭直接关闭bat窗口即可。 C:\kingdee\ebservice705\apache-tomcat-6.0.20\bin\startup.bat 启动金蝶应用,关闭直接关闭bat窗口即可。 C:\kingdee\ebservice705\ebservice\windows_startup_in_console.bat 方式二:也可以在桌面,通过启动和关闭的快捷方式进行启停。
数据源初始化 a.点击重新初始化;
b.默认,点击下一步;
c.点击“跳过license上传”;
d输入数据库的连接信息,点击下一步;
e.设置金蝶银企app的管理员用户名和密码,此处用户名和密码均设置为:**;
F.选择接入方ID验证开关为“关闭”状态,点击下一步;
G.检查已配置的信息,没有问题,点击“进行初始化”开始初始化数据;
注:初始化的时间比较久,需要20分钟左右,初始化完毕需要重启金蝶银企App。
H.访问金蝶银企App 重启App完毕,用**用户登录app,按照下图所示的步骤对App的可用性进行测试,可以查询数据说明App可用。
4. 上传虚拟网络设备AD模板,AD主备模式部署,主AD运行位置必须选择在主故障域,备AD运行位置必须选择在备故障域,存储策略都选择“3副本(主故障域)优先策略”,主备AD均不勾选HA选项; 5. 主备AD通过配置虚拟服务对外提供服务,AD对web1、web2虚拟机进行应用负载。(具体配置过程这里不进行描述); 6. 使用物理机(可以是个人PC机)模拟客户端,通过访问AD的发布IP实现访问web页面,需要注意的是客户端需要能同时访问双活主故障域和备故障域,且任意一个故障域断电不影响客户端访问另外一个故障域。这里建议将物理出口和管理口的交换机配置在同一个VLAN下面,达到客户端能够同时访问业务和集群; 7. 配置集群HA模式为激进模式; 8. 搭建完成后虚拟网络整体拓扑如下图所示,其中: Ø Web1必须运行在主故障域的主机1,web2必须运行在备故障域的主机3; Ø AD主备部署,主AD必须运行在主故障域的主机1,备AD必须运行在备故障域的主机3; rac1必须运作在主故障域的主机1,rac2必须运行在备故障域的主机3。
3.4 测试网络地址规划 登录地址 | | |
|
| |
|
| |
|
| |
|
| |
|
| |
|
| |
|
| Rac虚拟机的IP,其中10.58.6.56为scan IP |
第4章 测试用例 4.1 测试项汇总
4.2 设备故障测试 4.2.1 主故障域单台交换机故障 PS:若是网络平面未配置链路聚合,则不需要测试该测试项;
| 在双活数据中心的建设过程中,主备故障域都应该遵循最佳实践推荐方式进行部署,主备故障域各个网络平面都需要单交换机链路聚合,当其中某个故障域单台交换机故障时,不会因为单点故障造成数据中心业务中断(预计时间10分钟) | | 1. 客户端已安装Chrome兼容性较好的浏览器; 2. 已成功部署测试的HCI双活平台; 3. 已成功部署测试的Oracle RAC环境; 4. 已成功部署测试的业务系统; 5. 已成功部署测试的主备AD环境。 | | 1. 将主机房一台存储交换机拔电(或者其他网络平面交换机拔电); 2. 访问AD的发布IP,测试访问业务虚拟机是否正常; 3. 将断电的存储交换机恢复正常,观察数据库和业务访问状态。 | | 1. 故障前可以打开金蝶的业务web控制台 2. 将主机房一台存储交换机拔电,发现金蝶的web控制台正常打开 3. 在AD上看,AD主备未切换,2个金蝶的web节点依旧在线 4. 交换机恢复后业务访问状态无变化,AD节点调度未发生改变 。 | | |
4.2.2 主故障域单台主机故障 | 在双活数据中心的建设过程中,主备故障域都应该遵循最佳实践推荐方式进行部署,在oracle rac部署过程中,主故障域配置1个RAC节点,建议IP较小的RAC节点放到主故障域。当运行RAC节点的主机异常,可以HA到主故障域其他主机运行,不影响业务运行(预计时间10分钟) | | 1. 客户端已安装Chrome兼容性较好的浏览器; 2. 已成功部署测试的HCI双活平台; 3. 已成功部署测试的Oracle RAC环境; 4. 已成功部署测试的业务系统; 5. 已成功部署测试的主备AD环境。 | | 2. 将主机房运行RAC1的主机断电; 3. 访问AD的发布IP,测试访问业务虚拟机是否正常; 4. 将断电的主机恢复正常,等待RAC1恢复正常,观察数据库运行状态和业务访问状态。 | | 1. 断电前在客户端访问AD的发布ip,能正常访问金蝶web控制台 2. 断电后在客户端访问AD的发布ip,能正常访问金蝶web控制台 | | R通过 □不通过 测试用例会出现短暂的业务断开,时间大约40秒左右 |
4.2.3 主备故障域各有一台主机故障
4.2.4 主故障域全部主机故障
| 在数据中心双活测试中,一般情况下,业务都是主故障域提供服务,当主故障域全部宕机或者不能提供服务,需要验证备故障域能否在预期时间内提供服务。(预计时间10分钟) | | 1. 客户端已安装Chrome兼容性较好的浏览器; 2. 已成功部署测试的HCI双活平台; 3. 已成功部署测试的Oracle RAC环境; 4. 已成功部署测试的业务系统; 5. 已成功部署测试的主备AD环境。 | | 1. 将主机房HCI主机全部断电; 2. 访问AD的发布IP,测试访问业务虚拟机是否正常; 3. 主机房恢复正常,在客户端运行脚本界面观察数据库运行状态; 4. 访问AD的发布IP,测试访问业务虚拟机的状态。 | | 1.主机房HCI主机全部断电,会发现AD进行主备切换,同时web1以及RAC1都已经关机,在AD控制台可以看到web1已经离线 2.大概过了30s左右,客户端能正常访问AD的发布地址 | | R通过 □不通过 测试用例会出现短暂的业务断开,时间大约30秒左右 |
4.2.5 仲裁主机故障
4.3 链路故障测试
4.3.1 主故障域与仲裁链路故障
| 在数据中心双活部署中,主备故障域,主故障域和仲裁链路,备故障域和仲裁链路,两两之间互相连接,在其中主故障域和仲裁链路故障后,不应该影响业务正常运行(预计时间10分钟) | | 1. 客户端已安装Chrome兼容性较好的浏览器; 2. 已成功部署测试的HCI双活平台; 3. 已成功部署测试的Oracle RAC环境; 4. 已成功部署测试的业务系统; 5. 已成功部署测试的主备AD环境。 | | 1. 访问AD的发布IP,地址为http://IP/index.html 2. 将仲裁与主故障域之间链路进行拔线(中断)操作 3. 访问AD的发布IP,测试访问业务虚拟机是否正常 4. 仲裁节点与主故障域链路网络恢复正常,,在客户端运行脚本界面观察数据库运行状态 5. 访问AD的发布IP,测试访问业务虚拟机的状态 | | 1. 仲裁与主故障域之间链路中断后脚本显示数据库状态无变化,业务访问状态无变化; 2. 仲裁与主故障域之间链路恢复后数据库状态无变化,业务访问状态无变化。 | | |
4.3.2 备故障域与仲裁链路故障
| 在数据中心双活部署中,主备故障域,主故障域和仲裁链路,备故障域和仲裁链路,两两之间互相连接,在其中主故障域和仲裁链路故障后,不应该影响业务正常运行(预计时间10分钟) | | 1. 客户端已安装Chrome兼容性较好的浏览器; 2. 已成功部署测试的HCI双活平台; 3. 已成功部署测试的Oracle RAC环境; 4. 已成功部署测试的业务系统; 5. 已成功部署测试的主备AD环境。 | | 1. 访问AD的发布IP,地址为http://IP/index.html 2. 将仲裁与主故障域之间链路进行拔线(中断)操作 3. 访问AD的发布IP,测试访问业务虚拟机是否正常 4. 仲裁节点与主故障域链路网络恢复正常,,在客户端运行脚本界面观察数据库运行状态 5. 访问AD的发布IP,测试访问业务虚拟机的状态 | | 1. 仲裁与主故障域之间链路中断后脚本显示数据库状态无变化,业务访问状态无变化; 2. 仲裁与主故障域之间链路恢复后数据库状态无变化,业务访问状态无变化。 | | |
4.3.3 主故障域与备机房链路故障
4.3.4 备故障域链路孤立测试
4.4 其他功能测试 4.4.1 虚拟机跨故障域热迁移 | 在数据中心双活部署中,业务的部署可以选择在主故障域,也可以选择在备故障域,当出现一些特殊情况,需要将运行在主备故障域的虚拟机往另一个故障域进行迁移时候,可以选择开机热迁移,开机热迁移不对中断业务,迁移过程也不是丢包。(预计时间20分钟) | | 1. 客户端已安装Chrome兼容性较好的浏览器; 2. 已成功部署测试的HCI双活平台; 3. 已成功部署测试的Oracle RAC环境; 4. 已成功部署测试的业务系统; 5. 已成功部署测试的主备AD环境。 | | 1. 配置web1虚拟机,勾选HA,将虚拟机运行位置设置为“优先在主故障域运行”,修改拓扑图,将web1虚拟机直连物理出口; 2. 调整网络,客户端配置IP地址,使得客户端能ping通web1虚拟机,保持长ping状态; 3. 编辑web1虚拟机,选择迁移-迁移到备故障域; 4. 观察客户端ping包状态。 | | 1. 迁移前,客户端能够持续ping通web1虚拟机; 2. 迁移过程中,ping包持续能通,无丢包现象; 3. 迁移完成后,ping包持续能通,整个迁移过程无丢包。 | | |
|