超融合部署最佳方案
  

Sangfor_闪电回_朱丽 发表于 2016-12-15 10:06

最佳实践
内容
描述
方案、准备
请确认使用最新包。
实施前确认服务器配置。
网口数量
最佳方案:
2个做集群管理口(双交换机方案需要交换机支持堆叠)
2个万兆口做存储通信口
2个做业务口(根据南北向业务量大小考虑千兆、万兆)(双交换机方案需要交换机支持堆叠)
2个做vxlan通信口(根据东西业务量大小考虑千兆、万兆)(双交换机方案需要交换机支持堆叠)
注意:
1、存储口必须做聚合。
2、生产环境建议客户配足8个以上网口。
3、若管理网、业务网、vxlan网存在共用交换机,必须通过划分vlan进行网络隔离。
4、一体机默认6网口,不够的要在配件中增加。
网线
长线、短线,根据网口数自行计算。
IP分配
每个物理主机一个管理IP,集群IP。
  PS:虚拟存储、vxlan口都需要配置私有网络,并给一个独立的IP段,只需不冲突即可。
交换机网口数
1、须确认四种网口是否共用交换机,建议存储单独使用一个交换机。
2、交换机网口数 >= 每台主机网口数 * 主机数。
硬盘数量(是否有缓存,是否满足VS多副本的方案)
aSAN容量估算:
aSAN实际可用空间估算方式(服务器硬盘完全同构下)
  可用空间 = (单个HDD硬盘容量 * (HDD总个数 - 副本数个热备盘) / 副本数) * 85%
  
注:单个HDD硬盘容量应以系统内1024进制的实际容量为准。原因是硬盘厂商的标称容量是1000进制的,而系统内则是按1024进制计算的;即硬盘厂商标称为2T的硬盘,系统内实际约为1.82T,SSD硬盘和其它容量的硬盘都以此类推。
硬盘容量
单块机械盘要求至少2T,小于1T要和研发确认。
小磁盘存在问题:
1、计算、存储比例不平衡,资源利用率上不去。
2、后续换盘操作、人力成本增加。
磁盘异构
避免磁盘异构:
1、磁盘异构会浪费大容量磁盘的空间。
2、后续调整虚拟存储磁盘配置或者扩容,操作复杂。
CPU
简单的判断方法是看年限,早几年的基本不能满足。wiki.sangfor.com.cn上有CPU支持型号描述,不确认的可与研发确认。
内存
根据客户在跑业务系统进行估算,要留有足够的内存给系统使用(3G)
RAID卡
1、官方推荐raid配置JBOD、non-raid模式。
2、若raid卡不支持这两种模式,让客户必须更换。
3、raid要支持Discard,Discard是用来支持SSD垃圾回收的一个特性,如果raid卡不支持discard,使用久了,SSD的性能会下降。
  
点击查看兼容列表

交换机
1、管理口、vxLAN口所连接交换机关闭STP,防止环路
2、管理口、vxLAN口所连接交换机需要开启IGMP Snooping,并且确认IGMP Snooping的版本是v2,保证网络稳定性。
3、支持端口汇聚。
4、根据交换机网口,以及HCI 四种类型网口的冗余方案(是否双机),准备足够多的交换机。
存储副本
最佳实践推荐2副本:
1、3副本存储利用率低,且加点一次至少3台,不好操作。
2、2副本经过大量客户使用,覆盖场景全面,可以放心使用。
备份存储(异地的,与客户沟通)
生产环境:
建议客户准备外置存储,保障数据稳定更有效。
  
测试环境:
1、客户有外置存储。支持iscsi、FC协议的外置存储接入,接入后在【实体机】--【存储】页面内配置后即可使用。
2、客户有共享NFS存储,同样在【实体机】--【存储】页面配置添加后使用。
3、客户没有准备有存储。可安装Freenas或者windows共享进行备份。(性能很差,不建议使用)
辅助工具
笔记本:用来登录管理平台,配置网络等相关参数
  key:测试、演示用。实施时要带客户购买的key
  安装U盘:刻录最新版iso
  迁移工具:Sangfor_aSV_Converter.exe、HCI5.2.00_B(20161128).iso
服务器数量
如果客户有HA需求,业务需要N台服务器,集群方案就至少用N+1台,而且要保证配置最高(CPU、内存数量最多)的那台服务器宕机,剩余的主机CPU、内存资源足以承担业务运行。
集群规模
不超过24台。
vAD、vAF准备
要记得带模版和开通序列号。
部署能使性能最大化的BIOS设置
Virtualization  Technology
【是】运行64位客户操作系统所必须的
Turbo Mode
【是】在未使用的核心之间平衡工作负载
Node Interleaving
【否】如果禁用将无法获得NUMA优势
VT-x,AMD-V,EPT,RVI
【是】基于硬件的虚拟化支持
C1E Halt State
【否】当性能比节能更重要时禁用
Power-Saving
【否】当性能比节能更重要时禁用
Virus Warning
【否】在向主引导记录中写入时禁用警告消息
BIOS Setting Recommendations Description  Hyper-Threading
【是】用于某些Intel处理器,对于Intel较新的Core  i7处理器(如Xeon 5500系列)始终建议使用Hyper-Threading
Video BIOS Cacheable,
  Video BIOS  Shadowable
对于数据库虚拟机不是必须的
Wake On LAN
是vSphere  Distributed Power Management功能所必须的
Execute Disable
是vMotion和Distributed  Resource Scheduler功能所必需的
组建集群与初始化虚拟存储
1、要先组好集群,再初始化虚拟存储
2、不能用一台主机初始化集群后再添加主机。(会变得很麻烦)
3、每次添加的主机数,要和虚拟存储的副本数一致。(更高效)
增加aSAN扩容最佳实践
扩容时,每次添加的主机数,要与虚拟存储副本数一致,或者是它的倍数。如2副本环境,一次扩容扩2台、4台主机。(避免扩容单台主机时需要大量的旧数据搬迁)
配置端口聚合
1、管理口、业务口、vxlan口配置聚合,不仅要在HCI管理平台上配置,还要在交换机上配置端口汇聚
2、管理口、业务口、vxlan口采用双交换机方案,那么两台交换机需要配置成堆叠。
3、虚拟存储的聚合不需要在交换机上配置端口汇聚,在设置存储通信网口连接模式时,选择“双交换机链路聚合”或者“单交换机链路聚合”即可。
4、虚拟存储若采用双交换机的方案:若交换机配置了堆叠,则必须选择“单交换机链路聚合”;若未配置堆叠,须选择“双交换机链路聚合”。
vxLAN口需要开启巨帧支持
开启后性能更好,要考虑交换机支不支持,交换机上vxLAN所连接端口开启巨帧的同时,必须在HCI中将数据通信口的“开启网口高性能模式”勾上,此操作会将网口的MTU设置为1600。
备份功能开启
1、重要业务部署前,首先确认是否预备有异地备份所需存储。
2、最好能在迁移业务后就能开启备份。
部署后平台校准
1、部署好平台,先别忙高兴,可先测试一下HA、存储速度、网络速度类功能。
2、如果没问题,再迁移业务。
vAD、vAF谨慎配置
只能配高,不能配低,配高之后调不回来的。
P2V迁移
迁移时也优先使用传统BIOS(legacy)迁移
不建议用快虚
超融合平台不建议用快虚。
创建虚拟机
vCPU配置核心数
1、若不是有特别高的业务需求,虚拟机核心数配16个性能更佳。
2、若有特别的业务需求,要跟研发确认。
虚拟机虚拟磁盘大小
建议不可超过单个物理主机的总数据盘空间大小的80%
虚拟机最好运行在存储副本所在主机
满足IO本地化要求
GUEST系统调优项windows  server
卡顿
操作系统及软件升级到最新的补丁包,如windows  server 2003升级到SP3,可解决部分使用卡顿的问题(必须征求客户同意,并做好备份的前提下才能进行升级)
性能
在安装了SQL  Server的环境,拷贝文件进去系统会自动限速。
SQL Server
性能
SQL  Server升级到SP2,可解决部分使用卡顿的问题(必须征求客户同意,并做好备份的前提下才能进行升级)
Oracle
性能
测试需要配置ASM,这个会影响性能。
 

喜欢这篇分享吗?喜欢就给楼主打点赏吧!点个赞也是极大的鼓励!

发帖可获得5S豆;若您的分享被加精或推荐优秀等,将获得更多S豆奖励,了解更多S豆奖励信息

完善手机号和公司名称,让服务更省心更便捷!立即完善

Sangfor_闪电回_朱丽 发表于 2016-12-15 10:19
  
各位小伙伴们,在上架实施超融合时,参考上面列出来的所有项哦,会有不一样的使用体验
雨中漫步 Lv6发表于 2016-12-16 08:46
  
很详细
hnby Lv7发表于 2016-12-16 11:36
  
这个好,清晰,明了。
极意 Lv4发表于 2016-12-23 10:56
  

Merry Christmas ! +20 S豆

管理口不能做聚合吧?难道5.2支持聚合了?
大蒜头 Lv12发表于 2016-12-29 16:30
  
好详细啊,可惜超融合还没实施过
新手605987 Lv4发表于 2017-2-18 11:14
  
很给力!
只如初见 Lv2发表于 2017-2-21 11:41
  
很详细  谢谢分享
快樂風 Lv2发表于 2017-2-22 09:12
  
很详细
AAB Lv4发表于 2017-2-27 13:27
  
这是一台hci一体机吗?