×

主机-交换多链路负载均衡配置
  

justgonnab 9655

{{ttag.title}}
本帖最后由 justgonnab 于 2018-9-20 16:18 编辑


在虚拟化实施当中,很多时候都会用到管理平面、业务平面,甚至是存储平面(IP SAN)的多链路的冗余备份以及负载均衡。

通常网络拓扑都是类似下图的方式:
共享存储是IP SAN:



共享存储是FC SAN:



不管是IP SAN 还是 FC SAN,终究还是要对虚拟化网络中的管理平面以及业务平面进行VLAN隔离并且还要实现一定的链路冗余备份和负载均衡来提高虚拟化管理和业务网络的可靠性。
毕竟存储网络断了整套虚拟化也就挂掉了……
所以链路的稳定性对虚拟化来说十足重要!

实际情况中如何实现类似于主机和硬件交换间的链路冗余备份和负载均衡呢?

先来谈谈主机侧:
上面说到的虚拟化操作系统中的管理和业务平面的链路冗余备份和负载均衡功能都是以“功能”的形式封装好的,实施人员在部署过程中只要通过很简单的命令配置或者鼠标点击的方法就能快速实现。
为了更有代表性,下面以Windows和Linux系统主机的多网卡绑定来实现传统服务器链路冗余和负载均衡。
Windows一笔带过,Windows server 2012版本可以通过【服务器管理】-【本地服务器】-【属性】-【NIC组合】中进行设置,在【组】中新建组,输入组名称并选中想要添加的成员端口,然后选择【成组模式】为【静态成组】、【交换机独立】和【LACP】,根据实际需要来进行选择,一般交换机配置Eth-Trunk(华为)可以对接【静态成组】,如果Eth-Trunk支持并配置了LACP那么可以选择【LACP】进行对接,最后选择【负载平衡模式】为【动态】,OK,最后测试下网络就可以了。如果想要详细了解上述参数具体意义的话百度即可。



相对于Windows server来说,Linux可就显得有点复杂了,但其实了解具体步骤之后也是很简单,这里先只讨论业务平面的网络链路冗余备份与负载均衡。
以Red Hat Enterprise Linux Server release 6.5 (Santiago)为例,其可以使用bond技术来实现我们的目的。
第一步要先找到需要做bond的两块网卡,千万不要忽略这个步骤,因为服务器一般网卡数量较多,容易混淆。这里我通过ethtool查看网卡信息并选择了2块万兆网卡:eth4和eth5。

  1. <b># ethtool eth4</b>
  2. Settings for eth4:
  3.         Supported ports: [ FIBRE ]
  4.         Supported link modes:   10000baseT/Full
  5.         Supported pause frame use: No
  6.         Supports auto-negotiation: No
  7.         Advertised link modes:  10000baseT/Full
  8.         Advertised pause frame use: No
  9.         Advertised auto-negotiation: No
  10.         Speed: 10000Mb/s
  11.         Duplex: Full
  12.         Port: FIBRE
  13.         PHYAD: 0
  14.         Transceiver: external
  15.         Auto-negotiation: off
  16.         Supports Wake-on: d
  17.         Wake-on: d
  18.         Current message level: 0x00000007 (7)
  19.                                drv probe link
  20.         Link detected: yes
  21. <b># ethtool eth5</b>
  22. Settings for eth5:
  23.         Supported ports: [ FIBRE ]
  24.         Supported link modes:   10000baseT/Full
  25.         Supported pause frame use: No
  26.         Supports auto-negotiation: No
  27.         Advertised link modes:  10000baseT/Full
  28.         Advertised pause frame use: No
  29.         Advertised auto-negotiation: No
  30.         Speed: 10000Mb/s
  31.         Duplex: Full
  32.         Port: FIBRE
  33.         PHYAD: 0
  34.         Transceiver: external
  35.         Auto-negotiation: off
  36.         Supports Wake-on: d
  37.         Wake-on: d
  38.         Current message level: 0x00000007 (7)
  39.                                drv probe link
  40.         Link detected: yes
复制代码

绑定前需要彻底关闭NetworlManger服务,否则会和bond网卡冲突。
#chkconfig NetworlMangeroff
#service NetworlManger stop

编辑新的ifcfg-bond0文件
# cd/etc/sysconfig/network-scripts/
# cp ifcfg-eth0 ifcfg-bond0    #复制ifcfg-eth0到ifcfg-bond0,方便配置而已

  1. <b>#vi ifcfg-bond0</b>
  2. DEVICE=bond0
  3. IPADDR=192.168.1.155
  4. NETMASK=255.255.255.0
  5. GATEWAY=192.168.1.254
  6. ONBOOT=yes
  7. BOOTPROTO=static
  8. USERCTL=no
  9. BONDING_OPTS=”mode=0 miimon=100  primary=eth0”      #以mode=0(rr)为例
复制代码

这里需要说明常用的mode:mode=0(balance-rr)(平衡抡循环策略)此模式的每张网卡的流量都几乎相等,需要交换机的支持;mode=1(active-backup)(主-备份策略)也就是只有一张网卡在工作,当工作网卡出现故障立即替换上,多用在高可用环境上;mode=6(balance-alb)(适配器适应性负载均衡)发送的数据包传输第一张网卡,如果满了,剩下的走第二张,以此类推;限于篇幅其余几种mode大家可以百度。miimon表示监视网络链接的频率(毫秒)。primary参数指定主接口(可不配置)。

分别编辑ifcfg-eth0和ifcfg-eth1文件

  1. <b># vi ifcfg-eth4</b>
  2. DEVICE=eth4
  3. HWADDR=14:02:EC:96:DC:9C
  4. TYPE=Ethernet
  5. UUID=05954b6f-2435-451c-ae7f-7ef17eb276bf
  6. ONBOOT=yes
  7. NM_CONTROLLED=no
  8. BOOTPROTO=none
  9. USERCTL=no
  10. ONBOOT=yes
  11. MASTER=bond0
  12. SLAVE=yes

  13. <b>#vi ifcfg-eth5</b>
  14. DEVICE=eth5
  15. HWADDR=14:02:EC:96:DC:9D
  16. TYPE=Ethernet
  17. UUID=70ec693a-f611-4ddd-b4f0-dc9620b75caa
  18. ONBOOT=yes
  19. NM_CONTROLLED=no
  20. BOOTPROTO=none
  21. USERCTL=no
  22. ONBOOT=yes
  23. MASTER=bond0
  24. SLAVE=yes
复制代码

让系统开机加载bonding内核,并指定其工作模式

  1. <b>#vi /etc/modprobe.d/bonding.conf
  2. </b>alias bond0 bonding
复制代码

然后

  1. <b>#modprobe  bonding</b>
复制代码

重启网络

  1. <b>#service network restart
  2. </b>
复制代码

最后查看bond状态:

  1. <b># cat /proc/net/bonding/bond0
  2. </b>Ethernet Channel Bonding Driver: v3.6.0 (September 26, 2009)

  3. Bonding Mode: load balancing (round-robin)
  4. MII Status: <font color="#ff0000"><b>up</b></font>
  5. MII Polling Interval (ms): 100
  6. Up Delay (ms): 0
  7. Down Delay (ms): 0

  8. Slave Interface: eth4
  9. MII Status: <b><font color="#ff0000">up</font></b>
  10. Speed: 10000 Mbps
  11. Duplex: full
  12. Link Failure Count: 0
  13. Permanent HW addr: 14:02:ec:96:dc:9c
  14. Slave queue ID: 0

  15. Slave Interface: eth5
  16. MII Status: <b><font color="#ff0000">up</font></b>
  17. Speed: 10000 Mbps
  18. Duplex: full
  19. Link Failure Count: 0
  20. Permanent HW addr: 14:02:ec:96:dc:9d
  21. Slave queue ID: 0
复制代码

状态都为up说明bond正常。

好了,上述针对两种操作系统的主机都进行了多链路的配置,网上很多的教程都忽略了对接的交换设备的配置方法,因为有些链路聚合的模式(如:Linux的mode=0、Windows server 2012的静态成组或LACP等)是需要交换机侧进行配置来对接,所以接下来提供交换侧的配置方法:

以某为5系列三层交换机为例进行配置,GigabitEthernet 0/0/1和GigabitEthernet 0/0/2分别连接主机侧的两个已绑定的网卡端口。
交换机的端口绑定即Eth-Trunk,配置Eth-Trunk很简单:

  1. [Huawei]interface Eth-Trunk 1
  2. <font color="#708090">[Huawei-Eth-Trunk1]mode lacp-static       #配置Eth-Trunk模式为静态LACP,若主机侧不支持LACP则直接配置Eth-Trunk即可,是实际情况而定。</font>
  3. [Huawei-Eth-Trunk1]quit
  4. [Huawei]interface GigabitEthernet 0/0/1
  5. [Huawei-GigabitEthernet0/0/1]eth-trunk 1    #将GigabitEthernet 0/0/1端口加入到Eth-Trunk 1
  6. [Huawei-Eth-Trunk1]quit
  7. [Huawei]interface GigabitEthernet 0/0/2
  8. [Huawei-GigabitEthernet0/0/2]eth-trunk 1    #将GigabitEthernet 0/0/2端口加入到Eth-Trunk 1
复制代码

这样,交换侧的端口绑定就搞定了。

后续在上行链路中所有设备的配置就参照传统的园区网来进行开局实施就行啦!

打赏鼓励作者,期待更多好文!

打赏
3人已打赏

弓长湿兄 发表于 2018-9-25 09:47
  
学习、、、、、、、、、、、、、、、、、、
大欣欣 发表于 2018-9-25 16:34
  
学习了
新手650001 发表于 2018-9-26 08:07
  
学习、、、、、、、、、
alimaomao 发表于 2018-9-27 08:32
  
NIce ,楼主威武!
痴笑Memory 发表于 2018-9-27 10:40
  
linux 大神  膜拜:卖萌:
gzsdw 发表于 2018-9-27 11:43
  
感谢分享!
ztbf 发表于 2018-9-28 10:26
  

学习、、、、、、、、、、、、、、、、
zl113x 发表于 2018-9-28 16:35
  
学习,感谢分享
东风 发表于 2018-9-29 14:56
  
学习 学习   
发表新帖
热门标签
全部标签>
技术盲盒
西北区每日一问
安全效果
干货满满
每日一问
技术笔记
新版本体验
【 社区to talk】
功能体验
技术咨询
产品连连看
GIF动图学习
标准化排查
2023技术争霸赛专题
每周精选
信服课堂视频
通用技术
自助服务平台操作指引
秒懂零信任
技术晨报
安装部署配置
答题自测
原创分享
升级&主动服务
社区新周刊
POC测试案例
畅聊IT
专家问答
技术圆桌
在线直播
MVP
网络基础知识
升级
安全攻防
上网策略
测试报告
日志审计
问题分析处理
流量管理
每日一记
运维工具
云计算知识
用户认证
解决方案
sangfor周刊
VPN 对接
项目案例
SANGFOR资讯
专家分享
技术顾问
信服故事
SDP百科
功能咨询
终端接入
授权
设备维护
资源访问
地址转换
虚拟机
存储
迁移
加速技术
排障笔记本
产品预警公告
玩转零信任
信服圈儿
S豆商城资讯
技术争霸赛
「智能机器人」
追光者计划
深信服技术支持平台
社区帮助指南
答题榜单公布
纪元平台
卧龙计划
华北区拉练
天逸直播
以战代练
山东区技术晨报
文档捉虫活动
齐鲁TV
华北区交付直播
2024年技术争霸赛
北京区每日一练
场景专题
故障笔记
排障那些事
高手请过招
高频问题集锦
全能先锋系列
云化安全能力

本版版主

12
185
6

发帖

粉丝

关注

121
315
352

发帖

粉丝

关注

本版达人

LoveTec...

本周分享达人

新手24116...

本周提问达人