×

版块 › 其他产品 › 通用技术 › Linux主机之存储多路径（multipath）配置
Linux主机之存储多路径（multipath）配置
  

justgonnab   2018-9-29 11:52  13394  2人觉得有帮助

{{ttag.title}}
本帖最后由 justgonnab 于 2018-9-29 11:57 编辑

Linux服务器架设在当今还是比较常见的，没有点基础的Linux必备开局方法还真是不行，好在像RHEL等商业化的Linux系统都自带了很多常用驱动，包括：网卡、USB、RAID、HBA等。所以在开局过程中可以事半功倍，节省很多时间而且可以使版本复杂的开源Linux系统稳定可靠运行，避免很多兼容性问题。

所以今天分享下Linux服务器架设中比较重要的一块工作：存储多路径配置。

操作系统环境：Red Hat Enterprise Linux Server release 6.5 (Santiago)

首先查看系统中是否安装了多路径软件：



device-mapper-X.X.X-X.el6.x86_64
device-mapper-persistent-data-X.X.X-2.el6.x86_64
device-mapper-libs-X.X.X-X.el6.x86_64
device-mapper-event-X.X.X-X.el6.x86_64
device-mapper-multipath-libs-X.X.X-X.el6.x86_64
device-mapper-multipath-X.X.X-X.el6.x86_64
device-mapper-event-libs-X.X.X-X.el6.x86_64

如果查询结果缺少或没有上述的安装包，则执行下面的命令进行安装：
#yum –y install device-mapper device-mapper-multipath.x86_64 device-mapper-multipath-libs.x86_64

  1. [root@localhost ~]# <b>yum -y install device-mapper</b>
  2. Loaded plugins: fastestmirror
  3. base                                                                                                                                  | 3.7 kB     00:00     
  4. base/primary_db                                                                                                                       | 4.7 MB     00:01     
  5. extras                                                                                                                                | 3.4 kB     00:00     
  6. extras/primary_db                                                                                                                     |  26 kB     00:00     
  7. updates                                                                                                                               | 3.4 kB     00:00     
  8. updates/primary_db                                                                                                                    | 1.3 MB     00:00     
  9. Setting up Install Process
  10. Resolving Dependencies
  11. --> Running transaction check
  12. ---> Package device-mapper.x86_64 0:1.02.79-8.el6 will be updated
  13. --> Processing Dependency: device-mapper = 1.02.79-8.el6 for package: device-mapper-libs-1.02.79-8.el6.x86_64
  14. --> Processing Dependency: device-mapper = 1.02.79-8.el6 for package: device-mapper-event-1.02.79-8.el6.x86_64
  15. ---> Package device-mapper.x86_64 0:1.02.117-12.el6_9.1 will be an update
  16. --> Running transaction check
  17. ---> Package device-mapper-event.x86_64 0:1.02.79-8.el6 will be updated
  18. ---> Package device-mapper-event.x86_64 0:1.02.117-12.el6_9.1 will be an update
  19. --> Processing Dependency: device-mapper-event-libs = 1.02.117-12.el6_9.1 for package: device-mapper-event-1.02.117-12.el6_9.1.x86_64
  20. ---> Package device-mapper-libs.x86_64 0:1.02.79-8.el6 will be updated
  21. ---> Package device-mapper-libs.x86_64 0:1.02.117-12.el6_9.1 will be an update
  22. --> Running transaction check
  23. ---> Package device-mapper-event-libs.x86_64 0:1.02.79-8.el6 will be updated
  24. ---> Package device-mapper-event-libs.x86_64 0:1.02.117-12.el6_9.1 will be an update
  25. --> Processing Conflict: device-mapper-event-1.02.117-12.el6_9.1.x86_64 conflicts lvm2-libs < 2.02.111
  26. --> Restarting Dependency Resolution with new changes.
  27. --> Running transaction check
  28. ---> Package lvm2-libs.x86_64 0:2.02.100-8.el6 will be updated
  29. --> Processing Dependency: lvm2-libs = 2.02.100-8.el6 for package: lvm2-2.02.100-8.el6.x86_64
  30. ---> Package lvm2-libs.x86_64 0:2.02.143-12.el6_9.1 will be an update
  31. --> Running transaction check
  32. ---> Package lvm2.x86_64 0:2.02.100-8.el6 will be updated
  33. ---> Package lvm2.x86_64 0:2.02.143-12.el6_9.1 will be an update
  34. --> Processing Dependency: device-mapper-persistent-data >= 0.6.2 for package: lvm2-2.02.143-12.el6_9.1.x86_64
  35. --> Running transaction check
  36. ---> Package device-mapper-persistent-data.x86_64 0:0.2.8-2.el6 will be updated
  37. ---> Package device-mapper-persistent-data.x86_64 0:0.6.2-0.2.rc7.el6 will be an update
  38. --> Processing Dependency: libaio.so.1(LIBAIO_0.4)(64bit) for package: device-mapper-persistent-data-0.6.2-0.2.rc7.el6.x86_64
  39. --> Processing Dependency: libaio.so.1(LIBAIO_0.1)(64bit) for package: device-mapper-persistent-data-0.6.2-0.2.rc7.el6.x86_64
  40. --> Processing Dependency: libaio.so.1()(64bit) for package: device-mapper-persistent-data-0.6.2-0.2.rc7.el6.x86_64
  41. --> Running transaction check
  42. ---> Package libaio.x86_64 0:0.3.107-10.el6 will be installed
  43. --> Finished Dependency Resolution

  45. Dependencies Resolved

  47. =============================================================================================================================================================
  48. Package                                             Arch                         Version                                   Repository                  Size
  49. =============================================================================================================================================================
  50. Updating:
  51. device-mapper                                       x86_64                       1.02.117-12.el6_9.1                       base                       218 k
  52. lvm2-libs                                           x86_64                       2.02.143-12.el6_9.1                       base                       1.0 M
  53. Installing for dependencies:
  54. libaio                                              x86_64                       0.3.107-10.el6                            base                        21 k
  55. Updating for dependencies:
  56. device-mapper-event                                 x86_64                       1.02.117-12.el6_9.1                       base                       134 k
  57. device-mapper-event-libs                            x86_64                       1.02.117-12.el6_9.1                       base                       126 k
  58. device-mapper-libs                                  x86_64                       1.02.117-12.el6_9.1                       base                       257 k
  59. device-mapper-persistent-data                       x86_64                       0.6.2-0.2.rc7.el6                         base                       463 k
  60. lvm2                                                x86_64                       2.02.143-12.el6_9.1                       base                       941 k

  62. Transaction Summary
  63. =============================================================================================================================================================
  64. Install       1 Package(s)
  65. Upgrade       7 Package(s)

  67. Total download size: 3.1 M
  68. Downloading Packages:
  69. (1/8): device-mapper-1.02.117-12.el6_9.1.x86_64.rpm                                                                                   | 218 kB     00:00     
  70. (2/8): device-mapper-event-1.02.117-12.el6_9.1.x86_64.rpm                                                                             | 134 kB     00:00     
  71. (3/8): device-mapper-event-libs-1.02.117-12.el6_9.1.x86_64.rpm                                                                        | 126 kB     00:00     
  72. (4/8): device-mapper-libs-1.02.117-12.el6_9.1.x86_64.rpm                                                                              | 257 kB     00:00     
  73. (5/8): device-mapper-persistent-data-0.6.2-0.2.rc7.el6.x86_64.rpm                                                                     | 463 kB     00:00     
  74. (6/8): libaio-0.3.107-10.el6.x86_64.rpm                                                                                               |  21 kB     00:00     
  75. (7/8): lvm2-2.02.143-12.el6_9.1.x86_64.rpm                                                                                            | 941 kB     00:00     
  76. (8/8): lvm2-libs-2.02.143-12.el6_9.1.x86_64.rpm                                                                                       | 1.0 MB     00:00     
  77. -------------------------------------------------------------------------------------------------------------------------------------------------------------
  78. Total                                                                                                                        2.6 MB/s | 3.1 MB     00:01     
  79. warning: rpmts_HdrFromFdno: Header V3 RSA/SHA1 Signature, key ID c105b9de: NOKEY
  80. Retrieving key from file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6
  81. Importing GPG key 0xC105B9DE:
  82. Userid : CentOS-6 Key (CentOS 6 Official Signing Key) <centos-6-key@centos.org>
  83. Package: centos-release-6-5.el6.centos.11.1.x86_64 (@anaconda-CentOS-201311272149.x86_64/6.5)
  84. From   : /etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6
  85. Running rpm_check_debug
  86. Running Transaction Test
  87. Transaction Test Succeeded
  88. Running Transaction
  89.   Updating   : device-mapper-1.02.117-12.el6_9.1.x86_64                                                                                                 1/15
  90.   Updating   : device-mapper-libs-1.02.117-12.el6_9.1.x86_64                                                                                            2/15
  91.   Updating   : device-mapper-event-libs-1.02.117-12.el6_9.1.x86_64                                                                                      3/15
  92.   Updating   : device-mapper-event-1.02.117-12.el6_9.1.x86_64                                                                                           4/15
  93.   Updating   : lvm2-libs-2.02.143-12.el6_9.1.x86_64                                                                                                     5/15
  94.   Installing : libaio-0.3.107-10.el6.x86_64                                                                                                             6/15
  95.   Updating   : device-mapper-persistent-data-0.6.2-0.2.rc7.el6.x86_64                                                                                   7/15
  96.   Updating   : lvm2-2.02.143-12.el6_9.1.x86_64                                                                                                          8/15
  97.   Cleanup    : lvm2-2.02.100-8.el6.x86_64                                                                                                               9/15
  98.   Cleanup    : lvm2-libs-2.02.100-8.el6.x86_64                                                                                                         10/15
  99.   Cleanup    : device-mapper-event-1.02.79-8.el6.x86_64                                                                                                11/15
  100.   Cleanup    : device-mapper-event-libs-1.02.79-8.el6.x86_64                                                                                           12/15
  101.   Cleanup    : device-mapper-1.02.79-8.el6.x86_64                                                                                                      13/15
  102.   Cleanup    : device-mapper-libs-1.02.79-8.el6.x86_64                                                                                                 14/15
  103.   Cleanup    : device-mapper-persistent-data-0.2.8-2.el6.x86_64                                                                                        15/15
  104.   Verifying  : device-mapper-persistent-data-0.6.2-0.2.rc7.el6.x86_64                                                                                   1/15
  105.   Verifying  : lvm2-libs-2.02.143-12.el6_9.1.x86_64                                                                                                     2/15
  106.   Verifying  : lvm2-2.02.143-12.el6_9.1.x86_64                                                                                                          3/15
  107.   Verifying  : device-mapper-libs-1.02.117-12.el6_9.1.x86_64                                                                                            4/15
  108.   Verifying  : device-mapper-event-1.02.117-12.el6_9.1.x86_64                                                                                           5/15
  109.   Verifying  : libaio-0.3.107-10.el6.x86_64                                                                                                             6/15
  110.   Verifying  : device-mapper-event-libs-1.02.117-12.el6_9.1.x86_64                                                                                      7/15
  111.   Verifying  : device-mapper-1.02.117-12.el6_9.1.x86_64                                                                                                 8/15
  112.   Verifying  : device-mapper-1.02.79-8.el6.x86_64                                                                                                       9/15
  113.   Verifying  : device-mapper-event-libs-1.02.79-8.el6.x86_64                                                                                           10/15
  114.   Verifying  : device-mapper-persistent-data-0.2.8-2.el6.x86_64                                                                                        11/15
  115.   Verifying  : device-mapper-event-1.02.79-8.el6.x86_64                                                                                                12/15
  116.   Verifying  : lvm2-libs-2.02.100-8.el6.x86_64                                                                                                         13/15
  117.   Verifying  : device-mapper-libs-1.02.79-8.el6.x86_64                                                                                                 14/15
  118.   Verifying  : lvm2-2.02.100-8.el6.x86_64                                                                                                              15/15

  120. Dependency Installed:
  121.   libaio.x86_64 0:0.3.107-10.el6                                                                                                                             

  123. Updated:
  124.   device-mapper.x86_64 0:1.02.117-12.el6_9.1                                      lvm2-libs.x86_64 0:2.02.143-12.el6_9.1                                    

  126. Dependency Updated:
  127.   device-mapper-event.x86_64 0:1.02.117-12.el6_9.1                          device-mapper-event-libs.x86_64 0:1.02.117-12.el6_9.1                           
  128.   device-mapper-libs.x86_64 0:1.02.117-12.el6_9.1                           device-mapper-persistent-data.x86_64 0:0.6.2-0.2.rc7.el6                        
  129.   lvm2.x86_64 0:2.02.143-12.el6_9.1                                       

  131. Complete!
复制代码
  1. [root@localhost ~]# <b>yum install device-mapper-multipath.x86_64 device-mapper-multipath-libs.x86_64</b>
  2. Loaded plugins: fastestmirror
  3. Loading mirror speeds from cached hostfile
  4. * base: mirrors.aliyun.com
  5. * extras: mirrors.aliyun.com
  6. * updates: mirrors.aliyun.com
  7. Setting up Install Process
  8. Resolving Dependencies
  9. --> Running transaction check
  10. ---> Package device-mapper-multipath.x86_64 0:0.4.9-106.el6 will be installed
  11. --> Processing Dependency: kpartx = 0.4.9-106.el6 for package: device-mapper-multipath-0.4.9-106.el6.x86_64
  12. ---> Package device-mapper-multipath-libs.x86_64 0:0.4.9-106.el6 will be installed
  13. --> Running transaction check
  14. ---> Package kpartx.x86_64 0:0.4.9-106.el6 will be installed
  15. --> Finished Dependency Resolution

  17. Dependencies Resolved

  19. =============================================================================================================================================================
  20. Package                                             Arch                          Version                                 Repository                   Size
  21. =============================================================================================================================================================
  22. Installing:
  23. device-mapper-multipath                             x86_64                        0.4.9-106.el6                           base                        133 k
  24. device-mapper-multipath-libs                        x86_64                        0.4.9-106.el6                           base                        204 k
  25. Installing for dependencies:
  26. kpartx                                              x86_64                        0.4.9-106.el6                           base                         71 k

  28. Transaction Summary
  29. =============================================================================================================================================================
  30. Install       3 Package(s)

  32. Total download size: 409 k
  33. Installed size: 731 k
  34. Is this ok [y/N]: y
  35. Downloading Packages:
  36. (1/3): device-mapper-multipath-0.4.9-106.el6.x86_64.rpm                                                                               | 133 kB     00:00     
  37. (2/3): device-mapper-multipath-libs-0.4.9-106.el6.x86_64.rpm                                                                          | 204 kB     00:00     
  38. (3/3): kpartx-0.4.9-106.el6.x86_64.rpm                                                                                                |  71 kB     00:00     
  39. -------------------------------------------------------------------------------------------------------------------------------------------------------------
  40. Total                                                                                                                        1.0 MB/s | 409 kB     00:00     
  41. Running rpm_check_debug
  42. Running Transaction Test
  43. Transaction Test Succeeded
  44. Running Transaction
  45.   Installing : device-mapper-multipath-libs-0.4.9-106.el6.x86_64                                                                                         1/3
  46.   Installing : kpartx-0.4.9-106.el6.x86_64                                                                                                               2/3
  47.   Installing : device-mapper-multipath-0.4.9-106.el6.x86_64                                                                                              3/3
  48.   Verifying  : kpartx-0.4.9-106.el6.x86_64                                                                                                               1/3
  49.   Verifying  : device-mapper-multipath-libs-0.4.9-106.el6.x86_64                                                                                         2/3
  50.   Verifying  : device-mapper-multipath-0.4.9-106.el6.x86_64                                                                                              3/3

  52. Installed:
  53.   device-mapper-multipath.x86_64 0:0.4.9-106.el6                             device-mapper-multipath-libs.x86_64 0:0.4.9-106.el6                           

  55. Dependency Installed:
  56.   kpartx.x86_64 0:0.4.9-106.el6                                                                                                                              

  58. Complete!
复制代码
附：
如果服务器无法连接外网，则可以挂载本地镜像来进行安装。具体操作步骤如下：
使用xftp上传对应版本的操作系统ISO镜像到服务器本地（例如：放在/tmp目录下）
然后挂载本地镜像到/mnt目录：
[root@zxt-1 san]# mount /tmp/rhel-server-6.5-x86_64-dvd.iso /mnt/
接下来开始配置yum源：
在/etc/yum.repos.d/文件夹下创建源文件myyum.repo
编辑文件内容输入：
[myyum]

name=myyum is test  

baseurl=file:///mnt/

enabled=1

gpgcheck=0

创建yum缓存：
yum makecache

然后yum安装所需要的软件包即可。

安装完毕后记得卸载挂载的ISO文件：
umount /mnt

安装完毕后，查看多路径是否开机自启动：
# chkconfig --list|grep multipathd

设置开机自启动：
# chkconfig --level 2345 multipathd on

检查安装是否正常，内核中是否存在：
# modprobe -l|grep multipath
kernel/drivers/md/dm-multipath.ko

重启操作系统加载内核或手工进行加载：
# modprobe dm-multipath
# modprobe dm-round-robin
# service multipathd start

产生multipath配置文件
[root@oracle-bak ~]# /sbin/matchpathcon --enable



一般情况下multipath.conf文件无需修改保持默认即可。

获取wwid查看是否识别硬盘：
#multipath -v3



最后重启多路径：
#service multipathd restart

重启完毕后查看多路径是否生效：
#multipath -ll



上述表明多路径建立成功，但是接下来通过fdisk命令来查看识别的磁盘：

  1. [root@oracle-bak ~]# fdisk -l

  3. ******省略部分内容******

  5. Disk <font color="#ff0000"><b>/dev/sdb</b></font>: 1024.0 GB, 1023997378560 bytes
  6. 255 heads, 63 sectors/track, 124493 cylinders
  7. Units = cylinders of 16065 * 512 = 8225280 bytes
  8. Sector size (logical/physical): 512 bytes / 512 bytes
  9. I/O size (minimum/optimal): 512 bytes / 1048576 bytes
  10. Disk identifier: 0x00000000


  13. Disk <b><font color="#ff0000">/dev/sdd</font></b>: 1024.0 GB, 1023997378560 bytes
  14. 255 heads, 63 sectors/track, 124493 cylinders
  15. Units = cylinders of 16065 * 512 = 8225280 bytes
  16. Sector size (logical/physical): 512 bytes / 512 bytes
  17. I/O size (minimum/optimal): 512 bytes / 1048576 bytes
  18. Disk identifier: 0x00000000


  21. Disk <b><font color="#ff0000">/dev/sde</font></b>: 1024.0 GB, 1023997378560 bytes
  22. 255 heads, 63 sectors/track, 124493 cylinders
  23. Units = cylinders of 16065 * 512 = 8225280 bytes
  24. Sector size (logical/physical): 512 bytes / 512 bytes
  25. I/O size (minimum/optimal): 512 bytes / 1048576 bytes
  26. Disk identifier: 0x00000000


  29. Disk<b><font color="#ff0000"> /dev/sdc</font></b>: 1024.0 GB, 1023997378560 bytes
  30. 255 heads, 63 sectors/track, 124493 cylinders
  31. Units = cylinders of 16065 * 512 = 8225280 bytes
  32. Sector size (logical/physical): 512 bytes / 512 bytes
  33. I/O size (minimum/optimal): 512 bytes / 1048576 bytes
  34. Disk identifier: 0x00000000


  37. Disk <font color="#ff0000"><b>/dev/mapper/mpathb</b></font>: 1024.0 GB, 1023997378560 bytes
  38. 255 heads, 63 sectors/track, 124493 cylinders
  39. Units = cylinders of 16065 * 512 = 8225280 bytes
  40. Sector size (logical/physical): 512 bytes / 512 bytes
  41. I/O size (minimum/optimal): 512 bytes / 1048576 bytes
  42. Disk identifier: 0x00000000
复制代码

这边会看到5块相同大小的磁盘，但是我们必须且只能挂载多路径生成的/dev/mapper/mpathb磁盘，其它4块盘sdb、sdc、sdd、sde是因为同一块映射的磁盘到主机侧有4条有效路径所以识别为4块盘，实质上都是同一个LUN映射出来的。如果挂载了其它的其中一块磁盘会发现读写正常但是其余磁盘数据无法同步，且无法实现存储链路冗余备份的作用，这也就是多路径真正的作用。

最终可以对/dev/mapper/mpathb直接进行挂载、格式化使用，或者也可以用来创建之前分享的文章所讲到的逻辑卷（LV）实现后期的磁盘可扩容。

打赏鼓励作者，期待更多好文！

打赏
3人已打赏

sangfor_闪电回_小六  发表于 2018-9-29 11:59
  
实用分享，:666:
907780  发表于 2018-10-8 13:19
  
非常实用
907780  发表于 2018-10-8 13:21
  
uuid。。。。。。。。。。。。。
plan_xp  发表于 2018-10-8 13:33
  
正好用上，谢了！
studying  发表于 2018-10-8 19:02
  
enenenne     学习
zoou  发表于 2018-10-9 11:16
  
看了两遍终于看懂了。原来是这个意思。
已完成  发表于 2018-10-9 17:43
  
直接没看明白
暗夜星空  发表于 2018-10-9 18:32
  
非常实用:好棒:
云程发轫  发表于 2018-10-10 14:08
  
非常有用，果断收藏了，
123下一页
发表新帖
作者其他文章
又一次SSL VPN的集群部署 方案制作之拓扑图 谈潮流下的等级保护
热门标签
全部标签>
西北区每日一问
技术盲盒
安全效果
【 社区to talk】
技术笔记
干货满满
每日一问
信服课堂视频
新版本体验
GIF动图学习
技术咨询
功能体验
2023技术争霸赛专题
产品连连看
安装部署配置
通用技术
秒懂零信任
技术晨报
自助服务平台操作指引
原创分享
标准化排查
排障笔记本
玩转零信任
排障那些事
SDP百科
深信服技术支持平台
POC测试案例
畅聊IT
答题自测
专家问答
技术圆桌
在线直播
MVP
网络基础知识
升级
安全攻防
上网策略
测试报告
日志审计
问题分析处理
流量管理
每日一记
运维工具
云计算知识
用户认证
解决方案
sangfor周刊
VPN 对接
项目案例
SANGFOR资讯
专家分享
技术顾问
信服故事
功能咨询
终端接入
授权
设备维护
资源访问
地址转换
虚拟机
存储
迁移
加速技术
产品预警公告
信服圈儿
S豆商城资讯
技术争霸赛
「智能机器人」
追光者计划
社区帮助指南
答题榜单公布
纪元平台
卧龙计划
华北区拉练
天逸直播
以战代练
山东区技术晨报
文档捉虫活动
齐鲁TV
华北区交付直播
每周精选
2024年技术争霸赛
北京区每日一练
场景专题
故障笔记
高手请过招
升级&主动服务
高频问题集锦
社区新周刊
全能先锋系列
云化安全能力
转盘
任务
商城
勋章
成长计划

本版版主

深粉
12
185
6

发帖

粉丝

关注

2017万圣节勋章
山东_朱文鑫
121
315
351

发帖

粉丝

关注

优秀创作者

本版热帖

本版达人

LoveTec...

本周分享达人

新手24116...

本周提问达人