本帖最后由 李智浩 于 2025-6-25 22:31 编辑
XX三甲医院EDS交付和数据迁移案例
1.项目背景:属于大型三甲综合型医院,每年影像数据增量在百TB级别,院内除去PACS影像数据外,还有影像云、电子票据等其它非结构化数据存储需求,大量的数据增长导致需要进行存储扩容。需要打造院内统一文件存储,简化管理。
2.实施前期情况:已经部署了我们三台EDS测试环境做了客户PACS业务数据迁移测试和业务承载测试(CIFS-PACS+NFS-影像云)。因此与客户进行了整体设备交付前的迁移计划沟通。
构建统一的文件存储容量池。初步沟通迁移和目录分配计划如下:
1.原测试EDS迁移上数据迁移到正式交付EDS 待迁移的数据包括两部分:部分PACS文件目录和联影影像云文件目录 (1)首先迁移联影影像云的nfs目录,/yingxiangyun,目前数据量为42T,与联影影像云老师沟通了解每日数据增量为500G左右,并且由于影像云将连接的虚拟ip,192.168.xx.xx写入到数据库里面了,因此需要交付的EDS在挂载影像云业务时需要配置虚拟ip包含192.168.xx.xx。同时影像云需要同时对EDS进行读写,因此影像云需要继续挂载在测试EDS上,同时使用SCMT将测试EDS影像云原数据和新增数据备份迁移到正式交付EDS上,正式交付EDS虚拟ip需要先配置临时的虚拟ip池。在持续进行增量同步最后一次增量同步完成后,先将影像云断开业务连接原测试EDS,再修改正式交付的EDS的虚拟ip为192.168.xx.xx。然后影像云NFS会直接重连到正式交付的EDS上。 (2)迁移测试阶段PACS服务器存储迁移到EDS的四个目录;EOL48,EOL51,EOL52,EOL53 每个目录平均8T左右数据,这四个目录没有新的数据增量,EOL48,EOL51,EOL52直接可以通过迁移工具SCMT将原测试EDS上迁移数据到正式的EDS上,EOL53需要从原PACS上迁移,不影响业务。 2.PACS存储数据迁移到正式交付EDS 待迁移数据在PACS存储上,迁移过程中可以将PACS服务器目录IP连接添加正式交付EDS的虚拟ip,创建新的CIFS目录提供给PACS服务器进行新的数据归档,并同时需要将原NAS的CIFS目录设置为只读,正式交付EDS创建的CIFS目录设置为读写,使新的数据归档到正式交付的EDS上,同时使用SCMT将NAS其余CIFS目录依次迁移到正式交付的EDS上,迁移完成后可以在PACS服务器上去掉原NAS存储目录IP,后面整体PACS全部切换到EDS上,迁移过程中不影响业务。 3.正式交付EDS承载业务系统文件存储服务 根据客户新上线业务(例如无纸化办公等业务系统),规划创建好CIFS、NFS目录并分配配额提供给业务系统客户端进行挂载使用。
3.数据迁移过程汇总:
SCMT | 迁移项目 | 迁移大小 | 迁移进度 | 截图(部分是子任务) | | PACS文件目录EOL51(所属源:测试EDS--192.168.xx.xx) | | |
| PACS文件目录EOL52(所属源:测试EDS--192.168.xx.xx) | | |
| PACS文件目录EOL48(所属源:测试EDS--192.168.xx.xx) | | |
| 浪潮存储服务iscsi存储,nfs共享目录(所属源:客户端共享路径192.168.xx.xx:/share) | | |
| PACS文件目录EOL19(所属源:客户PACS CIFS共享目录\\192.168.xx.xx) | | |
| PACS文件目录EOL20(所属源:客户PACS CIFS共享目录\\192.168.xx.xx) | | |
| | PACS文件目录EOL1(所属源:客户PACS CIFS共享目录\\192.168.xx.xx) | | |
| PACS文件目录EOL2(所属源:客户PACS CIFS共享目录\\192.168.xx.xx) | | |
| PACS文件目录EOL3(所属源:客户PACS CIFS共享目录\\192.168.xx.xx) | | |
| PACS文件目录EOL4(所属源:客户PACS CIFS共享目录\\192.168.xx.xx) | | |
| PACS文件目录EOL5(所属源:客户PACS CIFS共享目录\\192.168.xx.xx) | | |
| PACS文件目录EOL6(所属源:客户PACS CIFS共享目录\\192.168.xx.xx) | | |
| PACS文件目录EOL7(所属源:客户PACS CIFS共享目录\\192.168.xx.xx) | | |
| | PACS文件目录EOL8(所属源:客户PACS CIFS共享目录\\192.168.xx.xx) | | |
| PACS文件目录EOL9(所属源:客户PACS CIFS共享目录\\192.168.xx.xx) | | |
| PACS文件目录EOL10(所属源:客户PACS CIFS共享目录\\192.168.xx.xx) | | |
| PACS文件目录EOL11(所属源:客户PACS CIFS共享目录\\192.168.xx.xx) | | |
| PACS文件目录EOL12(所属源:客户PACS CIFS共享目录\\192.168.xx.xx) | | |
| PACS文件目录EOL13(所属源:客户PACS CIFS共享目录\\192.168.xx.xx) | | |
| PACS文件目录EOL15(所属源:客户PACS CIFS共享目录\\192.168.xx.xx) | | |
| PACS文件目录EOL16(所属源:客户PACS CIFS共享目录\\192.168.xx.xx) | | |
| PACS文件目录EOL17(所属源:客户PACS CIFS共享目录\\192.168.xx.xx) | | |
| PACS文件目录EOL18(所属源:客户PACS CIFS共享目录\\192.168.29.133) | | |
| 测试EDS上影像云nfs共享目录(所属源:客户端共享路径192.168.xx.xx) | | |
| EOL31-53在原PACS服务器上,也迁移完成到EDS上。 |
部分迁移任务拆分和整体EDS侧迁移速度汇总: CIFS类型: (1)对于PACS文件cifs目录EOL51,EOL52,EOL48整体相似目录结果进行划分 所有文件结果均为4097个子目录,以EOL51为例,其他两个目录为相似操作, 其中有一个空目录,因此需要源测试EDS192.169.xx.xx上EOL51目录:4097个二级目录
整体文件数量:37031994个 迁移任务拆分表,平均以100个子目录拆为一个任务后,在SCMT上创建对应的迁移任务。 对应迁移任务中进行对应子目录的选取。
迁移完成后的正式EDS目录情况 目录4096个,文件数37031993。
整体迁移前后文件数量一致(仅少一个空的目录文件夹) 迁移源:
迁移目的:
迁移源:
迁移目的:
整体三台SCMT6客户端并发迁移速度: 单台SCMT连接单个EDS接入带宽大概是50MB/S
其余xxPACS目录下面的EOL1-EOL20平均单个目录的大小为2T左右,因此没有进行目录拆分进行整体目录的单目录全量迁移。 NFS类型: (1)测试EDS-影像云80T目录迁移 整体迁移速度在140MB/s:
(2)浪潮iscsi磁盘 nfs共享120T目录迁移
整体迁移速度在78MB/s:
5.业务切换问题处理和效果验证: (1)影像云K8S集群使用域名的方式无法挂载EDS的NFS共享目录 问题现象:K8S集群添加host可以已IP形式挂载,不能已域名形式挂载。
研发定位给到具体的根因在K8S集群的环境配置上,影像云是容器部署的,我们部署命令是systemd,然后他们的宿主机改了dns,kubelet必须重启以重载宿主机的配置才行。 解决方案: 重启kubelet容器(很快),重新加载正确的DNS配置和网络环境设置,就能ping通域名了。
1. docker ps | grep kubelet找到容器的ID
2. docker restart $kubelet容器ID 修改后可以域名形式进行挂载了。 (2)影像云迁移完成后子目录无法修改,部分目录无法编辑删除
目录名称和所属用户组并不为root用户,为匿名用户。
解决方法: (1)需要在NFS目录共享协议中开启子目录挂载,解决子目录无法挂载的问题(针对K8S业务)
(2)需要开启匿名用户权限,使得对应nfs目录具有root用户权限。其中EDS客户端使用权限为EDS共享目录权限和linux文件目录权限的交集。即需要满足两边的权限赋权。
6.总结 1.打造院内统一文件存储,简化管理 深信服分布式存储可以同时提供块、文件和对象存储,作为院内统一的文件存储中心,目前除了PACS数据外,影像云、微缩病案、财务票据、远程病理等数据都存放在分布式存储中;同时也作为院内深信服超融合的外置存储,存算分离。 2.迁移速度快,稳定可靠性高 将原有XX阵列存储,XX分布式上的影像小文件(200KB-500KB)迁移至深信服分布式存储,迁移速度达到300-350MB\s,相较于之前提高了10倍及以上 3简化业务流,提高效率 原有PACS业务主要保存在3 PAR阵列上,额外购置了两台共享机头做院内共享使用;通过采用分布式存储,利用存储本身分布式共享协议,简化业务流。 |