XX三甲医院EDS业务数据迁移案例
  

李智浩 665

{{ttag.title}}
本帖最后由 李智浩 于 2025-6-25 22:31 编辑

XX三甲医院EDS交付和数据迁移案例

1.项目背景:属于大型三甲综合型医院,每年影像数据增量在百TB级别,院内除去PACS影像数据外,还有影像云、电子票据等其它非结构化数据存储需求,大量的数据增长导致需要进行存储扩容。需要打造院内统一文件存储,简化管理。

2.实施前期情况:已经部署了我们三台EDS测试环境做了客户PACS业务数据迁移测试和业务承载测试(CIFS-PACS+NFS-影像云)。因此与客户进行了整体设备交付前的迁移计划沟通。

构建统一的文件存储容量池。初步沟通迁移和目录分配计划如下:

1.原测试EDS迁移上数据迁移到正式交付EDS
待迁移的数据包括两部分:部分PACS文件目录和联影影像云文件目录
(1)首先迁移联影影像云的nfs目录,/yingxiangyun,目前数据量为42T,与联影影像云老师沟通了解每日数据增量为500G左右,并且由于影像云将连接的虚拟ip192.168.xx.xx写入到数据库里面了,因此需要交付的EDS在挂载影像云业务时需要配置虚拟ip包含192.168.xx.xx。同时影像云需要同时对EDS进行读写,因此影像云需要继续挂载在测试EDS上,同时使用SCMT将测试EDS影像云原数据和新增数据备份迁移到正式交付EDS上,正式交付EDS虚拟ip需要先配置临时的虚拟ip池。在持续进行增量同步最后一次增量同步完成后,先将影像云断开业务连接原测试EDS,再修改正式交付的EDS的虚拟ip192.168.xx.xx。然后影像云NFS会直接重连到正式交付的EDS上。
(2)迁移测试阶段PACS服务器存储迁移到EDS的四个目录;EOL48,EOL51,EOL52,EOL53
每个目录平均8T左右数据,这四个目录没有新的数据增量,EOL48,EOL51,EOL52直接可以通过迁移工具SCMT将原测试EDS上迁移数据到正式的EDS上,EOL53需要从原PACS上迁移,不影响业务。
2.PACS存储数据迁移到正式交付EDS
待迁移数据在PACS存储上,迁移过程中可以将PACS服务器目录IP连接添加正式交付EDS的虚拟ip,创建新的CIFS目录提供给PACS服务器进行新的数据归档,并同时需要将原NASCIFS目录设置为只读,正式交付EDS创建的CIFS目录设置为读写,使新的数据归档到正式交付的EDS上,同时使用SCMTNAS其余CIFS目录依次迁移到正式交付的EDS上,迁移完成后可以在PACS服务器上去掉原NAS存储目录IP,后面整体PACS全部切换到EDS上,迁移过程中不影响业务。
3.正式交付EDS承载业务系统文件存储服务
根据客户新上线业务(例如无纸化办公等业务系统),规划创建好CIFSNFS目录并分配配额提供给业务系统客户端进行挂载使用。

3.数据迁移过程汇总:


SCMT
迁移项目
迁移大小
迁移进度
截图(部分是子任务)
SCMT1-192.168.30.252
PACS文件目录EOL51(所属源:测试EDS--192.168.xx.xx)
7.53T
已完成
PACS文件目录EOL52(所属源:测试EDS--192.168.xx.xx)
7.96TB
已完成
PACS文件目录EOL48(所属源:测试EDS--192.168.xx.xx)
61.82TB
已完成
浪潮存储服务iscsi存储,nfs共享目录(所属源:客户端共享路径192.168.xx.xx:/share)
119.24TB
已完成

PACS文件目录EOL19(所属源:客户PACS CIFS共享目录\\192.168.xx.xx)
1.97TB
已完成
PACS文件目录EOL20(所属源:客户PACS CIFS共享目录\\192.168.xx.xx)
1.75TB
已完成
SCMT2-192.168.xx.xx
PACS文件目录EOL1(所属源:客户PACS CIFS共享目录\\192.168.xx.xx)
1.99TB
已完成
PACS文件目录EOL2(所属源:客户PACS CIFS共享目录\\192.168.xx.xx)
1.99TB
已完成
PACS文件目录EOL3(所属源:客户PACS CIFS共享目录\\192.168.xx.xx)
1.76TB
已完成
PACS文件目录EOL4(所属源:客户PACS CIFS共享目录\\192.168.xx.xx)
1.65TB
已完成
PACS文件目录EOL5(所属源:客户PACS CIFS共享目录\\192.168.xx.xx)
1.88TB
已完成
PACS文件目录EOL6(所属源:客户PACS CIFS共享目录\\192.168.xx.xx)
1.69TB
已完成
PACS文件目录EOL7(所属源:客户PACS CIFS共享目录\\192.168.xx.xx)
1.99TB
已完成




















SCMT3-192.168.xx.xx
PACS文件目录EOL8(所属源:客户PACS CIFS共享目录\\192.168.xx.xx)
1.88TB
已完成
PACS文件目录EOL9(所属源:客户PACS CIFS共享目录\\192.168.xx.xx)
1.99TB
已完成
PACS文件目录EOL10(所属源:客户PACS CIFS共享目录\\192.168.xx.xx)
1.93TB
已完成
PACS文件目录EOL11(所属源:客户PACS CIFS共享目录\\192.168.xx.xx)
1.99TB
已完成
PACS文件目录EOL12(所属源:客户PACS CIFS共享目录\\192.168.xx.xx)
1.12TB
已完成
PACS文件目录EOL13(所属源:客户PACS CIFS共享目录\\192.168.xx.xx)
330.75GB
已完成
PACS文件目录EOL15(所属源:客户PACS CIFS共享目录\\192.168.xx.xx)
359.76GB
已完成
PACS文件目录EOL16(所属源:客户PACS CIFS共享目录\\192.168.xx.xx)
338.52GB
已完成
PACS文件目录EOL17(所属源:客户PACS CIFS共享目录\\192.168.xx.xx)
1.95TB
已完成
PACS文件目录EOL18(所属源:客户PACS CIFS共享目录\\192.168.29.133)
1.99TB
已完成
测试EDS上影像云nfs共享目录(所属源:客户端共享路径192.168.xx.xx)
70.9TB
已完成
EOL31-53在原PACS服务器上,也迁移完成到EDS上。

4.数据速度汇总:

部分迁移任务拆分和整体EDS侧迁移速度汇总:
CIFS类型:
(1)对于PACS文件cifs目录EOL51,EOL52,EOL48整体相似目录结果进行划分
所有文件结果均为4097个子目录,以EOL51为例,其他两个目录为相似操作,
其中有一个空目录,因此需要源测试EDS192.169.xx.xxEOL51目录:4097个二级目录

整体文件数量:37031994
迁移任务拆分表,平均以100个子目录拆为一个任务后,在SCMT上创建对应的迁移任务。
对应迁移任务中进行对应子目录的选取。

迁移完成后的正式EDS目录情况
目录4096个,文件数37031993

整体迁移前后文件数量一致(仅少一个空的目录文件夹)
迁移源:

迁移目的:


迁移源:

迁移目的:
整体三台SCMT6客户端并发迁移速度:
单台SCMT连接单个EDS接入带宽大概是50MB/S



其余xxPACS目录下面的EOL1-EOL20平均单个目录的大小为2T左右,因此没有进行目录拆分进行整体目录的单目录全量迁移。
NFS类型:
(1)测试EDS-影像云80T目录迁移
整体迁移速度在140MB/s

(2)浪潮iscsi磁盘 nfs共享120T目录迁移

整体迁移速度在78MB/s

5.业务切换问题处理和效果验证:
(1)影像云K8S集群使用域名的方式无法挂载EDSNFS共享目录
问题现象:K8S集群添加host可以已IP形式挂载,不能已域名形式挂载。

研发定位给到具体的根因在K8S集群的环境配置上,影像云是容器部署的,我们部署命令是systemd,然后他们的宿主机改了dnskubelet必须重启以重载宿主机的配置才行。
解决方案:
重启kubelet容器(很快),重新加载正确的DNS配置和网络环境设置,就能ping通域名了。
1. docker ps | grep kubelet找到容器的ID
2. docker restart $kubelet容器ID
修改后可以域名形式进行挂载了。
(2)影像云迁移完成后子目录无法修改,部分目录无法编辑删除

目录名称和所属用户组并不为root用户,为匿名用户。

解决方法:
(1)需要在NFS目录共享协议中开启子目录挂载,解决子目录无法挂载的问题(针对K8S业务)

(2)需要开启匿名用户权限,使得对应nfs目录具有root用户权限。其中EDS客户端使用权限为EDS共享目录权限和linux文件目录权限的交集。即需要满足两边的权限赋权。

6.总结
1.打造院内统一文件存储,简化管理
深信服分布式存储可以同时提供块、文件和对象存储,作为院内统一的文件存储中心,目前除了PACS数据外,影像云、微缩病案、财务票据、远程病理等数据都存放在分布式存储中;同时也作为院内深信服超融合的外置存储,存算分离。
2.迁移速度快,稳定可靠性高
将原有XX阵列存储,XX分布式上的影像小文件(200KB-500KB)迁移至深信服分布式存储,迁移速度达到300-350MB\s,相较于之前提高了10倍及以上
3简化业务流,提高效率
原有PACS业务主要保存在3 PAR阵列上,额外购置了两台共享机头做院内共享使用;通过采用分布式存储,利用存储本身分布式共享协议,简化业务流。

49998685bfe3099775.png (975.13 KB, 下载次数: 8)

49998685bfe3099775.png

打赏鼓励作者,期待更多好文!

打赏
暂无人打赏

发表新帖
热门标签
全部标签>
新版本体验
每日一问
标准化排查
GIF动图学习
信服课堂视频
产品连连看
纪元平台
安全效果
平台使用
社区新周刊
功能体验
答题自测
技术笔记
网络基础知识
高手请过招
【 社区to talk】
云化安全能力
专家问答
安装部署配置
上网策略
每周精选
畅聊IT
技术圆桌
在线直播
MVP
升级
安全攻防
测试报告
日志审计
问题分析处理
流量管理
每日一记
运维工具
用户认证
原创分享
解决方案
sangfor周刊
VPN 对接
项目案例
SANGFOR资讯
专家分享
技术顾问
信服故事
SDP百科
功能咨询
终端接入
授权
设备维护
资源访问
地址转换
虚拟机
存储
迁移
排障笔记本
产品预警公告
玩转零信任
S豆商城资讯
技术争霸赛
「智能机器人」
追光者计划
2023技术争霸赛专题
卧龙计划
华北区拉练
天逸直播
以战代练
秒懂零信任
技术晨报
技术盲盒
山东区技术晨报
文档捉虫
齐鲁TV
华北区交付直播
2024年技术争霸赛
北京区每日一练
场景专题
故障笔记
排障那些事
西北区每日一问
升级&主动服务
高频问题集锦
POC测试案例
全能先锋系列
专家说
热门活动
产品动态
行业实践
产品解析
关键解决方案

本版版主

4
0
0

发帖

粉丝

关注

本版热帖

本版达人