本帖最后由 新手233854 于 2020-10-8 09:10 编辑
应用场景:新旧存储交替,旧存储中的数据需要迁到新存储中。大量小文件需要在两个存储间拷贝传输。
PACS图像文件大多在几百K到5M之间,无论是scp拷贝还是rsync同步,速度都只能稳定在20MByte/S左右。当有几百TB文件需要传输时,一般要耗时几个月才能把数据传完。并不是存储的性能只有20M/S,而是由于小文件传输的特性决定的,就算是在SSD本地硬盘间拷贝,速度同样起不来。
要提高传输速率,可以通过加大并发来实现。
以下是一个简易版的脚本,测试速度可以达到200M/S。存储的性能在400M/S,已经达到期望值。
新旧存储都通过NFS挂载在服务器上,通过cp本地对拷。脚本仓促写成,未加完善,中间使用绝对路径和数字常量,后期可以参数化,但测试阶段已基本满足需要。
代码插入后缩进错乱,以附件方式上传。
并发度定为15,当子任务结束并发小于10时,生成新的任务。
监控网络吞吐量,输入输出都在200M/S左右。新旧存储都是网络挂载,所以流量走的网络。
服务器总体负载情况:
|