本帖最后由 阿云在战斗 于 2022-5-13 17:03 编辑
数字经济时代,数据已成为新的核心生产要素。特别是在航空航天、气象科学、AI自动驾驶及生命科学等领域,数据呈现指数级增长,以数据密集型为典型特征的高性能数据分析(HPDA)开始出现。
深信服分布式存储EDS不仅可以满足计算密集型应用性能需求,也解决了传统存储方案拓展性不足与成本过高的问题。
传统存储阵列采用专用硬件,拓展性欠佳,且硬件成本过重。在高性能计算场景下,传统的存储方案往往选择采用支持RDMA协议的IB网络降低网络时延,而在HPDA这种数据密集型场景下,单一存储集群节点数量往往可达到两位数甚至更多,一台Infiniband交换机的成本相当于数台存储节点的硬件成本,在大规模交付的场景下,采用传统的IB组网架构需要付出更高的成本。
↑ HPDA应用的高性能计算需求给存储系统带来挑战 深信服EDS存储架构采用了run to complete和无锁化编程模型,并优化了各模块之间的数据处理,实现系统内全IO栈的内存零拷贝,使整体性能得到了极大的提升。在关键的IO路径上,EDS采用自研的存储通信模块,结合共享内存来实现IO路径上的数据零拷贝,减少内存拷贝消耗,降低存储IO时延。 全对称分布式架构 深信服分布式存储EDS基于全对称的分布式架构,单一分布式存储集群可以横向拓展至数千节点,单一系统容量可拓展至EB级别,实现系统性能与容量线性增长,并且随着HPDA应用数据规模增大,EDS平均每TB数据的存储成本会越来越低。
↑ 随着存储系统容量增加,SDS系统性能线性增长的同时,每TB数据存储成本逐渐降低 支持RDMA RoCEv2协议 为了追求IO时延与成本之间的平衡,深信服分布式存储EDS创新性地选用RDMA RoCEv2网络,将存储节点网络使用RDMA 协议接入,实现低延迟极速网络传输,有效降低存储系统建设成本。 平均存储IO时延在us级别 深信服EDS存储架构采用了run to complete和无锁化编程模型,并优化了各模块之间的数据处理,实现系统内全IO栈的内存零拷贝,使整体性能得到了极大的提升。
↑ EDS关键IO流程示意图 3节点通用2U服务器即可提供6GB/s+吞吐 结合RDMA协议与NVME SSD介质,EDS可以同时发挥NVME SSD的性能优势与RDMA技术的低时延优势。采用3台aStor-EDS1250设备,每台服务器配置2块NVME SSD与通用硬盘,即可提供超过6GB/s的性能体验。
深信服分布式存储EDS采用通用硬件降低用户存储投入成本,再结合过硬的软件实力激发通用硬件的性能,提高HPDA应用数据存取效率,为用户提供高性价比的存储解决方案,助力产业稳健发展。
以上就是本期《信服云黑板报》的分享,关注“深信服科技”公众号,持续获取更多技术干货内容哦! |