#原创分享#分布式存储EDS初相识(1)-基础功能介绍
  

Anony 109764人觉得有帮助

{{ttag.title}}
“当前已有100+用户参与投稿,共计发放奖励100000+“


   

在开始介绍咱们的主角之前,首先大家先了解几个基础概念:

结构化vs非结构化
    在信息社会,信息可以划分为两大类。一类信息能够用数据或统一的结构加以表示,我们称之为结构化数据,如数字、符号;而另一类信息无法用数字或统一的结构表示,如文本、图像、声音、网页等,我们称之为非结构化数据。
    定义:
 结构化数据:即行数据,存储在数据库里,可以用二维表结构来逻辑表达实现的数据。
   非结构化数据:包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。

块存储
    典型设备:硬盘和磁盘阵列
    块存储主要是将“裸”磁盘空间整个映射给主机使用的。
    举个例子:磁盘阵列里面有5块硬盘,然后可以通过做Raid、划逻辑盘的方式逻辑划分出N个逻辑的盘。接着块存储会采用映射的方式将这几个逻辑盘映射给主机,然后操作系统还需要对挂载的裸硬盘进行分区、格式化后,才能使用,与平常主机内置的硬盘无差异。
    块存储的特点也就比较明显了:
    优点
    (1)通过Raid与LVM等手段,对数据提供了保护;
    (2)将多块廉价的硬盘组合起来,形成一个大容量的逻辑盘对外提供服务,提高了容量;
    (3)写入数据时,几块硬盘条带化、并行写入的,提升了读写效率;
    (4)块存储多用于SAN架构组网,传输速度以及封装协议的原因,使得传输速度和读写效率得到提升。
    缺点
    (1)采用SAN架构组网时,需购买光纤通道卡以及FC交换机,造价成本高;
    (2)主机之间数据无法共享,在服务器不做集群的情况下,块存储裸盘映射给主机,在格式化使用后,对于主机来说相当于本地盘,那么主机A的本地盘根本不能给主机B去使用,无法共享数据;

文件存储
    典型设备:FTP、NFS服务器
    文件存储顾名思义为文件服务器,举个例子:主机A可以直接对文件存储进行文件的上传和下载,与块存储不同,主机A是不需要再对文件存储进行格式化的,因为文件管理功能已经由文件存储自己搞定了。
     优点
     (1)造价低:随便一台机器就可以,以太网就可以,不需要专用的SAN网络,所以造价低;
     (2)方便文件共享;
     缺点
     (1)读写速率低,传输速率慢。

对象存储
    典型设备:内置大容量硬盘的分布式服务器
    对象存储最常用的方案,就是多台服务器内置大容量硬盘,再装上对象存储软件,然后再额外搞几台服务作为管理节点,安装上对象存储管理软件。管理节点可以管理其他服务器对外提供读写访问功能。
    之所以出现对象存储这种东西,是为了克服块存储与文件存储各自的缺点,发扬各自的优点。简单来说块存储读写快,不利于共享,文件存储读写慢,利于共享。能否弄一个读写块,利于共享的存储出来呢?于是就有了对象存储。
    到这里为止,我们了解了一些数据存储的基础概念,那么接下来,就进入到我们的主题了。千呼万唤始出来的企业级分布式存储aStor-EDS!

EDS产品介绍-产品架构
分布式存储架构
    EDS(Enterprise Distributed Storage,企业级分布式存储)采用分布式存储架构,提供分布式存储服务,在统一平台下提供块、文件、对象三种存储服务。

EDS产品介绍-组网说明
    类型:存储外网,存储私网,管理网
    管理网:平台管理网络,用于web登录、设备配置、运维管理以及集群间通信等作用,同一集群里面的主机管理地址必须在同一个二层网络,即同一个网段。
    存储私网:负责存储节点间数据通信,如数据同步等,存储私网为内部网络,地址可自定义,不要和其他地址段有冲突。
    存储外网:用于对外提供业务的网络,比如使用ISCSI进行挂载磁盘的时候,需要保障业务主机和存储外网之间网络互通。
    组网说明:在生产环境中,存储私网和存储外网交换机建议使用两台万兆交换机做堆叠,实现冗余和带宽增加;管理网建议使用两台千兆交换机做堆叠,虽然管理网和存储外网可以复用,但是不建议!

EDS产品特性-块存储
    EDS通过存储虚拟化技术创建基于本地通用硬件的SAN存储,提供iSCSI服务,支持广泛的虚拟化平台及数据库应用等场景,提供高性能与高扩展能力,满足高性能SAN场景存储需求。
注意:目前暂不支持FC协议

EDS产品特性-文件存储
    EDS提供标准CIFS、NFS、FTP协议的接口,以大规模横向扩展能力及超大统一命名空间的文件系统为企业提供非结构化数据共享存储资源,有高吞吐特性,主要应用于音视频、高性能计算、视频监控、数据备份等多业务场景。

EDS产品特性-对象存储
    EDS兼容 S3标准对象接口, 为用户提供高可靠、低成本、自修复、PB级别的弹性云存储平台,适用于文件归档、备份、视频应用、数字某公司、网盘、大数据分析、混合云数据部署等多种场景。
    为何引入对象存储:
1.块存储单个LUN容量上限仅为PB级别
2.文件存储的文件数量受限于文件系统(单个文件系统最优性能情况下支持的文件数量通常只在百万级别)
3.单个文件系统内文件数量较多时,采用元数据索引的方式查询较慢,性能下降
4.目录树组织结构,当目录较深时,运维难度高
    此基础上,需要一种全新架构的存储系统,这种存储系统需要具备极高的可扩展性,能够满足人们对存储容量 TB 到 EB 规模扩展的需求。

    对象存储系统和文件系统的区别:
1.文件系统通过树形检索,对象存储通过ID快速定位数据位置
2.文件系统目录层次深,对象存储只有两层

    如上图所示:
    文件系统为树形结构,随着深度的增加,查找的效率会越来越低。对象存储为二层结构,即bucket和object,bucket为索引,object为数据,这样效率更加高效。

基础功能就介绍到这里,下期将为大家讲解 EDS的部署使用!

打赏鼓励作者,期待更多好文!

打赏
8人已打赏

安信李智 发表于 2023-4-18 14:11
  
楼主分享的案例很实用,具有典型性,希望有更多这样的干货供我们学习参考,非常感谢!
一个无趣的人 发表于 2022-5-4 14:03
  
楼主的文章图文并茂,清晰易懂,看完这波操作可以轻松上手了,如遇到问题再向楼主请教~
平凡的小网工 发表于 2022-3-24 10:46
  
楼主的文章图文并茂,清晰易懂,看完这波操作可以轻松上手了,如遇到问题再向楼主请教~
司马缸砸了光 发表于 2021-7-11 09:09
  
非常好的技术干货帖,顶一个!
飞翔的苹果 发表于 2021-5-20 08:29
  
感谢分享,有助于工作,学习学习
我梦ZED 发表于 2020-11-30 11:47
  
非常感谢
谦柔 发表于 2020-11-25 16:57
  
学习了,谢谢分享!截图丰富
新手589624 发表于 2020-11-25 08:13
  
感谢分享
guafeng00 发表于 2020-11-24 14:41
  
学习型学校
发表新帖
热门标签
全部标签>
西北区每日一问
技术盲盒
安全效果
每日一问
【 社区to talk】
干货满满
技术笔记
产品连连看
新版本体验
技术咨询
GIF动图学习
功能体验
2023技术争霸赛专题
每周精选
标准化排查
通用技术
自助服务平台操作指引
信服课堂视频
秒懂零信任
安装部署配置
排障笔记本
玩转零信任
答题自测
原创分享
技术晨报
社区新周刊
POC测试案例
畅聊IT
专家问答
技术圆桌
在线直播
MVP
网络基础知识
升级
安全攻防
上网策略
测试报告
日志审计
问题分析处理
流量管理
每日一记
运维工具
云计算知识
用户认证
解决方案
sangfor周刊
VPN 对接
项目案例
SANGFOR资讯
专家分享
技术顾问
信服故事
SDP百科
功能咨询
终端接入
授权
设备维护
资源访问
地址转换
虚拟机
存储
迁移
加速技术
产品预警公告
信服圈儿
S豆商城资讯
技术争霸赛
「智能机器人」
追光者计划
深信服技术支持平台
社区帮助指南
答题榜单公布
纪元平台
卧龙计划
华北区拉练
天逸直播
以战代练
山东区技术晨报
文档捉虫活动
齐鲁TV
华北区交付直播
2024年技术争霸赛
北京区每日一练
场景专题
故障笔记
排障那些事
高手请过招
升级&主动服务
高频问题集锦
全能先锋系列
云化安全能力

本版版主

107
51
12

发帖

粉丝

关注

本版达人