结构化vs非结构化
在信息社会,信息可以划分为两大类。一类信息能够用数据或统一的结构加以表示,我们称之为结构化数据,如数字、符号;而另一类信息无法用数字或统一的结构表示,如文本、图像、声音、网页等,我们称之为非结构化数据。
定义:
结构化数据:即行数据,存储在数据库里,可以用二维表结构来逻辑表达实现的数据。
非结构化数据:包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。
块存储
典型设备:硬盘和磁盘阵列
块存储主要是将“裸”磁盘空间整个映射给主机使用的。
举个例子:磁盘阵列里面有5块硬盘,然后可以通过做Raid、划逻辑盘的方式逻辑划分出N个逻辑的盘。接着块存储会采用映射的方式将这几个逻辑盘映射给主机,然后操作系统还需要对挂载的裸硬盘进行分区、格式化后,才能使用,与平常主机内置的硬盘无差异。
块存储的特点也就比较明显了:
优点
(1)通过Raid与LVM等手段,对数据提供了保护;
(2)将多块廉价的硬盘组合起来,形成一个大容量的逻辑盘对外提供服务,提高了容量;
(3)写入数据时,几块硬盘条带化、并行写入的,提升了读写效率;
(4)块存储多用于SAN架构组网,传输速度以及封装协议的原因,使得传输速度和读写效率得到提升。
缺点
(1)采用SAN架构组网时,需购买光纤通道卡以及FC交换机,造价成本高;
(2)主机之间数据无法共享,在服务器不做集群的情况下,块存储裸盘映射给主机,在格式化使用后,对于主机来说相当于本地盘,那么主机A的本地盘根本不能给主机B去使用,无法共享数据;
文件存储
典型设备:FTP、NFS服务器
文件存储顾名思义为文件服务器,举个例子:主机A可以直接对文件存储进行文件的上传和下载,与块存储不同,主机A是不需要再对文件存储进行格式化的,因为文件管理功能已经由文件存储自己搞定了。
优点
(1)造价低:随便一台机器就可以,以太网就可以,不需要专用的SAN网络,所以造价低;
(2)方便文件共享;
缺点
(1)读写速率低,传输速率慢。
对象存储
典型设备:内置大容量硬盘的分布式服务器
对象存储最常用的方案,就是多台服务器内置大容量硬盘,再装上对象存储软件,然后再额外搞几台服务作为管理节点,安装上对象存储管理软件。管理节点可以管理其他服务器对外提供读写访问功能。
之所以出现对象存储这种东西,是为了克服块存储与文件存储各自的缺点,发扬各自的优点。简单来说块存储读写快,不利于共享,文件存储读写慢,利于共享。能否弄一个读写块,利于共享的存储出来呢?于是就有了对象存储。
到这里为止,我们了解了一些数据存储的基础概念,那么接下来,就进入到我们的主题了。千呼万唤始出来的企业级分布式存储aStor-EDS!
EDS产品介绍-产品架构
分布式存储架构
EDS(Enterprise Distributed Storage,企业级分布式存储)采用分布式存储架构,提供分布式存储服务,在统一平台下提供块、文件、对象三种存储服务。
EDS产品介绍-组网说明
类型:存储外网,存储私网,管理网
管理网:平台管理网络,用于web登录、设备配置、运维管理以及集群间通信等作用,同一集群里面的主机管理地址必须在同一个二层网络,即同一个网段。
存储私网:负责存储节点间数据通信,如数据同步等,存储私网为内部网络,地址可自定义,不要和其他地址段有冲突。
存储外网:用于对外提供业务的网络,比如使用ISCSI进行挂载磁盘的时候,需要保障业务主机和存储外网之间网络互通。
组网说明:在生产环境中,存储私网和存储外网交换机建议使用两台万兆交换机做堆叠,实现冗余和带宽增加;管理网建议使用两台千兆交换机做堆叠,虽然管理网和存储外网可以复用,但是不建议!
EDS产品特性-块存储
EDS通过存储虚拟化技术创建基于本地通用硬件的SAN存储,提供iSCSI服务,支持广泛的虚拟化平台及数据库应用等场景,提供高性能与高扩展能力,满足高性能SAN场景存储需求。
注意:目前暂不支持FC协议
EDS产品特性-文件存储
EDS提供标准CIFS、NFS、FTP协议的接口,以大规模横向扩展能力及超大统一命名空间的文件系统为企业提供非结构化数据共享存储资源,有高吞吐特性,主要应用于音视频、高性能计算、视频监控、数据备份等多业务场景。
EDS产品特性-对象存储
EDS兼容 S3标准对象接口, 为用户提供高可靠、低成本、自修复、PB级别的弹性云存储平台,适用于文件归档、备份、视频应用、数字某公司、网盘、大数据分析、混合云数据部署等多种场景。
为何引入对象存储:
1.块存储单个LUN容量上限仅为PB级别
2.文件存储的文件数量受限于文件系统(单个文件系统最优性能情况下支持的文件数量通常只在百万级别)
3.单个文件系统内文件数量较多时,采用元数据索引的方式查询较慢,性能下降
4.目录树组织结构,当目录较深时,运维难度高
此基础上,需要一种全新架构的存储系统,这种存储系统需要具备极高的可扩展性,能够满足人们对存储容量 TB 到 EB 规模扩展的需求。
对象存储系统和文件系统的区别:
1.文件系统通过树形检索,对象存储通过ID快速定位数据位置
2.文件系统目录层次深,对象存储只有两层
如上图所示:
文件系统为树形结构,随着深度的增加,查找的效率会越来越低。对象存储为二层结构,即bucket和object,bucket为索引,object为数据,这样效率更加高效。
基础功能就介绍到这里,下期将为大家讲解 EDS的部署使用!