第一章、存储基础(上)
一、存储的基本概念
1、什么是存储
存储就是根据不同的应用程序环境,通过采取合理、安全、有效的方式将数据保存到某些介质上,并能保证有效的访问。
存储的本质是记录信息的载体。
2、存储需要满足的三个条件
a.数据临时或者长期驻留的物理介质
b.需要保证数据能够及时的被读取或者保存
c.需要保证数据完整安全有效
3、存储是一个既包含硬件又包含软件的系统
a.硬盘、光盘属于硬件;文件系统(File System)属于软件。
b.作为用户,我们每个人在操作存储的时候,能接触到的都是文件系统。从文件系统中,我们可以看到文件的类型、文件的大小、创建时间等信息。
存储系统只有底层硬件和上层文件系统配合工作,才能够完成对数据的读写管理。
底层硬件只负责对0101这些二进制数据的读写。真正帮助用户清晰简洁管理数据的是上层的文件系统,用户直接对接的是文件系统。
c.Windows电脑的文件系统一般为FAT32或NTFS。
二、存储系统的分类
1、从连接方式、构建方式来看
a.DAS:Direct-Attached Storage
直连附属存储
b.NAS:Network Attached Storage
网络附属存储
c.SAN:Storage Area Network
存储区域网络
2、DAS
a.主机设备或 计算机设备直接通过物理接口和线缆连接存储磁盘获得存储资源。
b.优缺点:
优点:简单
缺点:独立的数据存储模式、不能共享访问
c.举例:
<1>办公电脑与硬盘的连接方式就是DAS存储。DAS是一种连接方式,不是协议。
<2>笔记本升级,将光驱更换为SSD盘作为启动盘,SSD盘与主板的连接方式为DAS存储。
3、NAS
(1).NAS存储连接到一个LAN网络,通过这个网络,所有网络上的服务器都可以访问到NAS存储,它的共享性比DAS强。
NAS是一个完整层次的系统,它包含了底层的硬件和上层的文件系统,通过网络服务连接到LAN网络中,而DAS只包含硬件。
NAS类似于一台电脑,包含主板、CPU、硬盘以及硬盘控制系统、文件系统和网络服务。
NAS系统相当于你从自己电脑上把你的文件拷贝到另一台电脑上,DAS本身没有自己的文件系统,其文件系统是电脑自身的文件系统,电脑自己的文件系统来管理DAS底层的物理硬件。
Windows的文件共享,属于NAS存储的范畴。
(2)NAS特点:
a.主机访问存储必须通过LAN共享。
b.提供的存储已经指定了对应的文件系统。
c.提供网络文件共享功能
d.支持的协议包括CIFS、NFS
(3)NAS缺点:
不适合对存储有大规模需求的场合,NAS扩展性较差。
4、SAN
工业生产场景下,需要大规模存储的时候,一般的解决方案是SAN存储。
(1)通过网络把服务器跟存储连接起来,这种网络称之为SAN网络。
SAN网络可以是FC网络,也可以是IP网络,其网络形式取决于服务器如何与存储进行通信。
(2)SAN的特点
a.主机可以访问任何存储设备,存储设备之间可以互访。
b.主机、存储设备可以独立扩展。
SAN的可扩展性很强,它可以根据用户所需要的服务资源和存储资源,随意的来扩展整个系统。
(3)SAN网络缺点
需要配置独立的存储阵列,成本比较高。
SAN和DAS具有相同点,只提供底层的存储硬件,并不提供文件系统。文件系统存在于SAN网络的服务器中,所有的存储阵列、磁盘库只负责数据的IO读写,读写效率较高。
(4)分类
SAN存储,主要包括两种网络架构的SAN:一种是基于IP网络的IP SAN,一种是基于FC网络的FC SAN。
a.IP SAN
主机端:网卡接口和客户端
网络:线速以太网交换机
存储端:具备iSCSI接口
这里提到的线速以太网交换机指的是传统交换机,iscsi协议兼容IP网络。
优点:利旧、扩展性好
充分利用现网已有的IP交换机和IP网络系统,成本比较低。
缺点:开销大、可靠性相比FC差
存储协议本来是SCSI协议,为了兼容IP协议,设计出了ISCSI协议,但ISCSI协议的开销比较大;由于ISCSI协议兼容IP,存储系统和业务通信系统共用一张网络,导致整个IP SAN网络的可靠性降低,容易受到攻击。
b.FC SAN
主机端:FC HBA卡
网络:FC交换机
存储端:具备FC接口(4G/8G/16G)
优点:可靠性高、性能比IP SAN好
FC协议与IP协议不兼容,FC协议是区别于MAC协议的一个二层协议,保证了存储网络和业务网络不会互相影响。
缺点:需要FC网络,技术门槛高,扩展性差
使用FC SAN需要重新搭建一张FC网络,需要购买FC交换机,购买专门的FC端口,成本较高。
三、存储服务分类
1、存储服务类型
(1)块级存储服务
(2)文件级存储服务
(3)对象存储服务
2、块级存储服务
(1)优点
提供高性能的随机I/O和数据吞吐率、延迟低。
SAN、DAS为主机提供的都是块存储。
(2)缺点
可扩展性和可管理性较差
(3)应用场景
为一些高性能、高IO的企业关键业务系统(如企业内部数据库)提供存储。
(4)块存储的本质就是将磁盘空间直接提供给主机。DAS、SAN是可以为主机提供块存储的存储架构。
很多台服务器通过SAN网络连上了磁阵,可以将每一块磁盘映射给不同的主机,磁盘与主机是一对一的映射关系,该硬盘只给该主机使用,磁盘的读写效率较高。
举例:将一个文件从第一台主机拷贝到第二台主机,该文件大小为1G,在第一台主机和第二台主机中,文件将分别占用1G空间,这就是块存储的特性。
3、文件级存储服务
(1)优点
扩展性好、易于管理、价格相对经济。
NAS提供的是文件存储。
(2)缺点
开销高、延迟大,不适合高性能的存储场景。
(3)应用场景
共享文件数据:FTP、家族NAS存储、医院PACS医疗影像数据
(4)由于NAS自带文件系统,NAS的读写效率相对于SAN、DAS的块存储是比较低的。
4、对象存储服务
(1)优点
支持高并行性、可伸缩的数据访问,管理性好、安全性高、适合大容量存储需求。
(2)缺点
时延长、不适合频繁更改的数据。
(3)应用场景
相对静态的文件数据,如备份、档案、视频和音频文件。
(4)对象存储是一种新技术,用来解决海量数据的存储问题。
举例:百度云盘上传一些从网上下载的文件时会秒传,原因是百度云盘使用了对象存储的服务。
(5)原理:
在存储区域它只存储这个数据的元数据,所有用户来访问的时候,访问的都是这个元数据本身。
举例:把张三百度云盘上的视频拷贝到李四的百度云盘里,在百度的存储后端,这个视频只占用一份存储空间,而不是两份,百度的后端只存储这个视频的元数据,但你可以在你的百度云盘里重命名该视频,我也可以在我的百度云盘重命名该视频,但在百度的后端存的是同一个文件。
对象存储解决了在互联网场合下产生的海量视频和图像数据的存储问题
第二章 存储基础(下)
一、存储相关的数据保护技术名词
1、RAID:Redundent Array of Independent
独立磁盘冗余阵列
(1)功能:
将多个独立的磁盘整合成一个RAID组,用来提升磁盘的读写能力。
实现RAID功能的部件:服务器配一块RAID卡;存储设备上有相应的RAID控制器。
除了配置硬件的RAID卡,还可以通过软件的方式实现磁盘的RAID配置。
(2)RAID优点:
a.解决了单个磁盘容量的限制
b.解决了单个磁盘速度的限制
c.解决了数据可靠性问题
(3)RAID级别
a.RAID 0
数据条带化,无校验,逻辑磁盘容量等于磁盘容量之和。
两块物理磁盘组成RAID 0,当我有一个数据要往里写的时候,将数据分成2等份同时写入两块磁盘,提升读写速度。通过把磁盘配置成RAID组,可以突破单个物理磁盘读写的限制,RAID组的读写速度是单个物理磁盘的两倍。如果配了三块物理磁盘组成RAID 0,读写速度是原来的三倍。
优点:写性能好;容量无损失。
缺点:不能冗余;数据易丢失。
RAID 0的可靠性比较低,只要坏一块磁盘,数据就丢了,它没有检验和纠错的功能。
b.RAID 1
数据镜像,无校验,逻辑磁盘容量等于物理磁盘容量之和的1/2。
优点:可靠性好;数据存储两份。
缺点:空间开销大;影响写性能。
RAID 1的读写性能没有提升,磁盘资源复用率只有50%;RAID 1特征了资源复用率,保证了可靠性。
c.RAID 5
数据条带化,校验信息分布式存储,逻辑磁盘容量等于(N-1)块磁盘容量之和。
RAID 5是在RAID 0的基础上又增加了一个数据检验,坏任意一块盘数据不丢失。
优点:兼顾传输性能和可靠性。
缺点:可用容量为n-1,n为磁盘数量。
RAID 5的读写速率不是正常单块盘读写速率的三倍,因为在写入的时候,还要计算校验数据,并将校验数据写入磁盘,会对磁盘的读写速率有一定影响。
2、备份
备份是指复用备份软件把数据从磁盘备份到(磁带)磁盘进行离线保存。
(1)备份的要素
a.备份管理服务器
安装了备份服务端软件的服务器
b.备份网络
以太网或者FC网络
c.备份软件
安装在需要备份的主机上
d.备份存储介质
用于保存数据的存储空间
现在的备份不需要单独购买备份管理服务器,在主机集群内部就可以完成备份。备份存储的位置跟数据存储的位置是一样的。
备份技术主要是为了提高数据的可靠性,当出现误操作、误删可以通过备份将数据拿回来。
3、快照
快照是特定数据集的一个完整可用拷贝,该数据集包含源数据在拷贝点的静态映象。
备份是对数据一个完整拷贝,而快照只记录了这个数据在这一刻的一个状态。
举例:你的数据是一本书,备份就是完整的把这个书誊抄一遍,原来的书有任何数据丢失,都可以靠誊抄的这本书把丢失的数据找回,英文又叫copy。快照只记录书的目录信息(目录记录了每一页都写了什么),所以快照的创建时间很短,它仅仅记录了一些目录索引信息。