海量存储优点与缺点 (海量存储设置不了)

随着技术的演进、业务的需求 ,个人和企业都会产生大量的数据,对于GB级数据 ,最便捷的方式就是将移动硬盘连接到计算机保存数据 。 对于TB级数据 ,可以购买服务器插上硬盘 ,格式化文件系统实现数据保存。

但是对于PB级数据 ,就不能简单地购买服务器快速搭建,必须考虑海量数据安全、稳定、高可用的存取,以及解决网络、服务器 、硬盘的故障,此时需要采用基于分布式技术的对象存储。

1956年,IBM发布350DiskStorage Unit , 它是 第一代真正意义上的磁盘存储 (HDD) 它的体积约为2个中等大小的冰箱,只能存放3.75MB数据,只有1个机械臂(包含2个读/写磁头)。

2020年的20TB硬盘容量是第一代硬盘的560万倍,尺寸也只有普通人手掌大小。 而且,介质技术逐步发展为固态硬盘 (SSD),将硬盘的机械技术变革为电子存储技术,存储密度和访问时延大幅提升。

存储技术的发展除围绕 盘自身技术的演进 外,还围绕着 数据的高可靠性、高性能、易管理、易分享等需求在存储系统层不断创新

尽管盘的技术在飞速发展,但是它无法解决单块盘出现故障带来的数据丢失问题。为此,业界引入了 廉价磁盘冗余阵列 (RAID) 技术 ,如 20世纪 70年代实现的镜像技术 (RAIDl) ,以及 此后演化的存储区域网络(SAN)

通常 ,SAN是一台外置存储设备,可以装入多块盘,在单块盘出现故障后还能继续工作。 使用存储区域网络,在主机层面就像使用普通硬盘一样。

盘本身只提供线性地址空间,主机访问盘时通常按照逻辑区块地址(LBA) 读/写数据。

盘本身不具备数据管理能力,无法直接存放一首音乐 、一段视频,可以通过 在盘上格式化文件系统 (FileSystem) 来解决这个问题,文件系统对外体现为 树形结构的目录和文件 ,应用和使用者 可以放入图片、音频、视频文件,简单易用。 但是,不管是单机的文件系统还是集群的文件系统,都不利于更多的机器共享使用 。

于是, 20世纪80年代 ,业界发明 网络附加存储 (NAS) ,它通过网络文件系统 (NFS) 协议或通用互联网文件系统 (CIFS) 协议提供文件共享服务,主机通过NFS或CIFS客户端指定NAS的网络IP地址访问共享文件夹 , 实现数据的过NAS的共享文件服务可提供很好的数据分享平台。

但是随着访问客户端数目的增加,再加上每个客户端存储的文件越来越多, 海量文件存储 的难题呈现在我们眼前。

文件系统目录深度和海量文件存储扩展性的矛盾。 文件系统目录树是纵向设计 的,为了满足应用,用户按如同图书目录的方式一级一级地管理文件。如果不同的客户端主机存放上亿的文件,而且目录深度是几十层,那么将是矩阵式的乘法效应,这对NAS来说是巨大的挑战。

为了解决海量文件存储的难题, 20世纪90年代,对象存储技术诞生了

对象存储服务,采用 桶和对象的平坦模式数据组织模型 ,对比文件系统树形目录结构数据模型, 元数据管理大大简化 ,从而便于 横向扩展 。同时,对象存储采用 域名系统 (DNS) 作为访问的入口 ,可将域名和多个网络IP关联,轻松实现 网络扩展

星驰云存储产品基于对象存储 ,一站式完成图片处理和音视频处理。 具备跨区域同步、生命周期管理等核心功能及服务 ,提供全行业真实数据的存储服务,丰富存储行业生态。