档案信息化时代,如何选择海量数据存储技术?

档案行业工资大调研2.0上线,快快扫码填写问卷!


以下内容摘取自《档案馆现代化管理——从数字档案馆到智慧档案馆》一书:

档案信息化时代的海量数据存储技术

随着各行各业信息化应用的深入,各类非结构化的归档电子文件越来越多地移交至档案馆,海量信息存储的需求在不断增强,这不仅需要用海量存储设备进行存储备份,更需要提供数字化档案信息的网络化服务利用,这就需要借助网络的在线存储技术来获得更可靠的、更安全的存储空间,提供更快速的访问。

那么,数据存储技术都有哪些呢?快跟小编一起来了解下吧~

1、直连式存储(DAS)技术

DAS 是一种传统存储方式,是在本地网络上将存储设备(磁盘、磁带、磁盘阵列、磁带库等)通过 SCSIT 接口的电缆一对一地直接连接到服务器或者客户端的打展接口上。

DAS本身没有独立的操作系统,而是依靠其宿主设备——服务器或者客户端的操作系统来完成对数据的存储与管理。服务器和存储设备之间的连接通道是独立、专用的。存储设备只能由与其日接相连的服务器通过一个智能的控制器来访问。该方法主要是为克服主机上多动器槽的缺陷。当服务器需要更多的存储量时,只要多连接一个存储器就行了。该方法同时还允许一台服务器成为另外一台的镜像。这个功能是通过将服务器直接连到另一台服务器的界面上来实现的。

DAS 的优点是数据存储速度快,所有数据能够时刻在线,为用户提供快速的访间电应。不足之处在于大量占用服务器资源。当用户数增加或者服务器上的应用程序运行繁忙时,服务器就成了数据存储与访问的瓶颈,当网络上存储设备和服务器被添加进来,DAS环境将导致服务器和存储孤岛数量的激增,产生巨大的管理负担,并导致资源利用率降低。由于受到服务器扩展能力的限制,不可能进行无限度的扩容,容量会受到一定的限制。因此,它比较适合数字化信息量较小的档案馆使用

2、网络附属存储(NAS)技术

NAS 是一种基于文件级别的存储结构,存储设备直接连接到局域网上,具备文档存储功能,一个附加的层被用来对共享的存储文件进行寻址,系统通常使用网络文件系统(Network File System,NFS)或者通用互联文件系统(Common Internet File System, CIFS),这两者都是基于 IP 的应用。它将存储设备从服务器上脱离出来,完全独立于网络中的主服务器,而连接到现有的网络上,通过网络共享方式给各客户机提供网络数据资源服务,客户机完全可以不经过服务器而直接访问存储设备上的数据。NAS 服务器一般由存储硬件(如硬盘驱动器阵列)、操作系统以及其上的文件系统等几个部分组成。

NAS 的优点在于几台不同的服务器可以共享一个独立的存储设备。与 DAS 不同,NAS不仅实现了异构操作环境下的数据共享,而且即插即用,可以在线节容且具有良好的扩展性,而日每台服务器不再需要自已的在储设备,使车储能力得到更加充分有效地利用,降低了存储设备的成本。服务器可以使用不同的操作系统平台,只要它们都能支持 IP 协议即可。

NAS 的典型组成是使用 TCP/IP 协议的以太网文件服务器,数据是以文件作为操作对象。存储的介质可以是磁盘、磁盘阵列、光盘、磁带。

3、存储区域网(SAN)技术

SAN 网络是一种通过光纤集线器、光纤路由器、光纤交换机等连接设备将磁盘阵列、磁带等存储设备与相关服务器连接起来的高速专用子网。SAN 的交换式架构使任何一个存储单元都可以通过多个交换机连接到各个服务器上,这样就为访问存储单元的路由提供了冗余度,为通信提供了更多的路由,消除了某台交换机损坏而导致的单点失败。SAN 构成的子网专门用于在储,不占用服务器运算处理的网络带宽。SAN 设条通常由 RAID 阵列、磁带库、光盘库和光纤交换机组成。SAN 和服务器的数据通信通过命令而非 TCP/IP,是以数据块的形式提供对共享数据的访问,这样服务器可以访问数据中的任何一部分,而文件级的访问只能访问一个文件,一个文件通常包含若干个数据块,SAN 提供了很高的可靠性和很强的连续处理业务的能力,适合用在处理速度较快的数据环境中。

一个 SAN 系统通常由接口(如 SCSI、光纤通道、ESCON 等)、连接设备(如交换设备、网关、路由器、集线器等)和通信控制协议(如 IP 和 SCSI等)三个基本组件,及附加的存储设备和独立的 SAN 服务器组成。其特点在于∶

① SAN 提供了一个专用的、高可靠性的基于光通道的存储网络,它允许独立地增加它们的存储容量;

② SAN 提供了一种与现有 LAN 连接的简易方法,允许任何服务器连接到任何存储阵列,这样不管数据存放在哪里,服务器都可直接存取所需的数据,也使管理及集中控制更加简化,特别是对于全部存储设备都集群在一起的时候;

③ SAN 通过同一物理通道支持广泛使用的 SCSI 和 IP 协议,不受现今主流的、基于 SCSI存储结构的布局限制;

④ 运行备份操作就无须考虑它们对网络总体性能的影响;

⑤ 光纤接口提供了 10 km 的连接长度,这使实现物理上分离的、不在机房的存储变得非常容易;

⑥ SAN 初始构建成本比较高,因此适合有海量数据且具有良好经济实力的省市级档案馆使用。

4、内容寻址存储(CAS)技术

DAS 和 NAS 是基于文件访问的,SAN 是基于块(BLOCK)寻址的,比较适用TB 级数量的交易型或整合型的网络应用环境,而 CAS 则是采用内容寻址方式来进行数据存储的,主要是针对非结构化、固定内容、静态数据(如文档、电子邮件、影像、Video/Audio流媒体、CAD 图纸及各种数据交易历史记录等)等内容对象的存储而设计的。由于一个内容数据的大小是没有任何上限的,因此,CAS 使用一个内容地址来存放和读取此内容对象。CAS 设备中组织和存储的数据方式对外部应用系统是不可见的,对用户它是一个存储数据的'黑盒子',用户也不用关心它是如何存放数据的,只需要通过 CAS 提供的专有应用程序接口(Application Programming Interface,API)来实现对 CAS 设备上的存取或访问。目前,很多提供内容存储解决方案的厂商大都开发了专门访问 CAS 设备的应用程序,这使用户在存取和访问 CAS 设备中的内容时与通常的文件操作方式相一致。

与 CAS 设备配套的管理软件提供了许多功能来确保数据的完整性、有效性和安全性,如为每个文件设置保存期,可预防人为的或故意的修改和删除;保证同样内容的文件不会重复保存,只要进行修改,便成为新的文件,因此可以保证文件的真实性;采用单点无故障的结构以防止技术变化带来的影响。所有这些特点,都与档案这一'固定内容'的数据的管理要求相吻合,因此非常适合存储永久保存的、使用频率不高的数字化档案信息。

小结

档案馆在构建存储解决方案时,可以考虑将 SAN 和 CAS 存储技术联合使用,采用分级存储解决方案,将访问频率和访问速度要求较高的数字化档案信息存储在 SAN 构建的网络中,而将做长期保存和访问频率较低的档案信息存储在 CAS 的存储设备中,这样不仅能够满足用户对档案的利用需求,也能够满足档案馆对长期保存数字化档案信息的安全保存要求,降低管理复杂度。

编辑:SAN

(0)

相关推荐

  • 【原创】云计算中的三种存储技术

    本文适合云计算入门和深入学习云计算的伙伴,讲解了集中式存储.分布式存储.虚拟化存储三种存储技术. 概述:在云计算的领域离不开存储,那么云计算使用的存储包括三种类型:虚拟化的存储(虚拟化存储.非虚拟化存 ...

  • 变电站数字孪生实时可视化监控实践

    作者:铃动 2020年,图扑软件与阿里云云原生多模数据库Lindorm强强联手,凭借图扑软件HT数据可视化能力和Lindorm云原生数据库多模数据检索引擎协同工作.支持每秒千万级吞吐量高并发写入的特点 ...

  • 朝阳医院分布式存储选型启示录

    编辑:阿由 设计:紫菜 作为北京市门急诊的"大户",首都医科大学附属北京朝阳医院(以下简称:朝阳医院)日均门急诊量超过万例,年就诊总量接近400万人次,被誉为是首都人民健康安全的& ...

  • 新趋势!边缘存储助力物联网数据各尽其用

    本文来源:物联传媒 本文作者:露西 Gartner曾预测,到2021年,40%的大型企业会将边缘计算.存储与分析纳入项目范围,而2017年这一比例仅为不到1%. 时代的变化让这两个数据差异如此之大.如 ...

  • NREL选择模块化、经济高效、随处构建的粒子热能存储技术

    NREL选择模块化.经济高效.随处构建的粒子热能存储技术 陈讲运清洁供热分会 7小时前 沙中储能为可再生能源时代的可靠电力和热力供应提供低成本途径 在新的 NREL 开发的颗粒热能储存系统中,二氧化硅 ...

  • 信息化时代教育变革的趋势

    鞠光宇 随着信息化时代的到来,教育变革呈现七大趋势: 从追求数量到追求质量转变.随着全球各级教育入学率的大幅度上升,人们对教育的追求出现重大变化,不再单单满足于只是有教育机会,而是能够获得更为优质的教 ...

  • 大数据安全分析07_大数据存储技术介绍

    鉴于网络安全数据组成的复杂性.规模,以及对实时搜索响应的需求,需要通过大数据存储集群快速实现空间的扩容,在PB级的安全数据中做到安全分析查询的秒级响应,同时需要为数据提供了冗余机制,保障数据的安全. ...

  • 5G时代线缆行业的发展趋势技术交流会

    做为全球性展会方向标的慕尼黑电子展,本次华南地区打造智能制造,先进电子及激光技术博览会,聚焦线束加工及连接技术,5G新基建,展会采用技术论坛+会展的方式举办,本次展会方邀请众多专家分享线缆行业发展新趋 ...

  • 中国加速构建新型电力系统 传输存储技术亟待突破

    中国要实现未来十年的碳排放目标,兑现可再生能源的发展承诺,最紧迫的挑战之一就是对国家的电力系统进行全面改革. 在日前举行的施耐德电气2021年创新峰会上,施耐德电气高级副总裁.能源管理低压业务中国区负 ...

  • 申请排污许可证如何选择合适的技术文件?环评文件不算?

    答:排污许可制技术体系主要由排污许可证申请与核发技术规范.排污单位自行监测技术指南.污染源源强核算技术指南.污染防治可行技术指南四大类构成. 排污许可证申请与核发技术规范是整个技术体系的核心,排污单位 ...

  • 解德渤 | “重塑教学”:信息化时代对大学教学的颠覆与重构

    (图片来源自网络) 一分钟阅读 Scanning ﹀ ﹀ ﹀ 摘要 信息化时代开启了一场"重塑教学"运动,其对大学教学的影响集中体现在技术.观念以及思维三个方面.以信息技术为表征的 ...

  • 【大咖观点】孟艟:信息化时代涂装企业生存的“七个发现”

    共担时代责任,共促行业发展.2021年4月20日,由<涂饰商情>主办的2021中国(昆明)建筑涂装应用发展高峰论坛在云南昆明温德姆酒店盛大召开.本次活动是针对建筑涂装细分领域仿石漆的行业盛 ...

  • 5G时代,如视用技术重写居住服务标准

    万物皆可"互联网+",如今连房子都能线上购买了.互联网对房地产行业的加持可谓巨大.当然,这样的改变远非彻底,房地产信息的呈现有限,质量堪忧.用户甚至很难查清一个小区内的房屋出售数量 ...