现在视频存储方案等大数据的长效存储和归档存储有什么解决办法吗?如何保证5年,10年以上的数据安全存储呢?

星震同源-档案数字化服务
星震同源 >>
站内搜索:
海量数据长期安全存储 热线咨询:(010)&&&
  面对海量数据的大爆发,过去主要用于备份结构化数据的传统磁存储模式的局限性已日益突显。据专家分析,未来几年内,全球70%的数据中心都需要进行改造,原有的机房已很难满足下一代高密度服务器及存储设备的占地、电力和制冷需求。此外,仅用磁存储介质进行数据存储备份所带来的安全隐忧更为严峻!数据的海量增长使得信息机构的"心脏"~数据中心面临巨大挑战!如果权衡考虑不当,将可能导致存储安全问题乃至数据灾难,同时会背上反复投入的沉重负担。
  近年来随着档案数字化工作的不断开展,如何合理解决大量原文数据的长期安全存储问题时刻困扰着我们!
  于是,一种基于蓝光光盘存储技术的磁光结合存储模式应运而生,有效地解决了这一难题。
一、海量数据现状和隐忧
1、数据的爆炸性增长
  2011年全球信息总量超过1.8ZB(1ZB ≈ TB),预计5年内归档数据总量将实现800%的增长,未来10年的全球数据存储量将增长50倍以上。
2、数据保存的能耗惊人
目前全球互联网用电功率达数千亿瓦 。
一条谷歌搜索耗电相当于一个节能灯开一小时 。
一个大型数据中心的功率超过了一个中型城镇 。
全球互联网数据中心的用电功率达300亿瓦特,相当于30个核电站的供电功率 。
数据中心耗电量的6%~12%是被用于网站计算的,其余均无谓消耗 。
3、损毁数据的多种威胁
  病毒、系统错误、操作失误、人为破坏、载体老化、意外事故、自然灾害……
4、海量数据的存储现状
  在专业存储中,在线存储设备采用的是磁盘阵列,离线存储设备采用的是磁带库,系统架构图如下:
5、磁盘阵列
数据保险箱
在过去的20多年中,磁盘和磁带技术始终高速发展。特别是磁盘,
容量不断增大,价格不断下降,这使得人们可以用较低的单位存储成本搭建具有一定容错功能的磁盘阵列。在专业领域存储中以磁盘阵列为主体,磁带做备份的存储方案被广泛应用。然而对于大量数据的长期存储,这种体系结构是不安全的。
Google公司在大数据量应用环境下所做的统计研究表明,磁盘阵列中的硬盘损坏率是相当高的:如6块硬盘同时工作2年的存活率为54%,3年存活率为30%;12块硬盘5年的存活率只有1%!IBM苏黎世实验室的研究指出,在使用企业级SCSI硬盘和RAID 5存储100TB数据的情况下,前5年丢失数据的概率是24%!受磁盘寿命的影响,若想实现数据长期的存储,必须要定期更换磁盘,并且随着数据的不停增长,还需要不断的新购置磁盘,这将是一个无底洞,需要不停地增加数据存储的成本。
磁带是传统的数据存储媒质,具有存储容量大的特点,可是对存放环境要求较高,寿命相对较短,极易发生霉变和磁粉脱落,随着对数据管理即时性和安全性要求的提高,磁带已经不能完全适应对海量信息数据的存储和管理。
磁盘和磁带同属磁性存储介质,有三方面缺陷:一是易受电磁因素的影响,一旦遭受磁暴打击(无论是人为还是自然因素),将直接引发数据灾难;二是磁盘和磁带都需要阶段性进行数据迁移,迁移风险和成本较高;三是由于它们属于机械驱动,所以还存在驱动器更新、兼容性等问题。这些都使得磁盘或磁带的存储备份模式能耗大、运维复杂、总体拥有成本高。
6、磁介质、光介质存储性能对比表
离线或备份
近线或离线归档
可被修改或删除
可被修改或删除
不可修改删除
信息保存时间
总体拥有成本
7、常用介质长期存储的代价
  磁盘阵列必须连续运行且耗电巨大,同时需要专业人员维护;另外为保证数据安全,重要数据需不断在磁盘系统间迁移,这种做法对于利用频率高的热数据是绝对必要的,但对很少被用到的冷数据是巨大的浪费。
二、数据长期安全存储策略
&&  国际上公认的存储策略为:对于要长期安全存储的数据,至少要有3份拷贝,它们被存在2种以上不同的物理介质上,其中1份必须是可移动的,离线的,不可更改且不可删除的永久拷贝。
<strong style="color:#、数据的自然规律
90%的新增数据是固定内容,也被称为"休眠数据"、"固定数据"、"静态数据"或"冷数据"。这类数据的特点是被访问的频率很低,并且不会改变。大部分的这类数据都是非常宝贵的,会出于法规的原因被要求保存几年到几十年。大量的休眠数据占据了持续高速运转的磁盘阵列(RAID)空间,维持这种状态的代价是十分高昂的。档案行业"休眠数据"所占比例更高。
95%的数据都是非结构化数据,这些数据每年按60%的比率在快速增长。但是,这些数据平均只有1%-5%是结构化的数据。90%的非结构化数据永远不会再被用到,这种迅猛增长且很少使用的休眠数据消耗着复杂而昂贵的一级存储资源。
2、数据长期安全存储模式
&  "传统存储模式"通常使用磁盘存储备份100%数据,相当于"只泡一小壶茶,却要持续不断地烧着一锅炉热水" 。为了顺应数据的自然规律,推荐"磁光结合模式",该模式结合磁盘和光盘的各自优点,将利用率很高的热数据存储在磁盘上,而将访问率极低的冷数据存储在光盘上。这是一种简单、安全、低成本、避免重复投资、节能减排的存储模式,相当于"需用多少热水就烧多少,大量的水则储存在蓄水池里"。
三、蓝光技术发展现状和趋势
  光盘是从70年代初发展起来的一种数据记录媒体,从CD到DVD,再到如今的BD(蓝光),近年来不断取得重大突破。随着技术的发展和革新,光盘的容量、耐用性及读写速度也有了显著地提升,毋庸置疑,蓝光光盘存储技术将成为新一代海量数据归档存储的核心。
1、蓝光光盘特点
  激光的波长越短、频率越高、能量越大。CD光盘采用780纳米波长的激光读写;DVD光盘采用650纳米波长红光激光读写;而BD光盘则是采用波长405纳米蓝色激光读写,因而能够存储更多的数据信息。蓝光光盘刻蚀点更小,密度更大,并且可进行多层刻蚀,目前容量可达100G以上。
2、蓝光光盘现状
  目前,蓝光光盘主要包括:BD SL(25GB)、 BD DL(50GB)、BD TL (100GB)、 BD QL(128GB) ,具体分类如下图所示:
3、蓝光光盘发展路线
  到2017年,单盘容量可达500GB,读写速度可达360MB/s。随着蓝光光盘应用的普及,一次性购入性价比将优于硬盘和磁带,对于绿色节能减排和数据长期安全存储都将产生革命性的影响。
4、企业级BD光盘的高可靠性
  为了提升BD光盘的寿命,专业厂商设计生产了企业级BD光盘,用来备份重要的档案数据,它具有如下优点:
盘面数据记录层采用更耐用的无机材料,如同将数据铭刻在"岩石"上。
独到的金属烧蚀分层技术创造了最稳定的记录介质,具有抗指痕、划伤、灰尘和读头碰撞能力。
寿命可达50年以上(遵循德国TUV标准)。
保证记录标记的不可逆,数据不能被修改。
目前单盘容量可达100G以上,更易于管理。
常温环境即可保存,无需特殊的保存环境。
企业级BD光盘的抗灾实验
沉入海水中7天
抗腐蚀性气体
腐蚀气体环境,75%相对湿度,96小时。(硫化氢12.5ppm,二氧化硫25ppm)
使用日光灯模拟器(Xe灯,550瓦/平方米,照射3周)
抗温度、湿度
176华氏度,80%相对湿度,250小时,40华氏度,750小时
抗化学物品
用1%的次氯酸盐溶液,77%的乙醇溶液擦20遍
四、星震海量数据蓝光存储系统
  本系统是以企业级蓝光光盘作为存储载体,针对海量电子档案数据实现自动归档、自动校验、自动备份、自动迁移和智能调阅的设备,由光盘库、离线库和智能管理软件三部分组成,主要设备图示如下:
  该设备源于德国蔡斯(ZEISS)公司精密的制造技术,主要由片匣、机械手和企业级光驱三个部分组成。通过企业级光驱对光盘数据进行管理,精度高,耐用性好,运维简单,能耗低,随时使用随时加载,最大限度节约电能。
  片匣是光盘管理的基本单位,是连接近线和离线存储的桥梁,特点如下:
每个片匣可容纳35片光盘
双重锁定、避光、防尘,有效保护光盘
双重RFID保证片匣唯一的ID,可以从正面和侧面自动读取片匣信息
  机械手自动将光盘移动到片匣、光驱等位置,操作简单,无需人工接触,最大限度保护光盘和提高工作效率。特点如下:
光盘盘孔抓盘,精准高效。
机械手步进最小距离250万次。
支持抽片位置自动校准。
光盘平均装载时间<15秒;
   企业级光驱精度高、耐用性好,特点如下:
特殊精选的高质量激光头系统。
针对企业级光盘优化。
防尘结构设计。
严格的质量控制。
坚固的高机械可靠性设计。
可适用于各种严酷的专业应用环境。
初始写入误码率仅为普通光驱的十分之一。
光盘屉开闭寿命是普通光驱的十倍。
具有符合JIIMA标准和JIS Z6017的刻录质量检测功能 (仅适用于BDR-PR1M)。
限制刻录未经OPARG认证的消费类BD光盘。
  (注:OPARG为光盘归档联盟的简称)
  特殊说明:企业级光驱还具有光盘检测功能。光盘寿命的核心指标是误码率,随着光盘保存年限和读取频率的增加,有可能导致误码率不断升高。当误码率达到一定数值的时候,为保证数据安全必须对数据进行迁移。企业级光驱的光盘检测功能对归档光盘的误码率进行自动检测,从而定期监控归档光盘的寿命。
&&  智能离线库属于离线存储设备,用于管理标准的光盘片匣,可实现离线光盘的全方位查询管理。与光盘库配合使用,灵活搭建成"近线+离线"的海量存储系统。
&  将那些不经常被访问又需要长久保存的数据,转存到离线存储设备中,能够大大缓解用户近线存储的需求,不仅可以减少总体存储成本和提高系统性能,而且方便进行数据的异地备份。
  近线到离线的操作十分简单,只需要将相应的片匣放到离线库中,离线库就可以自动完成片匣信息的登录和管理。
3、智能管理系统
  为了更好实现光盘库和离线库的智能管理,结合档案数据的应用要求,专门设计一套软件系统,主要功能如下:
能够实现自动切分档案数据并自动分盘,支持不跨卷、不跨件及重构目录结构的专业化归档要求。刻录时自动监测工作过程,可自动修复并重启任务,防止意外因素导致刻录数据损坏。光盘刻录成功后系统自动进行数据校验,保证光盘可读性和刻录数据的完整性、一致性。
光盘调阅   
根据光盘名称、档号或关键词等对光盘存储信息进行内容检索,检索模式包括:模糊检索、条件检索和二次检索,并将检索数据自动迁移至本地,实现光盘调阅。
光盘加密   
支持光盘高强度加密刻录,查档完成后可将所需数据刻录成加密光盘,防止在档案提交或档案移交过程中,由于光盘丢失所造成的数据泄密,确保档案信息安全。
结合带检测功能的专业级刻录光驱,可实现CD、DVD、BD光盘的定期质量检测功能,并给出三级预警,以此判断光盘寿命和光盘存储信息是否安全。
根据光盘检测结果,将达到三级预警的光盘所存储的数据迁移至本地服务器和磁盘阵列,实现数据的自动迁移。
检查数据著录项完整性、著录内容规范性、相同字段一致性,检查图像源目录下的图像文件是否符合指定要求。
根据中华人名共和国档案行业标准DA/T48-2009《基于XML电子文件封装规范》的要求,将电子文件原文数据及元数据进行XML封装,以维护电子文件原文数据和元数据的可靠联系,便于电子文件交换、长期保存和利用。
电子书封装
将以图片格式作为保存方式的电子档案数据制作成电子书,便于查询和阅读,支持自动翻页和动态翻页。
光盘刻录时支持自动制作光盘浏览工具,制作完成后光盘可自动播放。
五、中央档案馆应用案例
1、设计目标
  数据永久性安全存储通常执行"3-2-1"策略,即需要有3份拷贝,存储在2种以上不同的介质上,其中1份是离线可移动的拷贝。中央档案馆在现有的磁盘阵列存储系统之上,再建设一套蓝光光盘离线备份系统,从而实现数字化成果数据"3-2-1"安全存储策略,通过全面的备份管理,确保数据的安全可靠。
2、设备选型
  光盘离线备份系统包括光盘库和离线库两部分,库与库之间实现兼容,统一管理。光盘库需支持企业级刻录机和企业级蓝光光盘(Enterprise Grande for Archive),同时支持多个刻录机协同工作。存储容量易于扩充,并具有操作简单、节能环保等特点。离线库应支持对离线光盘的全方位查询管理,光盘匣配有RFID检测功能,可快速找到被调用的光盘。光盘库与离线库配合,完成近线(离线)数据存储。备份系统需配备专业的光盘存储系统软件,支持刻录任务自动切分、校验、无人值守刻录,可灵活设置任务切分模式和设定光盘预留空间,支持多光驱自动协同刻录等功能。蓝光光盘必须配置适应于档案数据长期安全存储的企业级蓝光光盘。根据以上要求选定设备如下:
蓝光光盘库:NETZON
HMS 3560BD
智能离线库:NETZON
HMS 8OFF-12
企业级蓝光光盘:Verbatim BD-R 50G
备份系统:星震光盘存储系统
3、系统架构02级档案学 刘霜、倪腾&&& &&XX年7月14日――30日,我们有幸在导师的指导下,对成都市民主建国会的档案进行了制作全引目录和编制大事记的工作。一.档案的大致情况& &&通过对市民建档案的整理,我们做了如下的统计: &&& 市民建档案收集了1951年到XX年的档案,其中缺少了1968――1982年期间的档案(1966年5月至1976年10月的“文化大革命”使民建中央和各级地方组织被迫停止活动11年,这个时期没有档案。之后的1977――1982年由于支部工作没有开展,因此也没有档案保存下来。),而且1966――1968每年均只有一卷的《预算、决算、月报表》。50年代除了永久保存的档案还保留一部分长期,60年代也还有4卷长期档案。考虑到时代背景,那个年代遗留的档案较少,这些档案很可能会永久保存。二.市民建归档文件中发现的问题:一、归档范围1. 归档的文件范围不固定。一方面,市民建归档的文件有的只有草稿或定稿,有的又只有正本,一部分则两者皆有。一些重要的文件只留有草稿,一些简报倒是正本定稿均有,不能不说是很遗憾的事情。另一方面,不知是不是档案散失的原因。如62年就只有组织处的11、12月份工作计划,其他月份则没有。其他各年度的工作计划也少有收齐的,这种情况也主要存在于60年代。2.& 重份文件。不管是过去,还是现在,或多或少的存在这个问题。市民建档案在XX年以后的保存中,将所接收到通知,大多保存了完全相同的两份,这是完全没有必要的。XX年第七卷里的第26件文件就保存了重份。3.& 插页的情况。在市民建的档案中,偶尔有一两张空白页插入其中,而有的是编了张号的,有的则没有,也没有做任何的注明,这样会使档案查阅者在查阅时不明所以,造成误解。4.& 垫纸。在1985年以后,市民建的档案中出现了“垫纸”。所谓垫纸,就是将一些无用的纸张同档案放在一起,无形中增加了档案的数量,但是却给档案的保管带来了极大的不便,浪费了人力,物力。尤其是如果就此移交档案馆,会造成完全不必要的麻烦。通过观察,我们发现有的案卷数量已经足够,但仍然有垫纸;有的数量极少,也有垫纸。但是,不管是出于什么目的,都不应该有这种做法。二、归档文件的按件装订。如一组文件是市民建上报新的组织机构情况的,要求上级机关批准和备考。发了四份文件,省民建也回复了四份文件,中央民建又把送省民建的两份文件抄送了市民建。如此多的文件既不是按时间先后排列,又没有把请示和批复放在一起,显得很混乱,不仔细分析,不知道里面包含几件事情。三、案卷内页号的编制首先,就空白页而言,前面已经提到了。其次,有的文件两面都有文字,但是盖张号时却只作为了一张;有的文件一张是两页,保存时对折起来,仍然被作为了一张,这些都是不规范的。四、全宗内档案的分类市民建的档案立卷最大的问题就是立卷划分混乱,卷内文件缺少联系,而且贯穿于整个50年的档案立卷活动中,影响极大。市民建作为机关部门,有固定的内部机构,但因为在五、六十年代所产生的档案相对较少,因此是以“年度――事由”来划分的,而到了七、八十年代,机关活动较多,档案数量也有相应的增长,故是以“年度――机构”来划分。 然而到了1998年及其以后,则是有的已年度――事由来划分,有的以年度――机构来划分。这对于立卷来说,显得混乱。一个案卷并不是以一个事由来立卷,而是几个问题联合立卷,有的问题又分散在好几个案卷里面。如60年代,一年中各月的工作计划安排常被分在若干个卷内立卷。如61年卷2中有8、9月份的工作安排,而当年四季度的工作安排又放到了61年的第3卷中,且与其他卷内文件联系不是很紧密。63年第七卷就包括了组织处工作计划,各支部的活动情况、工作计划,给省工委的复函,会员情况简报等等。而案卷题名拟为了“本会与有关组织工作计划、简报、总结以及省工委组织通则。”这显然不能揭示卷内文件的共性。五、划定保管期限&&& 六十年代,除65年各支部的上报材料作为长期保存外,其余年度均作为永久保存。而80年代以后,上述文件则全部归为长期保存。根据惯例,下级机关的年度、季度计划、总结、报告一般是应该作长期保存的,虽然考虑到60年代重意识形态,强调工商业者的思想改造,这些材料在当时显然有比现代更重要的意义,但仍无法解释60年代归档保管期限极不统一的现象。而对于本机关所编的工作简报,一部分是以长期保存,一部分则以短期保存。1991年,宣教处的工作简报,作为了短期保存,而其他的工作简报又是长期保存。除此以外,1983年后出现了一个比较模糊的概念:定期保管。所谓的定期,到底是多久没有明确规定。六、卷内文件数量&&& 在整理的档案案卷中,有的案卷数量太多,超过了档案盒的容纳极限,造成了档案的保存不便,使档案暴露在外,对档案实体是一种伤害。特别是五、六十年代的文件纸张质量不是很好,就更不应如此立卷。在XX年第六卷,里面共保存信息专卷(1――100期),包括了定稿和草稿,共有五百多页,显得过于繁多,这样做卷内文件目录太多,保存也极不方便。& 七、案卷排列与编号&&& 市民建以前整理档案时,将一年的案卷在分为了永久,长期,短期三个部分,三个部分有的是大流水号,有的是小流水号。这样一来,就给人以混乱的感觉,同时,它的排列顺序也有不对,1996度的案卷,将短期排在了前面,长期排在了后面,轻重不分。八、文书本身存在的不规范如存在有“请示报告”的说法,也有一个请示里面出现两件事情的情况。有的文件中,提到的领导人,只写了他的姓和职务,而无全名,档案最为备查的文件,事过一般很久,对于这些不会明白,容易不知所云何人,都不利于档案用户的利用。对会议的记录,有的是以速记的方式记下来的,事后也没有进行重新抄录的工作。潦草的文字、随意的纸张,都增加了利用的难度。三.我们的初步处理意见和对以后文书档案工作的一些建议:1.在立卷方面应该按照国家颁发的《机关文件材料归档和不归档的范围》和《文书档案保管期限表》确定归档文件和保管期限。综合运用立卷特征,灵活运用二至三个特征来组一个案卷。我们对卷内文件组织得极不规范的一些案卷作了重组,但限于精力和时间有限,大部分案卷保持了原有的面貌。2.每个案卷中的档案不应太多,如一件事包括的档案确实很多,可拆分为连续编号的几个案卷。对于单个案卷中档案过少的案卷,可以联合组卷,或者在文件装订线处用纸加厚再装订,可以既美观又牢固。3.对于50――60年代的档案,我们认为这是很宝贵的历史资料,应妥善保管。但这部分档案由于年代久远,当时的纸质又不好,用笔不规范,到现在已出现纸张发黄、墨迹下渗、字迹模糊的现象。我们认为应立即对这部分档案进行全部或部分的复印工作,以挽救这部分史料。而且文书部门在整理立卷时,就应该把字迹开始模糊,或者纸张极为不好的文件及时复印,一起保存,这样既可以给用户提供方便,又对档案实体作了最大限度的保管,避免因翻阅而带来的毁坏。此外,由于五十、六十年代的文件质量不是很好,一个案卷数量不宜过多。4.我们将80年代以后确实完全一样的重复文件进行了清理。对于垫纸这种现象,我们在重新整理时,将所有的垫纸都拆了下来,重新装卷。保存档案,是根据其使用利用价值来保存的,对于没有利用价值的文件尚且不保存,又怎么能保存这些毫无用处的废纸呢?5.对于定期文件的处理,我们通过参考案卷里面的文件材料,将一小部分定为了长期,大多数定为了短期。通过对案卷保管期限的再判断,我们对所有案卷进行了重新的排列,一年编一个流水号,比如说:1986年,从永久第一卷起,排到了永久第五卷,再将长期第一卷改为了第六卷,依次往后推,并且将同一个保管期限的案卷,按照办公室在前,组织处次之,宣教处再次之的方法,有主次、有顺序的排列。并且将以前案卷上没有注明的卷内文件的件数,页数,起止日期等的地方补充完整。做到使案卷准确,完整。6.对于空白插页而又没有编号的,我们在备考表里作了注明,并认为文书部门立卷时应努力避免这种情况出现。7.我们认为会议记录等应尽可能在速记稿作好之后,应转化为正式文件或正楷抄录件,便于以后查找利用。同时应避免出现“李副市长”、“王处长”等字句,这会对以后的利用查找带来不便。8.& 对于不同类型的档案应该分开保管。奖状,照片都应该单独存在一个案卷里,而不应该和纸质材料档案放在一起。照片应该在其背面或者用单独的一页纸注明照片的时间、地点和事件,并注明其参照的纸质材料保存的卷号,件号,使其成为档案有机组成的一部分。四. 结语综上观之, 民间档案工作与文书工作中出现的诸多问题大部分是很基本、很简单的问题,但却因之处理不当,造成了文书不规范、立卷混乱和卷内文件缺乏条理,以至利用困难。成都市民建的问题决不是一个偶然的现象,它反映了我国民主党派归档制度上的漏洞。在当前情况下,各民主党派的档案由谁保管由其自主决定。如,《广东省档案馆收集档案范围实施细则》规定“经协商同意,接收或代存省级各民主党派机构形成的档案”;《苏州市档案馆收集档案范围实施细则》规定“经协商同意,收集或代存苏州市各民主党派机构形成的档案。”但大部分党派的各个地方机构均采取了由其自身保管,不向档案馆移交的方式,各民主党派的地方机构也不向上级机构移交档案。由于缺少指导,就使保存不当的情况普遍存在,且因档案分散造成利用不便。归档过程不规范、保管不力、利用困难是其严重弊病。民主党派在我国发挥着重要的参政议政作用,其形成的档案记录着国家各个方面的信息,是宝贵的史料,是我们档案体系中重要的一环。所以解决民主党派档案工作规范化已刻不容缓。
阅读:人次
上一篇文章: 下一篇文章:
没有任何图片文章
培训超市& (5000多套光盘)您好:[] []
存储专家谈:邮件存储三大困扰及用户解决办法
发表于:05年10月20日 16:37 [转载]
&&& 我们每天工作离不开的电子邮件,管理起来越来越困难。面对各种困扰,已经有一些应对方案帮助用户解决这些难题。&&&&& 现在电子邮件也许是世界上最普及的软件了,想一想我们每天会收发多少封邮件,可以毫不夸张地说,如果没有了电子邮件,我们的工作生活会感觉到极大的不便。尽管电子邮件对我们极为重要,但是, Exchange、Notes、Eudora以及大多数其他软件,它们保存邮件和附件的方式都与十几、二十年前问世时几乎没有任何改变,也就是说,目前大多数邮件系统的工作效率都十分低下。&&&&& 邮件系统将各种信息保存在各个地方,将每个附件复制很多次,因此这种做法使得一些磁盘厂商受益匪浅。一个用户曾开玩笑说:邮件系统厂商是不是与硬盘厂商有猫腻,比如他们可以偷偷摸摸向硬盘公司投资,从中得到更丰厚的收益。&&&&& 邮件管理涉及的范围比较广,本文主要针对其中存储相关的方面,而用户面临的问题主要包括如下三个方面。&&&&& 容量需求增大&&&&& 邮件系统首先面临的就是存储容量问题,道理很简单,如果用户需要保存更多邮件、附件,自然需要更多的磁盘容量。&&&&& 几年前,记者最初申请到的邮箱容量是5M,当时邮件几乎很少用到附件,纯文本的邮件内容也占不了多少空间,另外还没有垃圾邮件问题,所以,当时感觉已经够用。一年前,当记者从某VIP邮箱申请到200M的超大邮箱时着实高兴了一阵子,这么大的邮箱总算可以放心使用了。可是,没过多久,由于收到的附件越来越大,垃圾邮件越来越多,如果几天不清理邮箱就会停止使用了。&&&&& 个人使用邮箱都存在这样的问题,那么,一个大型用户面临的问题就更严重了。比如说,某位员工将一封带有5M大小附件的邮件群发给50位同事,那么邮件服务器马上至少使用了250M存储空间。另外,垃圾邮件问题也越来越严重,我们有的同事一天就能收到上千封垃圾邮件。一个大型用户的管理员这样告诉记者,如果有同事休假或者在外地出差不方便收邮件,那么不出一周时间他们的邮件服务器肯定会因为空间不足而停止工作。&&&&& 为了更好解决存储容量问题,许多厂商进行了内容压缩,该压缩技术有别于普通的zip压缩技术,而是根据内容进行的,它把相同的文件内容只保留一个副本。前文中一位员工给50位同事发送的邮件,采用内容压缩技术后在邮件服务器中则只保留一份附件,因此可以大大节约用户宝贵的存储空间,而且群发数目越大,空间节约越多。&&&&& 容量的解决方法有两类,一类是扩大磁盘系统容量,大容量SATA磁盘的出现为扩大磁盘容量降低了很大一部分成本,Yahoo的免费邮箱容量已经变成1G了,据说他们使用的是NetApp公司的NearStor系列产品,采用SATA磁盘,每GB的成本较原来的SCSI磁盘下降很多。&&&&& 另一类是采用迁移技术将长期不使用的邮件转移到低成本的磁带上面,存储软件厂商提供了多种电子邮件归档软件,当邮件归档到磁带上面以后就可以节省出昂贵的磁盘空间。&&&&& 远程用户难题&&&&& 对于大型用户来说,大量远程办公和分支机构给邮件系统管理带来了更大难题。他们可以在广域网中集中整合电子邮件服务器,从而简化管理和整合存储。这样做的缺点是什么呢?带给远程站点的性能低下的电子邮件服务。&&&&& 另外的办法是在每一个分支办事处里安装一台Exchange服务器。但是,部署和管理费用都很成问题,而且使它尤其不适合缺少IT人员的分支机构。&&&&& 最新版本的Exchange提供了另一种选择:以缓存模式运行电子邮件。在这种情况下,用户在WAN上的文件传输完成之前,是见不到带有附件的电子邮件的。不过,这种选择的带宽要求相当高。采用这种方式,用户要么会降低其他WAN应用的速度,要么增加WAN费用。&&&&& 一种正在得到人们接受的新技术是电子邮件加速和缓存技术。这种技术在数据中心安装一台缓存专用设备,并且通常在每个远程站点安装小一号版本的专用设备。在主站点保存附件,并且只在真正需要它们时才在WAN上传送它们。当进行传送时,文件利用WAN优化协议以压缩格式在WAN上传输。然后,附件缓存在分支办事处的小型专用设备上。当附件发送给办事处的多位收信人,它只在WAN上传送一次,本地的冗余副本将由本地缓存专用设备提供。&&&&& 专用设备维护自己的文件系统,建立电子邮件信件与附件之间的指针(指针指向缓存的附件副本,从而使多份电子邮件可以共享一个附件)。因此,用户将电子邮件服务器整合在数据中心,在那里对电子邮件服务器进行最有效的管理,远程用户则享受本地邮件服务器的性能,带宽要求降低到最小程度。&&&&& 当一位远程办事处的用户接收来自总部接收一份长度为10MB的PowerPoint文件,并决定将邮件附件转发另外10位团队成员时,原始的文件被传回给数据中心,然后分发给每一位团队成员的邮箱。每一位收信人都收到一份文件副本,而每一份副本都必须通过WAN访问。这种发送并转发的结果是:原始的10MB文件现在占用了120MB的带宽(最初接收邮件的用户消耗10MB带宽,传回到数据中心又占用10MB带宽,最后10位成员中每一位成员再次索取邮件又各消耗10MB带宽)。&&&&& 利用本地缓存技术,情况变得完全不同。当远程办事处用户第一次点击图标打开10MB文件时,文件已经被大大压缩,也许压缩到了不足3MB,然后利用WAN优化协议经过WAN传送。其性能已经得到了大大的改进。更重要的是,当文件转发给10位团队成员时,原始副本不再在WAN上传送。相反,转发信件指向保存在缓存中的PowerPoint副本。&&&&& 这样做的结果是:10位成员中的每一位成员点击信件中的文件图标时,文件被打开并从本地缓存中取出。最后,原始的10MB文件在最初的传输以及以后转发给团队其余成员时,实际上只占用3MB带宽。然后其他每一位收信人都从本地缓存阅读附件。结果是第一次传送后,余下的事情与WAN没有任何关系了,每个人都享受本地服务器提供的性能,使用的带宽只是传统方法需要的零头即可。&&&&& 法规不得不遵从&&&&& 自“萨班斯法案”生效以来,美国上市公司的CEO几乎都是在战战兢兢中度过每一个财年,其中仍有超过500家企业的财务问题被揭露。而9个月后,在美国上市的中国四大运营商也将同样接受严峻考验,该法案将对他们同样生效。&&&&& 我们曾经对法规遵从问题做过多次讨论,但是每次都没有引起我们国内用户的足够重视,他们认为,我们在相关法律法规方面还没有具体要求出台,因此尽管也注意到该问题的严重性,但是总是感觉离我们较远。可是,最近记者了解到的一条消息应该引起用户更多关注,某运营商由于没有满足国外相关法规的要求而被罚款两千万元人民币。&&&&& 电子邮件的管理要严格遵从各类法律法规。邮件需要保留多久以及必须保留哪些信件,显然行业与行业不同。不过,举例来说,受Sarbanes-Oxley法影响的上市公司和注册会计师必须将所有的业务记录保存不少于5年时间,与审计有关的文件保存7年时间。&&&&& 目前保存企业电子邮件的理由首先是提供诉讼支持,其次是确保公司可以证明法规遵从性。对诉讼的支持要做到对邮件的正确保留与处置,电子邮件系统按照法规所要求的时间并且以高效率的方式处置不需要的邮件。&&&&& 保留比较直观,它是系统将数据保留所需要的那么长时间的能力。系统需要确定创建信件的时间,然后它执行由管理人员制定的策略。对于按照特定要求保留邮件来说,WORM(Write Once Read Many)技术可以派上用场。WORM技术通过硬件设备的控制使存储介质只能写入一次数据,而不能重复写入且不允许修改,从而为特殊的重要数据备份提供了最安全的保证。&&&&& 本文中的处置指的是处置不再需要保存在系统中的信件。这类信件分为两类:一类是已经保存了法律规定的时间的信件,另一类是一开始就不应当保存的信件。哪些信件属于后一类?是那些永远不应当出现在我们的信件环境中的垃圾邮件、病毒和其他潜在危险的内容。&&&&& 对于电子邮件管理员来说,满足法规遵从还必须拥有一套可以捕获邮件系统中的所有内容的方案。这不仅意味着信件和它们的附件,而且还意味着捕获日程条目、联系信息、笔记、待办事项清单以及其他所有信息。当到了因调查、法律支持和法规遵从原因而寻找电子邮件的时候,智能的搜索不仅要保证查找到需要的内容,更重要的是查找的迅速性。&&&&& 许多用户都有法规遵从方面的需要,但是目前解决方案的价格仍然昂贵,这也是该类解决方案没有获得广泛部署的主要原因。但是,如果发生了法律纠纷或者被相关部门处罚,用户就会深刻意识到部署该类方案的必要性,相对于这种损失而言,部署费用就不那么关键了,在上文中提到的被罚款两千万元某用户,根据某厂商人员介绍,部署此类方案不超过一千万元。&&&&& 整体解决方案&&&&& 在管理邮件方面,目前市场上已经有很多集成解决方案。EMC称之为“短期保留”任务,解决方案是一种由捆绑的Clariion CX(SATA硬盘)和EmailXtender归档版(该公司从Legato得到了这种产品)构成的在线方案。对于长期的存储需求(帮助解决遵从性问题的归档),该公司推荐使用其Centera设备。Centera是该公司的内容可寻址存储(CAS)标准平台。在这个方案中,Centera捆绑了两种软件包:EmailXtender 和DiskXtender。&&&&& HP公司提供一种与Centera竞争的设备:参考信息存储系统(即所谓的RISS)。RISS最初的设计目的主要是保存电子邮件和Microsoft Office文档,但现在将扩展到包括其他应用。它提供对电子邮件和附件自动和透明的归档。HP称,RISS存储速度为每秒钟400页文件或每天存储 600万页文件;用户在超过十亿个文件里,可以对同时500多个内容检索提供低于3秒的响应时间;可以处理数千个同时并发的接入使用,以及并发的文件提取。在可扩展性方面,无论容量多大,内容的查询和提取性能(响应时间)基本保持不变,根据需要扩展容量,可以支持众多TB级的容量。&&&&& 一些用户可能觉得EMC和HP应用对于他们的需要大材小用。虽然现在有证据表明这种“大材小用”实际上将提供很多长期的节省,但是很多人仍选择一种费用更低的办法。对于他们来说,一种替代解决方案是来自Mimosa Systems公司的NearPoint。NearPoint是一种连续数据保护(CDP)产品,它捕获Exchange数据库中的数据,然后连续跟踪所有的Exchange交易,将数据同时写入到提供快速恢复的近线硬盘存储和提供归档、恢复和其他服务的数据库中。&&&&& Quest软件公司则提供了多种可以改进管理员和用户体验的工具。Quest解决归档功能不足的方案Archive Manager for Exchange自动将数据从邮箱和本地PST文件转移到一个中央归档库。然后,管理人员可以从中央位置管理所有电子邮件数据。该公司还提供用于管理分发列表、电子邮件问题检测、个别信件恢复的软件以及报告和分析工具。
[责任编辑:DOIT]
DOIT传媒近期正式宣布,由其自主开发的全新一代会议活动社交应用“易会”于今日正式发布上线,并将在近日登录各大Android应用市场。
华为OceanStor V3系列存储系统是面向企业级应用的新一代统一存储产品。在功能、性能、效率、可靠性和易用性上都达到业界领先水平,很好的满足了大型数据库OLTP/OLAP、文件共享、云计算等各种应用下的数据存储需求。
12月15日,中国闪存联盟成立,同时IBM Flash System卓越中心正式启动
DOIT、DOSTOR、易会移动客户端播报中国存储峰会盛况。

我要回帖

更多关于 视频存储器 的文章

 

随机推荐