摘  要：从事大规模档案存储的数据存储库会用到这个报告。大英图书馆承担的责任是长期保存数字资料并让公众能访问。许多资料是根据《缴存法》规获取的。但是大英图书馆的做法与许多大型数字档案馆不同，它的经验值得推广。
　　本报告从数字图书馆发展的角度分析了相关的存储技术，包括大英图书馆提出的数字对象保存设计系统和要采用的具体保存架构。预计三年之后，大英图书馆存储的数字内容将超过100万亿比特。
　　大英图书馆选择的是多点架构。每一个点都有一个软件层，提供独立于实际物理存储的存储服务。物理存储使用的是从若干厂商处购买的商品存储单元，这些存储单元可能会随着时间的推移而更换，但无需改变任何软件。最初购买的存储设备采用相对较新的ATA系列标准。大英图书馆接触了30个英国存储设备供应商，它们代表了当时英国的产品和服务水平，反映了市场的发展趋势及其对系统的影响。
　　本报告的撰写时间是从2003年11月到2004年10月。

1 数字对象存储的一般性问题

1.1需要一个大型的、安全的数据存储系统
　　存储数字对象，需要有极大的字节容量。认为文档存放就是把文件放在磁盘里的时代早就过去了，个人数据的存储量现在已经达到了10亿字节量级，而且还在光介或磁介存储器中备份（例如4.7GB的DVD或4GB的闪频存储器）。一个机构的数据库（可以叫做图书馆也可以叫做档案库）可能以上百种形式存储着几千个对象的几万亿字节的数据。为便于处理和控制，机构数据库可能会把内容传输到更易于管理的媒介之上。电子文档的制作和复制现在极为方便，人们又认为存储极为便宜，根本不是问题，所以就导致了存储量不可控制地爆炸性增长。
　　数字内容的采集是否安全是图书馆关心的问题。每个图书馆都会记录数字内容从何处采集，为什么要在数字内容的有效寿命期内存储它们。电子存储对象带来了许多新问题，如：对象在哪里？谁访问了对象？谁可以复制和改变对象？如果有了若干拷贝，那么，这些拷贝是用于不同的目的吗？对原始对象的改变重要吗？所做改变的寿命有多长？有可靠的办法来防止复制和改变吗？
　　除少量只需短期保存的数字对象之外，数字内容的规模和安全性都要求图书馆购置和运行大型的，可靠的数据存储系统。
1.2总拥有成本
　　存储的总拥有成本（TCO），包括终生管理的成本，各个机构是不同的，但是，了解不可控存储的隐性成本和显性成本，可以使总拥有成本最小化。信息咨询公司Gartner的研究表明，有些存储技术的资本成本仅占存储生命期总成本的三分之一。还有一些研究认为，资本成本占总成本的比例还不到10%。
对存储总拥有成本没有很好理解的人更多关注的是硬件购置成本，但实际上在存储的生命周期中，还有其他的成本。这些成本包括：
（1）规划：制定规划、决定评估标准、产品评估、选择。
（2）购置：直接购置成本、安装计划、安装前培训、现场准备。
（3）运行与维护：雇佣员工、员工培训、配置、数据加载前测试、监测、消耗品、备件、数据备份、与第三方软件兼容、多供应商整合与预测试、报告、停工检修、中期维护、终止存储规划、数据向接替存储器转移。
（4）清除：可靠的数据剔旧、物理清除、废弃成本（做为垃圾丢弃或慈善捐赠）。
很明显，每个机构都要全面考虑存储的总拥有成本，绝不可忽视。

2 关于存储技术

2.1技术存储背景
　　与其他技术一样，存储技术从来没有停止前进的步伐。根据5年多的观察，我们发现了两个规律：一是存储媒介的容量每12-18个月翻一番；二是单位存储量的采购成本每年降低30-40%。
　
　　2.1.1各种存储技术
　　若干年来，大规模存储使用的两种主要技术是磁盘驱动器（主要用于快速数据提取）和磁带驱动器（主要用于存档和备份存储），这两种不同的技术在使用时很难区分。两种技术的存储能力一直在增强，但每吉字节数据存储成本的差别在减少，这就使磁盘存储技术在档案库和不联网存储方面越来越有吸引力，而在过去，它是不太被看好的。
　　已经十分成熟的一种存储技术Serial ATA，于2001年8月发布了1.0版，2004年发布了2.0版。
　　Serial ATA是一种接口标准，它决定着存储设备如何与计算机处理器连接（间接地），也决定着数据输入和输出存储系统的速度和效率。Serial ATA是从Parallel ATA演变而来的，Parallel ATA又叫IDE，是智能驱动电子学或整合驱动电子学的缩写。Serial ATA很适用于个人电脑，但存储设备制造商意识到它在大规模存储系统中也有广泛用途。
　　目前更快、更可靠的存储接口是Serial Attached SCSI驱动器。它们性能更好，更适合于主流企业使用。但是，截至本报告撰写之日，我们还没有看到任何商业化产品。
　　与Serial Attached SCSI相比，Serial ATA存储每字节数据的成本更低，每个驱动器的容量更大，更适合于长期文档存储。SCSI需要有更多的控制，每分钟转速在10000至15000之间，而ATA磁盘的转速一般在每分钟5400至7200之间，所以成本低。
　　存储成本一直在下降。1996年，购买Parallel ATA的成本是每吉字节100美元，购买磁带驱动器的成本每吉字节不到10美元。7年之后，ATA磁盘驱动器的成本每吉字节不到2美元，而磁带驱动器的成本每吉字节大约1美元。
　　磁带和磁盘早在上世纪50年代就制造了出来，光驱则是从80年代才开始应用。光盘的性能一般来说比不上磁盘，但光盘的寿命更长。在消费电子市场，光盘占主导地位，在商业存储市场中，光盘占的份额很小（一开始就出现的若干不同标准妨碍了光盘的发展），全球销售额约占4%。全球90%以上的数字内容都是以磁介质的形式存储的。

　　2.1.2虚拟化
　　“虚拟化”是一种把完全不同的物理设备结合在一起并在操作系统上运行的技术。虚拟化可以在不增加成本的前提下运行多个不同的物理存储单元。
　　2.1.3网络技术
　　要提高数据的读写速度，不仅要开发各种竞争性技术，把更多的数据挤入不同的媒介，而且要对计算机系统内部的媒介进行组织。一般来说，有三种不同的组织方法。
（1）直接式存储（DAS），存储设备连接在主机或服务器上，只有与主机和服务器有关联的人才能访问存储设备。
（2）网络连接存储（NAS），用特殊存储设备与外部网络相连接，任何连接这个外部网络的人都可以访问这些特殊存储设备。
（3）存储区域网络（SAN），存储设备相互连接形成一个自己的网络，然后再与主网连接。与主网连接的客户可以访问存储器，但分离的存储网络可以对数据网络和主网（应用网）进行专门管理。
NAS架构中的存储单元一般用在台式电脑上，很少用在服务器上。它的设计和安装条件都不是24小时运行的，所以NAS不太保险。有些厂商打算生产NAS与SAN相结合的产品。存储网络不兼容是缺少成熟标准造成的，这是目前的一个问题。
　　2.1.4传输技术
　　虽然在网络之间和系统内部有若干与数据传输相关的技术和标准，但只有两个标准意义重大：用于存储区域网络的光纤通道，它可能不适合极高速数据传输；较早的以太网络和较新的吉字节以太网络采用的因特网协议（IP），它通常表现在基于因特网协议的光纤通道（FCIP）、互联网小型计算机接口(iSCSI)两个方面。
　　2.2IT存储市场
　　IT存储市场通常分为两类，由两类不同的厂商主导。
（1）服务供应商。他们用创新技术提供高质量的解决方案。他们提供的服务有时叫做“企业级存储”，企业要额外付费让存储量和服务满足企业级和公司级的需求。客户通常只向一家供应商付费并获取高质量的服务。这些服务包括：功能最大化；在某一地点的设备中，某一硬件损坏之后，能最大程度地恢复；降低企业解决方案的运行费用，如果数据是动态的，存储解决方案可满足多个用户的需求。
（2）存储解决方案厂商。他们也提供高质量的解决方案，但采用的不是最先进的硬件，执行的是更成熟的技术标准。在他们的解决方案中，存储管理的工作较少，客户做的更多的是负载平衡、应用升级、扩大存储、疏通瓶颈、处理故障。存储单元有时可以更换，所以有时人们把这种存储叫做商品存储。
存储能力的增加和存储管理软件的改善使两类厂商之间的差别不像过去那样明显，但是，厂商自己好像愿意这样区分。
　　有人认为，在几年之内，随着硬件可靠性的提高，标准的普及和互换性的增强，存储硬件将成为一种商品，厂商之间的唯一差别就是软件增值服务。存储服务供应商和商品存储厂商之间的差别也就在于这种软件。
2.3增加存储量的需求
　　导致存储量增加的原因很多，包括：
（1）政府的企业法规要求企业把各种数据，包括内部电子邮件保存多年。
（2）产品开发数据，如药物试验数据和工程数据，需要保存多年，没有固定的期限。
（3）需要保存的产品维护数据越来越多，例如飞机的维护记录。
（4）开发决策支持、客户关系、销售点等数据密集型系统。
（5）数据密集型研究，如气候模型和大地图像的发展。
　　上面这些数据的寿命都是有限的，虽然并不清楚寿命究竟有多长，但一般也就是几十年。学术性图书馆与企业不同，它处理的数字数据可能要保存几个世纪，对大英图书馆来说，实际上是永远保存。企业和商务界的数据处理方式对图书馆是不适用的。
2.4存储管理
　　存储数据量的增加要求有更为主动的管理。目前有两种方法，虽然使用的名称和术语并不见得准确。
（1）分层存储管理（HSM），此系统至少包括两类不同的存储方式。商业规则自动控制文档存储：一般来说，较新的或最近常用的文档放在驱动器中可以最快访问，而较陈旧的，或较少使用的文档置于速度和成本都比较低的驱动器中。
（2）信息生命周期管理（ILM），这是一种较新的存储管理方法。文档放置是自动的，但受政策和数据本身的商业价值控制，内容管理至关重要，但实践证明，到目前为止它很难与存储管理结合在一起。
现在的发展趋势是每周7天，每天24小时驱动器都运行，传统的“停机时间”要减少或取消，存储器在执行任务时（例如备份时），系统仍能继续工作。现在需要的是昼夜工作，永远联网，在更换坏的或旧的存储单元或增加新的单元时不中断服务。
2.5存储管理软件
　　使用不同厂商的存储设备就要有好几种存储管理软件接口，用以控制和监测磁盘阵列。
一个办法是采用微软2003年的视窗存储服务器，但所有的存储厂商都不支持这个操作系统。另一个办法是采用存储管理软件产品，让存储管理人员从一个“企业窗口”管理和控制不同的存储硬件。哪个办法相对比较好，目前尚无明确的一致意见。
2.6剔旧技术
　　许多人认为，只有不断增加新的资料，才能让数字存储库改变，这是一种误解，或者说只对了一半。不管采用什么样的技术基础设施，衰败和过时都会造成数字存储库的改变。
造成改变的因素包括：
（1）存储硬件在不断发展，今天最新的技术可能5年之后就过时了，根本就不可能使用20年。
（2）掌握维护存储硬件技能的人和相关的管理软件越来越少，培训新人更加困难。
（3）电子媒介并不像人们通常想的那样可以永久保存数据。厂商可能会宣称他们的存储媒介寿命很长，但实践表明，磁带的寿命大概只有15年，CD的寿命大约是20年。时间长短取决于初始质量、存储、处理和使用。即便存储媒介的寿命长，阅读媒介的硬件也可能不适用。
（4）一点小小的毛病就可能使整个媒介作废。一小段磁带发生了化学变化，就可能损坏磁带的读写磁头，致使整盘磁带都得扔掉。
（5）标准也在不断变化。今天的DVD可以同以前的CD-ROM兼容，所以可以播放老式的CD-ROM、CD-I（交互式光盘）、CD-R（光盘刻录机）、视频CD，以及新的DVD-ROM。但在此前好几年，标准定不下来，市场有些混乱。更早些时候的家庭录像机标准之争表明，好的技术方案不见得总能在商业竞争中获胜。
所以必须把存储技术看做是不断更新的。数据存储不是“一次写入然后就不管”的行为，在实际应用中，数据库要不断地、越来越多地考虑下面这些问题：
（1）从不可控的媒介和格式中获取新的资料，然后复制到选择的媒介中，这是可控储存的第一步；
（2）按年代，使用情况和其他一些标准周期性地把数据复制到新的媒介中；
（3）保证复制忠实于原件。
　　数据库需要用新的、有技术含量的元件取代老的存储元件。决定更换的原因有：元件有效寿命终结、件老化、制造厂的保证书到期、不能获得可靠的维护、总拥有成本问题（新元件较低的运行成本可以较快地弥补更换成本）。
2.7新技术
　　存储技术和存储市场将会如何发展存在着很大的不确定性，但存在以下几个动向：
（1）存储设备制造商认为，将来会采用Serial Attached SCSI设备，在适当的时候，它将取代Serial ATA设备。
（2）大规模非活动磁盘阵列存储（MAID）是一个有意思的构想。磁盘阵列安装在托架上，所有的磁盘都不通电，只有磁盘控制器处于工作状态。有任务请求时，控制器就给相应的磁盘驱动器通电，传输数据，然后再让驱动器断电。这种技术潜在的经济运行效益引起了档案界的极大兴趣。
（3）磁带驱动器不可忽视。制造厂商宣布，到2010年，他们将生产出容量为1万亿字节的磁带，相应的标准正在制定中。

3 案例研究：为大英图书馆寻找最佳解决方案

　　大英图书馆必须选择最佳物理存储解决方案，并使之成为处理数字对象系统的一个组成部分。虽说这个解决方案是根据大英图书馆自己的需求、自己的视角和现有的设施制定的，但解决方案要解决的问题却是具有普遍性的，可供许多要建立大型档案馆的组织，特别是学术机构借鉴。
　　几个基本原则如下：
（1）有些要存储的数字对象是买来的，有些是捐赠的，还有些是图书馆业已数字化的收藏品，另一些要存储的对象则是法律规定的保存品（国家图书馆承担着保护国家智力输出的职责），不区分资料来源的存储方法在管理上比较简单，而区分资料来源就要有多个存储系统，成本很高，所以，采用的存储和处理方法必须适用于所有要存储的资料。
（2）文档的处理速度远没有保证文档不丢失和损坏重要。换句话说，保存对象是首要的，访问对象是第二位的，而快速访问，例如几秒钟的反应时间，就是奢侈的了。
（3）大多数存储的资料很少或从来不被使用，但我们不可能预测哪个资料会被使用。虽然只是假设，但这个假设是从法律规定的保存品印刷资料的多年存储经验中得出的。
（4）对存储资料的访问是随机的。
3.1整体设计原则　
　　通过对IT存储技术和市场的分析，我们得出如下结论：
我们不能仅依靠一种存储技术，随着时间的推移，我们会历经几代不同的技术；我们必须以灵活的方式同不断变化的供应商打交道；我们要预测到存储需求（除大规模的存储需求之外）。
　　这就使我们在设计和开发工作中要遵循这样一个原则：我们的数字对象的物理存储和检索必须独立于物理存储介质的技术特性和特点。所以设计的架构应能适应多代物理存储技术。这又带来了以下两个问题（到2003年底）：我们开始应采用什么样的存储技术？如何把这一设计原则付诸实践，建设我们的系统？
我们决定对现在英国的供应商进行认真的评估，采用了大量的商业资料和Forrester研究所的用户服务调查，认为这是非常重要的。

3.2一些假设

　　3.2.1存储量的增长　　
　　从规划的角度看，我们估计，5年之后大英图书馆的数字对象存储量会达到300万亿字节。这个数字是简单推导出来的，假设第一年的存储量是4万亿字节，每年增长三倍，那么第二年就是12万亿字节，第三年是36万亿字节，第四年是108万亿字节，第五年就是324万亿字节。这个假设只是猜想，用这些数据做规划当然是不够的。
　　“电子出版物自愿存储”计划的一些统计数据见附件A。
　　有些存储是网络档案存储。我们将覆盖的网站数量和网站的平均规模很难确定，目前估计有500万到600万个网站，不过这个数字并不精确。唯一可以确认的存储量增长是法定的新的法律文本的存储。
　　3.2.2不同类型的存储
　　从系统的角度考虑，我们需要把三种完全不同的存储分开，这三种存储是：
　　保存存储，长期地、永远地存储数字对象。现场存储，对象被使用时的临时存储。存取存储，应保存存储要求的对象临时存储。
　　本文仅讨论保存存储和现场存储。　
　　3.2.3可能采用的存储模式
　　我们一开始就提出了三种可能的存储方式：
大规模独立存储。规模可以大到满足我们的需求，但性能和速度可能会超出我们的需求，价格可能也无法承担。
　　商品存储。它的速度不像大规模独立存储那样快，但使用方便、可靠，而且不那么贵。
自己组装需要的系统。
3.3与供应商协商
　　在2003年11月至2004年2月期间的公司列于附件B中。必须强调的是，我们没有因为技术和商业的原因去掉任何一家公司：如有遗漏，就是因为我们没有注意到这个公司可能提供产品的重要性。
我们广泛接触供应商，对供应商的要求示于附件C。
3.4设计原则
　　与供应商的谈判持续了3个月，在此期间，我们对整个存储体系的构想又向前发展了。我们对以下问题进行了思考：要存储的对象、所需管理成本、承受灾难设计、设备采购机制、部署管理存储。
系统设计原则是在考虑这些因素的基础上制定的，任何存储硬件都必须符合这些原则。
　　我们同意设立“存储服务层”，系统要有恢复能力，要多点存储。这样的考虑反过来又影响到了我们对供应商的要求。
　　存储系统必须是多站点的，至少是双站点的，这样才能不受灾难的影响。
站点与站点之间应该地理分离，这样才能保证安全。
　　在一个站点发生故障进行修复时，至少有一个备用站点能提供服务（即便不能提供全部服务，至少可以提供基本功能服务）。
　　我们不希望由一个固定的厂商供货，无论开始时这个厂商给了什么样的优惠。我们要随时跟踪市场中的技术和商业变化，避免复杂的采购程序，这些都不是单一供应商能做到的。
我们设计的系统应能兼容不同厂商提供的分系统，也就是说，我们的系统不仅要支持同质的分系统，而且要支持异质的分系统。
　　不过，我们得出的最重要的结论是：异质存储的设计原则使存储服务系统中的其他元件能适应于存储分系统简单的抽象（中性）模式，这一模式可以方便地由不同厂家的产品构成。存储服务层和物理存储层之间的明显差异使我们能独立地采购物理存储器件。
　　3.4.1存储服务层的功能
　　存储服务层应能：向对象分配独特的，与厂商无关的标识；把每个标识永久地绑定在对象上；保证对象的真实和完整；按需可靠地传送每一个对象；修复内部故障；如果某一站点发生故障，给这一站点的用户提供全面服务；为物理存储和外部系统整合提供手段。
　　3.4.2多站点存储
　　多站点解决方案设计还要考虑以下两种选择：主机与备用系统，在一定时间只有一个系统提供服务；分布式对等系统，主机与备用系统同时工作。
　　主机/备用机方法的主要局限是：在一定时间内系统只有一半的设备可以有效地传送服务，效率不高，买了两套设备，但只有一套用来传送服务。
　　分布式对等系统可以用所有的设备同时传送服务，所以效率比较高。但要保证数据的一致性，特别是在数据读写运行的时候（例如，没有中央锁定，很难检测到双重同时和远程修改同一逻辑数据库记录的企图）。我们唯一要做的就是给被存储的对象加上独特的身份，这是相对比较容易的。
如果选择分布式对等系统，就必须遵循以下原则：
　　每个站点的功能应根据逻辑架构，接口和性能确定（除在如下述升级的时候）。
不需规定每个站点采用哪些具体物理设备。例如，当一个站点的硬件损坏之后，更换器件的容量可能不同于原来的。
　　每个站点都自动运行，本地存储在本地做出，不必考虑其他站点。
当一个站点不能提供服务时（无论是出于计划之内的原因还是计划之外的原因），其他站点都必须能提供全部服务。
　　必须能通过软件或向各站点分发新版本实现全面升级，包括所有的服务。
站点之间的相互兼容很重要，一个站点必须能运行另一个站点的不同的软件版本。在软件安装阶段就要采用这一原则，在安装时，各站点可能使用不同的版本，但此后所有的站点都要使用一个新的通用的版本。
多站点设计考虑的是容灾，但也有恢复功能，每个存储对象至少有两条命。
　　这种存储方法具有高内部冗余，可恢复，有恢复设施。
3.5供应商得出的结论
　　我们总结了供应商的意见，得出以下结论：
　　3.5.1存储产业
　　存储产业将面临一个混乱局面，公司将兼并、合并，商业模式将变化。许多新成立的小公司将会推出创新硬件，这些小公司可能会生存下去，可能被兼并，也可能会消失。
　　替代磁盘技术需要风险投资，而风险投资很难获得。
　　存储硬件企业将推介Serial ATA磁盘产品（SATA），他们将降低成本向中小企业销售。
同样的技术让规模较小的公司能增加网络连接存储（NAS）的容量，拓宽基本存储解决方案的应用范围，推动向中小企业的销售。
　　大型存储公司的收入将从销售存储硬件转移到更多地销售相关的服务和软件、支持与服务。
较小的或新创立的存储硬件公司的收入依赖于在合理的价格下不断增加存储能力。
只有少数几家磁盘驱动器生产厂商：区分厂家的方法是看驱动器如何与大规模存储系统组合以及如何用这些系统提供服务。
　　微软极力提倡用视窗存储服务器2003作为存储操作系统。
目前市场上流行的趋势是采用单一厂家的产品链，这就意味着客户必须同唯一的厂家保持一个中期（几年）的合作关系。这种状况不适合我们的需求，因为我们需要的是长期的工作关系。另外我们需要最低的总拥有成本，这也使我们不能同任何一家特定厂商保持太过紧密的关系，无论短期利益看起来是多么吸引人。
　　3.5.2存储技术
　　垄断性存储公司在存储产业中建立了“圣杯”，这就是“信息生命周期管理”。按照这种模式，存储公司提供整套的存储硬件和软件，让购买客户管理数据从生到死的整个过程，在信息价值发生变化或信息使用率降低时，控制数据从快速的、高性能的存储方式向性能较低但成本也较低的存储方式转移。这种存储观念与我们的存储观念是相悖的。我们认为：数字对象的生命是没有期限的，删除不是一种可选择的办法，判断数字对象的价值和制定内容管理规则不是我们图书馆的事（这是记录管理者的事，他们在自己的组织中制定政策），我们所要做的是在相关对象之间建立联系，所以，我们要求的长期安全存储与产业关注的发展模式是不匹配的。
　　在三种考虑的存储模式中，购买元件自己组装存储系统，失败的风险最大（虽然不见得马上失败），所以应该果断予以排除。另两种存储模式争议颇多，但值得进一步考虑。
　　无论采用哪种技术，设备的寿命都是有限的，设备的寿命取决于生产厂的保质期和内部的硬件作废政策。需要有设备工作寿命结束后设备更换的程序。过多地依赖一个厂家来做设备更新效果不好。
　　Serial ATA（SATA）磁盘技术看起来非常适合于数字对象的保护性存储。这是一种在已有技术基础上发展起来的新技术，它的成本、容量、访问速度和可控性都是适当的。这种技术的市场前景很好，很多厂家都急于开发这个市场。我们关心SATA标准的成熟度，在磁盘进行数据恢复时，标准是特别重要的。有些人现在怀疑厂家是不是在实行符合标准的方案，但我们知道，厂商现在正在做大量的标准方面的工作。
　　实际上，某些厂商提供的速度极快，具有很强可恢复性的缓存磁盘阵列反而不能满足我们的保护性存储的需求。存储系统中的大量对象很少被访问，所以快速传送能力没有什么大用处。一般来说，传送速度提高一倍，成本就会增加4倍。我们需要的存储必须有规模和能力，但成本也必须是我们能承受的：为追求性能不考虑成本的增加是不行的。不过，我们也要保证系统有最基本的性能。
　　企业级的解决方案不能满足我们需要的另一个原因是额外恢复。恢复多数据路径、控制器等对我们来说不像传统的企业那样有价值。在没有第二个在线系统的时候，这些问题尤为突出，因为每个对象都至少会面临三种状况，而且如果某一地方站点不能传送对象，就要从远处站点传送，所以说昂贵的额外恢复带不来什么附加值。但是，磁盘冗余阵列（RAID）技术（特别是RAID5和能进行误差检测和在线纠正的一些衍生技术）是一种有效的低成本技术，这种技术似乎是非常适用的。
　　具有高速带宽和高速传输能力的光纤通道存储域网络似乎也同样不能满足我们的保护性存储需求，因为对我们来说速度不是关键。光纤通道存储域网络更适合于工作存储，因为在初始阶段有大量对象要处理。
因特网小型计算机系统接口（iSCSI）协议标准日趋成熟，它可能是我们较好的中期存储网络解决方案。
　　3.5.3对象检索
　　存储在系统中的大多数数字对象很少被检索，甚至永远不会被检索，但这些内容还必须被长期保存。当存储对象达到几百万个的时候，若干年之内，如果检索率达到15-20%，就很了不起了。
　　读者在阅览室中检索数字内容时需要有较短的反应时间，所以磁带不是一种理想的存储媒介。我们不指望服务的反应时间在秒级以下，但像磁带那样10秒级的反应也是我们不愿意的。
　　3.5.4采购
　　滚动采购我们所需要的数字内容存储设备是完全可以的，这样可以降低存储成本，增加每个磁盘的存储量。实际上，我们的采购是按年或更短的周期进行的，在任何合同期限内，我们可以随时叫停额外采购。
　　虽然滚动采购会造成异质存储层，但我们已设计了一个从物理存储层分离出来的存储应用层。存储服务层中不应含有受实际存储使用影响的元器件。
3.6黑色档案
　　虽然上述讨论的重点是一般性的多站点存储模式（有人叫它交叉同步多路自动独立对等集束），但实际上这是一种双站点模式。采用这种模式，恢复还是有问题的：如果两个站点都坏了，而且是以同样的方式损坏的怎么办？怎么才能挽回损失呢？
　　对于一般设备，我们有可能获得商业性的灾难恢复解决方案，但对于存储有几百万亿字节数据的系统，我们还没有灾难恢复解决方案，所以我们必须在系统设计中考虑灾难恢复。所有的站点都相同或类似，这是站点的弱点所在，所以我们需要采用完全不同的技术把数据存储在独立的，完全分离的数据库中。这个概念，就是大家所知道的“黑色档案”。
　　建立黑色档案的细节还有待开发，但有些技术则可能被采用，如一次写入媒介，除接收数据外不使用任何已有软件等。黑色档案是第三方存储重要备选手段。一般情况下，黑色档案库应该与存储站点地理分离。
在双站点系统中，每个数字对象就会有三种独立的存储途径，这对恢复来说足够了。而数字对象无需再做传统备份，这样可以节省相当一部分费用。
3.7最终采购
　　基于以上考虑，大英图书馆于2004年6月至7月开始采购存储设备。按照大英图书馆的要求，供应商提供的解决方案需包括以下内容：
（1）每5万亿字节数据要有两个分离的磁盘阵列，用作保护性存储；
（2）每1万亿字节数据要有两个分离的磁盘阵列，用作工作场合存储；
（3）与现有服务器相连接的详细解决方案；
（4）专用软件。
所有技术要求见附件D。
　　我们告诉可能被选中的供应商什么样的需求是我们必须的和希望的，什么样的信息是我们希望他们提供的。通过这种方法，我们希望供应商能了解我们需要什么，了解我们如何进行评估。
　　3.7.1选择供应商
　　我们的采购是按英国政府采购程序进行的。在仔细讨论了16份投标书后，我们选择了VSPL，这家供应商采用的是捷科（JetStor） 磁盘阵列。其报价不到10万英镑，换句话说，购买成本（包括数字对象的存储和备份成本）只相当于吉字节的存储成本。
　　这家供应商的解决方案性能好、可靠，在存储领域声誉良好。我们相信，这个解决方案能够达到我们的总拥有成本标准。但我们也意识到，JetStor的存储管理软件是特殊的，不符合某些存储产业标准。
　　与其他因素相比，采购解决方案的成本更为重要。后来我们又采购了其他的存储设备（惠普公司的设备），我们发现，存储设备的采购成本变化是相当大的。
　　3.7.2实践经验
　　我们的设计是不是科学，我们对存储供应商的最初选择是不是合理，现在做结论还为时过早。我们还没　　有管理多个供应商提供的存储设备的经验，但我们至少可以得出以下结论：
（1）一定要让厂商兑现他们承诺的极快的传送速度；
（2）对熟悉其他存储硬件的工作人员来说，安装和配置多个供应商的设备不是太大的困难；
（3）系统已成功进行了负载试验，但还没有来得及做写入试验。
　　3.7.3未来的采购
　　我们意识到，在这个解决方案中每个存储控制器上都附有一个网络连接存储元件（NAS）。规模化的发展可能会带来问题：未来会更多地采购这些元件，所以对这些元件的维护就必须分开进行，不能只靠一个小组。
　　对存储管理软件的预先了解有限；管理软件的采购也应是分离的，不仅要买捷科的，而且要买其他供应商的；另外还要考虑上面提到的网络连接存储问题。

4 大英图书馆案例对其他机构的影响

　　本文介绍了一些存储技术，描述了大英图书馆对这些技术的理解和应用，并分析了存储市场现状。大英图书馆的经验对其他机构是很重要的。
4.1大英图书馆的问题具有普遍性
　　从传统意义上讲，图书馆和档案馆的作用是长时间的，几十年甚至几百年，保存文献资料，并让人们阅读。在数字时代，这个作用不会发生变化，但却更难于实现，更难于发挥出来，原因是文献资料在爆炸性地增长、存储媒介不可避免的过时和技术进步。
　　我们的职责与其他机构不同，因为我们要在英国保存法定送样本，这就使我们必须承担法律职责。但是，其他一些档案库现在也开始承担同样的义务了，这些档案库这样做也许是出于外界的责任要求，也许是出于内部政策的规定。所以说，这种长期职责绝不能只有大英图书馆才能承担。
　　我们要存储的资料似乎浩如烟海，但管理这些文献的绝不止大英图书馆一家。
　　我们已采用的解决方案不见得能快速地访问存储的对象，安全和长期保存比访问速度更重要。
　　每个存储库可能都有自己的规定和政策，排斥我们现在提出的解决方案，但随着技术的进步，这些规定和政策是必须调整的，现在的解决方案将来也要修订。
4.2相同的技术选择
　　应用技术是不断变化的。数据存储厂商非常重视新标准和新的解决方案，任何存储库都不可能长时间地保持自己的技术一枝独秀，文化是“不断革命”的内容之一，今天采用的解决方案必须包含这样的文化内涵。
　　存储厂商会不断推出新产品，并不是所有的新产品都适合非商业需求（例如数字档案馆的需求）。我们的经验是，较便宜的解决方案比主流商业解决方案要好。
　　存储量不同的数字图书馆采用的存储技术可能是相同的。我们设计的解决方案是灵活的，我们有信心更好地管理我们的数字对象。

5 结论

　　大英图书馆将建立一个大型数字保存系统（数字对象管理系统），这个系统的主要特点如下：
（1）具有大容量，大到何种程度，现在还难以预料；
（2）保证对象安全存储；
（3）保存对象的寿命必须是永久的；
（4）保存对象可随机访问；
（5）访问速度不需要低于一秒，但应在几秒内反应；
（6）遭遇计划内或计划外的破坏后必须能够恢复；
（7）在保证其他特点的前提下，保存的寿命成本必须尽可能地低。
　　本文详细分析了存储市场，发现了两种解决方案，但没有一个能满足我们的需求。
高端企业存储：价格昂贵，包含许多不必要的功能，必须让一个固定厂商供货，这种方式从长期看是不利的。
　　低端商品存储：价格比较低，但不能保证档案需求的恢复。
　　在我们设计的系统中，数字对象的物理存储和检索是独立于物理存储介质本身的特性和特点的。这就使　　我们能用不同厂家的商品存储单元来组装分布式的存储系统，这种系统设计还能保证恢复。
　　我们得出的结论是根据我们的整体需求和存储技术市场现状做出的，我们的结论对任何需要长期（几十年）和大规模（几万亿字节）存储的数字档案馆和存储库都是重要的。

6 术语

　　ATA Advanced Technology Attachment，高级技术附件。控制数据在计算机和磁盘驱动器之间的传送，是磁盘驱动器的功能部件。
　　Fibre Channel 光纤通道。由美国国家标准协会（ANSI）设定标准的串联数据传输架构，最著名的光纤通道标准是光纤通道仲裁环路（FC-AL）。
　　FC-AL是为新的大规模存储设备和其他一些需要极大带宽的外围设备设计的。FC-AL用光纤连接设备，全双工数据速度传输速度达100MBps。FC-AL与高性能存储系统SCSI兼容，将来可能最终取代SCSI。
　　IP Internet Protocol，因特网协议。IP限定了数据包格式和寻址方式。大多数网络是把IP同高层次的协议，即所谓传输控制协议（TCP）结合在一起的，TCP在数据发送的目的地与发源地之间建立虚拟的连接。
IP就其本身来说，有点像邮政系统。你可以在一个邮件上写下地址，放到这个系统里，但是你和收件人之间并没有直接的联系。TCP/IP则可以在两个者之间建立联系，使他们能在一定时间内来回发送信息。
　　iSCSI 因特网SCSI，它是以因特网为基础的，在网上连接数据存储设备的标准，它在IP网络上携带SCSI指令传送数据。
　　LTO 线性磁带开放协议。这种技术通过提高时效、数据压缩、通道配置和误差校正改善线性多通道双向磁带格式，以使容量最大，性能最佳。
　　Mass Storage
　　批量存储 指存储大量数据的各种技术和设备。批量存储设备包括各类磁盘驱动器（磁盘和光盘）以及磁带驱动器，它们在断电时也能保存数据。
批量存储的容量通常是以千字节（1024字节），兆字节（1024千字节），吉字节（1024兆字节）和垓字节（1024吉字节）来度量的。
　　RAID 廉价磁盘冗余阵列。RAID技术是把大量的数据分散到一个由小磁盘组成的阵列之中。RAID有双重目的：避免依赖单一磁盘；使用成本相对较低的磁盘。
　　采用了RAID，即便有一个磁盘驱动器坏了，主机仍能继续运行。采用今天的“可热插拔”磁盘驱动器，可以在服务器继续运行的情况下更换坏了的磁盘。
　　已有几种成熟的RAID应用方法，例如用最少的磁盘做不同的镜像组合，在几个磁盘上复制数据和误差检查。RAID1级和RAID5级是最常用的。
SCSI
小型计算机
　　系统接口 它是PC机、苹果机和许多UNIX系统把外围设备附加到计算机上的一个并联接口标准。
SCSI接口可以提供比标准串联和并联端口更快的数据传输速率（达每秒80兆字节）。另外，许多设备可以附加到一个SCSI通道中，这样SCSI就不仅是一个接口了。
　　虽然SCSI是ANSI的一个标准，但至少有9个变种，可能有两个SCSI接口是不兼容的，所以现在有几种SCSI连接器。
　　Serial Attached SCSI  串联连接SCSI，简称SAS。它能把各种类型和尺寸的多种设备同时连接到更细更长的电缆上，所以能改善传统SCSI的性能。串联连接SCSI支持每秒3.0吉字节的数据传输速率。
　　Serial ATA (SATA) 串联先进技术附件，通常简称SATA或S-TA。它由并联ATA物理存储接口演进而来。这是一种串联连接，用一根电缆就可以至少像4根导线一样实现设备之间的连接。串联ATA初始传输速率是　　150MBps。其设计的最大优点之一就是电缆细，可以让更多的气流抵达设备内部。SATA也可以用于较小的托架设计。
　　存储控制器 它是一个存储控制单元，执行指令解码和实施。它掌控数据传输，误差检测与校正，以及全面的设备管理。它还能控制RAID技术的应用，优化多路存储设备。
　　存储控制软件 这是一个管理数据存储的软件。它执行的任务包括数据备份与恢复、存储资源管理（把不常用的对象移动到比较便宜的地方存储）、存储网络管理、实时监测和存储管理控制。
存储资源管理 它从简单的数据采集和报告工具演化而来，它能主动控制数据存储，存储结构和数据整合。
TCP 传输控制协议。TCP能在两台计算机之间建立联系并交换数据流，不仅能保证数据的传输，而且能保证数据传输的真实性。

7 附件

附件A. VDEP统计

　　自2000年以来，电子出版物自愿存储计划（VDEP）一直在运行。这个计划鼓励英国的出版商把电子出版物存放到大英图书馆中。这些电子出版物一般分散于物理数字媒介之中，如磁带、磁碟或更普遍使用的光盘，包括CD-ROM或DVD。另外还有一些资料需要存储，例如以电子邮件附件形式接收的许多文档。参加这一计划的电子出版商是自愿的。
　　截至2004年底，接收了大约180000件电子出版物，其中约1300件是系列作品，包括多个出版物；占用的存储容量为1.45万亿字节；2004年的平均增长率为每周12.5吉字节；存储对象的大小为1KB到640MB，平均大小为8.4MB。
文档类型分类如下：
          .txt              43%
          .htm，.html       34%
          .pdf              9%
          .jpg              3%
          .ZIP              3%
          .xls              2%
          .doc              2%  
          其他            　4%

附件B. 供应商

3Pardata，ADIC，AppIQ，BlueArc UK Ltd等25家。

附件C. 对供应商的形式要求

　　大英图书馆计划在2004年第二季度购买存储硬件、管理软件和其他一些相关设备。具体要求尚需拟定，我们在这一阶段采购的设备主要用于示范系统，目的是证明保存和访问数字对象的规模存储解决方案的有效性。
　　很难估计初始和随后的存储需求，所以我们建议存储系统采购程序要灵活，要考虑采购需求的不确定性。在初始阶段，我们只做适度的采购。从2005年开始，存储设备的采购需求会迅速增长，我们要定期做额外的跟踪采购。
　　我们估计，相当数量的内容虽然存储在网上，但很少被访问，只有很少量的数字对象被经常访问，需要缓存和反应存储。我们希望供应商能简单介绍这样的产品。
　　我们认为，满足我们的存储需求可能会通过以下途径：
　　从一家厂商购买整体解决方案，这家厂商应能满足存储硬件、存储管理和数字对象整合应用的需求，或者让硬件和软件解决方案的功能与独立厂商提供的解决方案相同。
　　直接从大存储厂商那里购买存储硬件，如果能管理控制异质存储元件，就从同一厂家购买存储管理软件，如果不能，就从其他厂家购买。此后购买额外的存储设备，则要从整个存储生命周期考虑，选择总拥有成本最低的产品。
　　构建内部存储系统采用从不同厂商那里采购来的商品存储元件、存储控制和管理软件单独采购或自己开发。
　　对于图书馆来说，一个重要的选择标准是从所有元件生命周期考虑的存储元件总拥有成本。

附件D. 对供应商的技术要求

　　供应商提供的解决方案应包括：
　　两个分离的保护存储磁盘阵列，每个阵列在第5级廉价磁盘冗余阵列配置时容量为5万亿字节。这两个阵列由串联和并联的ATA磁盘组成，磁盘安装在托架中的一个或多个串联高级技术附件控制器中。
　　两个分离的工作存储磁盘阵列，每个阵列在第1级廉价磁盘冗余阵列配置时容量为1万亿字节。这两个阵列用于数字对象的临时工作存储，它们采用光纤通道（FC）或超级小型计算机接口（Ultra SCSI）磁盘的高性能磁盘阵列，安装在托架上的一个或多个光纤通道或小型计算机系统通道接口上。
为达到这两个目的，供应商需要：
　　确定存储连接解决方案，让现有存储服务器能访问存储阵列。
提供与具体阵列解决方案捆绑的任何阵列管理软件性能的详细说明，我们知道，厂商可能希望让专门的软件成为他们提供的解决方案的组成部分。从应用方面看，这是一个实用的观点，也可以大大减少存储管理工作量。
　　针对解决方案的各个组成部分进行培训，这对整体解决方案的有效应用和管理是至为重要的。
提供安装、配置、外委解决方案的分项成本。
提供所有重要保修和维护的成本和细节。
提供参考站点的详情。

译者简介：
张进京，国家信息中心，高级工程师。

中国期刊界http://www.jiaoyu85.com/index.php

联系电话：029--85327298       投稿信箱：qikan85@163.com
编辑QQ：651891680                直投杂志社QQ：416480082