项目背景
中国国家图书馆馆藏丰富、品类齐全、古今中外、集精撷萃,是国家总书库,也是全国书目中心和图书馆信息网络中心,随着知识经济的快速崛起,信息资源被不断发掘出来并获得广泛应用。图书馆这座“知识宝库”将顺应社会、经济发展的潮流,在现代信息技术的推动和支持下,实现图书馆文献资源数字化和服务手段网络化。
图书馆固有的特性决定了建设数字图书馆的关键技术在于存储系统,一个良好的存储系统解决方案应能适应图书数据的海量存储和不断增长,同时能够满足当今网络环境复杂性和扩展性的不断提高。
需求分析
针对国家图书馆数字化系统对共享备份和高速存储访问的要求,可以知道中国国家图书馆存储局域网(SAN)一期工程的目的是为了建立一套高效、可扩展、高性价比的海量存储系统。这种存储系统既要求采用先进的存储技术又要求具有很高的稳定性和可靠性以及作为数据的图书资料的快速阅读能力,同时系统必须便于中远期的的扩展。
整个一期系统的设计要求:
作为海量图书资料的存储系统,其具有数据量大,文件数量多,服务器平台种类多(SUN和NT)等特点。从来不打无准备之仗的朗登,在这次项目实施前就已经开始深入对国图的需求进行了了解。从实际出发,提出对中国国家图书馆存域网(SAN)一期工程的建设应充分考虑如下要点:
(1)相对于传统的存储系统,本系统属于海量数据存储,工程一期将达到2.5TB同时还要充分考虑到它的扩展性。
(2)提高数据系统的响应时间要求采用目前先进的基于光通道技术的存储局域网(SAN)技术。
(3)在线扩容技术,结合图书业务的发展,系统必须考虑5年后数据的发展,扩容技术,尤其是在线扩容技术将成为本次工程的重点对象。
(4)应用系统永不停机,配合WEB服务的展开,系统应具有对从系统到应用的各种资源的容错处理能力,以保证客户能够在任何时刻都能访问图书资料,达到系统服务于客户的真正目的。
(5)系统应该具有先进性,能够代表存储技术的发展趋势,满足主流平台的应用,同时必须是稳定可靠的,最好是已经取得多项成功案例。
(6)文件系统的处理能力必须支持大容量文件系统,具有快速恢复能力,支持扩容时的在线处理功能。
(7)在SAN的存储网络上,建立直接的备份通路,使大量的数据从各服务器的磁盘系统直接进入磁带库系统进行备份,即采用基于SAN的LAN-Free backup的备份技术,使备份数据无需经过面向应用的局域网络,而这一技术要求相关的软件系统进行保障.
(8)采用快闪(flash backup)技术,使得系统对于大量文件的备份效率大大提高,彻底解决文件数量众多,备份缓慢的瓶颈。
(9)鉴于业务数据的增长将会十分迅猛,因此在系统的发展目标中必须考虑到建立分级管理的数据系统,使大量的宝贵数据存放于成本较低的二级存储(磁带库)中,建立合理的层次化数据处理系统;
(10)系统的发展还要提供灾难恢复能力,即在本地数据的完全灾难性(如火灾)丢失时,系统通过异地容灾系统可以迅速启动应用,以保证服务停止时间减少到最小。
最终方案的形成:
经过对以上技术难点和重点的细致分析,在朗登的技术服务中心建立了一套与国图非常类似的环境进行测试,并把解决方案放在技术中心进行反复演示,经过可行性分析形成最终方案;最终方案采用了目前比较先进的基于光通道的异构存储局域网(SAN)技术,并且实现了异构环境下的块级数据共享,这在国内还是首次正式运行。朗登关键技术的成功经验给整个系统的设计以很强的信心,此项技术的成功应用在很大程度上推动了国家数字图书馆建设的进程。
解决方案从兼容性、互操作性、可扩充性以及迅速反应能力等各方面达到了国家数字图书馆建设的要求,提高了海量数据存储能力,能够充分满足业务快速增长的需求,而且应用系统能够永不停机,使国图数字图书馆的网络存储系统达到了国际化标准和规范。
解决方案
朗登公司从签定合同到成功安装验收仅仅使用的一个月的时间,这在项目实施的历史上可圈可点。这体现了朗登公司“不打无准备之仗”的营销理念及朗登公司严谨、科学的管理流程。这种对用户高度负责的态度赢得了用户的高度赞誉。
SAN体系的核心为两台FC Switch,选用应用较广的VIXEL 7200 光纤交换机。双交换机级连构成冗余的Cluster结构,一旦磁盘阵列的一条光纤通道中断或交换机的某一端口故障,其余通道将会继续数据传输。
1.StorageTek D176(原LSI E4400)磁盘陈列
存储设备选用性能出色的全光纤全冗余磁盘阵列系统。在本系统的磁盘产品中,选用美国StorageTek公司的高性能全光纤磁盘阵列产品D176。
StorageTek磁盘阵列具有稳定性超群的特点,D176(RAID控制器为4774)采用内外全光纤通道的设计,由控制模块(每控制模块包括两个控制器)和磁盘模块组成。对外提供4个(可扩展到8个)连接主机的光通道接口,内部也采用光通道(FCAL)实现磁盘系统与控制模块的连接。采用业界最出色的图形化管理工具SANtricity,磁盘管理方便灵活,用户轻易掌握。
2.在线SAN虚拟磁盘管理产品Veritas Volume Manager
VERITAS Volume Manager 为企业的应用提供了功能强大的磁盘和存储设备在线管理。VERITAS Volume Manager提供虚拟设备机制(即逻辑卷),向用户应用和文件系统提供完全透明的设备在线管理,应用程序和文件系统无须直接管理物理设备(应用程序直接管理物理设备代价十分高昂),数据的安全性、完整性、I/O性能的调整、设备在线扩展由Volume Manager管理机制实现。
另外,服务器进行在线管理,不必因备份和维护而进行脱机。VERITAS Volume Manager提供了磁盘的使用分析、RAID技术和系统在线情况下对磁盘进行动态配置。这些工具提供完整的数据保护。
3.高可用软件的选型
系统选用了目前性能最为出色的高可用产品:VERITAS Cluster Server(VCS)。VERITAS 的VCS 定义为:多台服务器协同工作,保证客户能够随时存取应用和数据。具体的,VCS保证应用在一台服务器上故障时,可以快速地切换到另一台服务器上,从而,提供应用和数据的高可用性。
VCS是基于应用级的高可用软件。在一个CLUSTER环境中,如果一台服务器运行多个应用,只有一个应用出现故障,那么VCS只将该应用切换到预先定义的服务器上,另一个应用仍然在原来的服务器上继续运行。
应用效果
近日,由朗登科技有限公司实施的国家图书馆存储局域网一期工程,经过各项性能指标的全面现场测试,一次性通过了国家图书馆的验收。
国家数字图书馆一期工程的顺利实施,意味着数字图书馆建设的真正启动,中华民族悠久灿烂的文化和一切文明成果将跨越时空,成为全人类共享的财富,国家图书馆将真正成为“没有围墙的图书馆”。
|
|