某省四市数据大集中案例

湖北快3 bsk888 11℃ 0评论

  第1章 需求分析

  数据的存储和备份系统是指在四市 XXX 内部建设一个全辖的数据处理中心(数据处理中心可以由一台或多台不同型号的主机系统组成),对所存放的数据进行相应的存储管理和备份,使数据在任意时刻应保持完整一致和完整。

  1.1 数据 存储备份系统的建设目标

  提高现有系统数据存储的可靠性,提高整个系统运行的安全性,并为之带来无限的存储扩展能力;

  统一的存储,实现存储空间共享;

  实现存储设备统一的管理和存储备份管理;

  简化存储系统,提高存储系统的可管理能力;

  提供海量存储,存储历史数据,为决策提供准确的分析依据;

  统一备份,提高备份效率,提高备份介质的存储能力及管理水平。

  1.2 某省四市 XXX 业务应用现状

  XX 省是一个沿海经济发达省份,四家 XXX 都具有较强的实力,业务和交易均比较繁忙,为了统一业务,提高交易平台档次,保证业务的顺利、安全进行,并适应市场的竞争,因此需要建立一个安全、稳定,性能优异的数据存储及其备份系统。

  XXX 数据处理中心通常运行有两大类应用系统:

  ? 综合业务系统;

  ? 管理信息系统。

  数据存储及其备份系统不仅要考虑综合业务对公、对私日平均交易量,更要考虑高峰时交易量。

  第2章 详细技术方案

  2.1 设计目标与设计思路

  存储/数据的有效管理

  采用存储/数据有效管理,配合服务器集中处理,实现高效的业务处理和数据管理,为未来的业务发展开拓更宽广的平台和空间。

  ? 高性能

  业务处理要能满足每天高峰时的交易量,在 CPU 强大处理能力的同时,存储系统必须有较高的性能才能胜任。

  ? 高可用性与高数据安全性

  保证 XXX 中心业务 7X24 运行,存储系统必须有极高的可用性。

  ? 灵活的扩展性

  XXX 业务增长非常迅速,要求对存储系统的性能和容量必须有强大的扩展性来满足这种高速发展的要求。

  ? 简单易用的管理工具

  为了提高系统管理的效率、管理的安全性,存储系统必须有利于使用的存储管理工具。

  根据上述设计目标,我们建议数据存储方案采用 IBM OPEN SAN 解决方案。

  2.2 数据存储设计方案

  2.2.1 SAN企业存储解决方案与 IBM OPEN SAN

  SAN(存域网)是指独立于异构计算网络系统之外的几乎拥有无限存储容量的高速网络。其采用高速的光纤通道作为传输媒介,以 FCP+SCSI 协议作为存储访问协议,将存储子系统网络化、开放化、虚拟化、智能化,实现真正的高速、安全、共享存储。

  SAN架构下的数据存储管理的优势:

  1.提升存储系统资源使用效率及平衡工作量

  2.持续且具弹性的存储系统运作

  3.改善数据存取速度(Improved data access with reduced latency)

  4.更有效的数据保护作业(data protection)

  5.快速的数据分享(File sharing of a LAN at the speed of a SAN)

  6.集中管理,降低总运作成本

  7.业务数据恢复 (Backup/restore)

  8.存储系统集成

  9.灾难容错 (Disaster tolerance)

  10. 高可靠性 (High availability / clustering)

  SAN存储系统五大组成:

  1.Server

  2.Storage

  3.SAN fabric

  4.Software

  5.Service

  SAN标志特性:

  1.方便转移存储系统於不同服务器间(relocate)

  2.同时处理(LAN-free tape backup/Archive)

  3.分享存储系统及数据库

  4.不同服务器间分享数据

  IBM OPEN SAN解决方案是IBM在存储最新技术的结晶,包括完整的存储系统产品线:

  1.Shark (2105)

  2.Magstar (3590)

  3.LTO,Tivoli software

  IBM OPEN SAN真正可以提供整合方案及服务:

  1.存储系统集成 Storage Consolidation

  2.数据分享 File Sharing/data sharing

  3.数据安全/备份 Data security/Backup

  4.磁盘/带共享 Disk/Tape pooling

  IBM OPEN SAN 解决方案是唯一满足"open SAN solution" 的公司,可容括其他各主要厂商的硬件/软件。

  2.2.2 SAN网络集成方案描述

  根据四市 XXX 的现状和议标书的要求,我们为四市 XXX 设计了以 IBM OPEN SAN 技术为基础的 SAN 解决方案,所涉及 SAN 相关产品包括:

  存储服务器:IBM ESS 2105-F20企业存储服务器

  IBM存储管理软件

  SAN光纤交换机:IBM SAN Fibre Channel

  Switch 2109-F16

  SAN 主机光纤卡;

  服务器包括了四市 XXX 的 IBM RS/6000 S90、H85、M85。

  1.存储服务器

  根据四市 XXX 的需求,我们建议采用 IBM ESS 企业存储服务器作为存储/数据集中系统的存储服务器。在未来四市 XXX 的业务中,ESS 将作为主要的存储平台。

  根据对四市 XXX 集中存储系统存储容量的要求,我们建议采用性能为 2.1TB 的 ESS,具体配置包含了以下的内容:

  存储容量: 配置了80块 36.4GB磁 盘,在RAID-5保护 方式下,原 始裸盘容量 约为2.9TB,实际可用容 量为2.1TB( 扣除了RAID-5方式的校 验盘和热备份磁 盘后的容量)。

  方便的容量扩展:ESS有效容量最大可扩展至22.4TB。ESS采用了最新的Seascape"海景"架构,性能和容量的扩展十分灵活方便。ESS系统只须增加8个磁盘(9.1GB、18.2GB、36.4GB、72.8 GB)一组的磁盘组,便可从420GB一直扩展到 22.4TB的容量。

  高速缓存(Cache):8GB,最大可扩展至64GB。

  非易失性缓存(NVS):384MB,每个Cluster有192MB的NVS缓存。电池保护数据达7天。

  处理器:双4路SMP PowerPC RS64II芯片,形成双机Cluster,提供高可用性。

  提供4个光纤通道的连接:这种方式可以保证整个系统的高可靠性,当一个通道出现故障时,其它通道会承载数据传输任务;此外,可以利用ESS的SDD数据访问均衡软件动态均衡数据流量,提高I/O性能。同时方便用户增加其它的主机连接。需要时能增加到16个光纤通道。

  冗余电源与电池备份:保证ESS电源的可用性以及掉电后仍然可用。

  远程支持设备(Remote Support Facility):允许ESS在检测到系统即将发生问题时自动拨叫系统管理员或支持中心,让问题得到及时的解决。

  方便的管理软件StorWatch ESS Expert:基于Web的ESS管理软件。使磁盘子系统管理工作更容易。

  高度 的数 据 保护 :条 块化 的 RAID-5或 non-RAID 功能 , 与主 机配 合 灵活 的实 施JBOD,RAID-0,RAID-0+1。

  快捷的数据拷贝:利用ESS的"瞬间拷贝"FlashCopy功能,可以在任何时间迅速完成拷贝,它提供逻辑卷的快速拷贝。例如,FlashCopy可用于同步备份,从生产数据中产生测试数据,检测点,及为智能商务应用进行不间断拷贝。命令发出后所拷贝的数据立即可用。而实施以上的操作,只须在与ESS联网的任一工作站上,通过ESS图形化的管理界面即可完成,从而在不影响生产系统正常运行的情况下,实时地或接近实时地将生产系统数据库中的数据复制用于快速备份,数据仓库与决策支持,灾备,系统实时数据测试,数据交换等,大大提高生产效率。

  2.SAN光纤通道交换机

  我们建议使用两台 2109-F16 型号的 16 口光纤交换机,配置两台光纤通道交换机的目的是为了避免整个系统在这点上存在单点故障。

  IBM SAN 光纤交换机是 IBM 企业存储区域网络的核心部件。IBM 的企业存储区域网络为不同厂家的异构服务器和存储设备提供高速互联和中心管理的光纤交换环境。采用 IBM SAN企业存储区域网络可以在企业内部随时管理和动态分配 IT 资源,在降低企业 IT 管理成本的同时提供存储设备的共享和宽带接入。

  主要特点是:

  为基于Intel芯片的Windows NT系统和UNIX系统提供高速的光纤连接。

  ? 提供企业级的光纤交换能力和高度的容错能力

  ? 提供16口和8口两种选择

  提供IBM Stor Watch*SAN Fiber Channel Switch Specialist对在IBM企业存储区域网络中的所有交换机进行统一管理。

  IBM SAN 光纤交换机遵循业界标准的光纤通道协议,提供对以下设备的光纤交换连接:

  ? 为基于Intel芯片的Windows NT系统

  ? UNIX系统

  ? 具有光纤接口的磁盘阵列

  IBM数据网关(用以连接只有SCSI接口的磁盘和磁带设备

  3.光纤通道 HUB

  IBM SAN 光纤交换机也提供级联方式的连接。通过 IBM 和非 IBM 的光纤交换机和光纤HUB 的级联,可以使存储区域网络拥有上百个光纤接口。IBM SAN 光纤交换机提供高速灵活的连接方式,并且有很好的容错能力,足以满足绝大多数企业应用的要求—诸如 LAN-free 、Server-free 的备份,数据共享等等。

  IBM SAN 光纤交换机每个光纤接口支持 200MB/S 的全双工数据传输,并且随着端口的增加系统的性能也同步上升。而基于 HUB FC/AL 的解决方案则在设备增加的同时会降低系统性能。

  IBM SAN 光纤交换机可以智能地管理 SAN 并且自动解决一些问题。并且,它可以自动地识别、登记加入的光纤设备,隔离有问题的设备并且自动启用备用路由传输数据。它还提供Zoning 的功能对各个端口的访问权限进行定义,从硬件级别保证系统的安全性。当数据流量和网络状态变化时,IBMSAN 光纤交换机会对数据流进行自动的流向分配(Re-routing)。

  4.服务器系统与 SAN 的连接

  四市 XXX 服务器系统需要与 SAN 实现连接,在服务器中需要配置光纤通道卡,为了保证高可靠性和负载均衡,每台服务器推荐配置两块光纤通道卡。

  2.3 方案的特点

  存储/数据集中

  目前,四市 XXX 的各项业务处理采用了包括 UNIX 小型机以及 PC 服务器进行业务处理,存储/数据集中要求对现有系统提供全面的支持。ESS 具有多平台/多主机的连接能力,它满足了服务器集中方式对数据存储的要求。同时,ESS 可以集中管理和分配存储容量,提高四市 XXX的生产效率。

  高性能

  四市 XXX 业务增长非常迅速,要满足未来 3~5 年内业务处理的要求,磁盘系统数据传输速度要求很高。IBM 企业存储服务器(ESS)采用业界最快的 160MB/s SSA 磁盘阵列,另外 ESS中的智能化的 Cache 结构大大提高了 I/O 性能,同时 ESS 中强大的双四路 SMP(对称多处理)处理器为服务器提供了出色的存储处理性能。ESS 是业界最快的磁盘存储服务器。

  IBM 企业存储服务器还提供许多先进的功能,帮助用户在运行关键业务的同时,实现高速、大量、广泛的数据访问和共享。其中,Flash Copy 功能可以在用户需要的任何时间在瞬间迅速完成数据卷的拷贝,为所需的数据建立即时拷贝,这个拷贝可在任何时候用于备份,大大减少数据备份对生产系统的影响;即时的生产数据卷拷贝,使用户可并行同时运行任务,在大大压缩了工作量的同时提高了生产效率,为企业提供了业务连续性支持。Flash Copy 的主要应用领域有:

  关键业务数据的备份

  工作量压缩

  数据仓库与决策支持

  灾难备份

  系统实时数据测试

  数据交换

  环境刷新

  高可用性与高数据安全性

  四市 XXX 要求保证业务 7X24 运行,存储系统的可靠性就特别重要。ESS 的总体设计和内置部件设计中都保证了容错功能。只有这样,ESS 才能承诺随时根据用户的需求进行同步的维护和升级,并且为用户提供一个真正可靠的保证用户关键业务不间断运行的高可用性和高可靠性数据存储系统。ESS 是一个企业级的数据存储解决方案,它包括了许多先进的功能,增强了企业数据中心的运作。这些功能的目标是保护企业的数据并提供了高可用性,即使在发生故障时也是如此。双活动处理集群、自动修复故障、瞬时拷贝和热备份、可热插拔磁盘驱动器、冗余电源和冷却系统都为高可用性做出了贡献。不掉电的缓存和高性能的 RAID5 功能提供了数据保护和完整性。IBM 为 ESS 设计 CACHE 时就坚持对写入 ESS 的数据保留两份拷贝,在数据真正写入磁盘前拷贝一份数据保存在 NVS(Non-volatile Storage)中,并且 NVS 由一个电池呵护着;ESS 可灵活地配合主机选择 JBOD、RAID-0、RAID-0+1、RAID 5 等数据储存与保护方式。所有这些细致入微的设计都是为了保证数据的完整性,从而保护用户最为珍贵的数据资源。

  进一步,IBM 企业存储服务器还配置了功能强大的 Subsystem Device Driver(SDD)数据访问均衡软件,实现了多路存取、负载均衡、通道切换,在大大提高系统性能的同时,还提供了数据访问高度保障,主要表现为:

  通过多条通道(多达 32 条)全面提高 I/O 吞吐率,更快地完成更的任务;

  业界领先的自动负载均衡算法智能地管理多条 I/O 通道的流量,极大地提高了系统的交易处理效率和 I/O 吞吐率;

  出色的动态配置功能大大减轻了系统管理负担;

  通过自动故障监测,通道切换,把 I/O 队列分布到预定的替换数据通道中,保持正常的应用程序运行和信息流;

  允许动态恢复已修复好的部件;

  全面提高UNIX和Windows2000等开放平台及群集环境(Cluster)的可用性行灵活性。

  强大的扩展性

  四市 XXX 业务增长非常迅速,要满足五年内业务处理的要求,存储系统必须有强大的扩展性来满足这种高速发展的要求。企业存储服务器(ESS)所采用的 Seascape 海景架构正是面向高速大容量的数据访问,目前已经具有高达 22.4TB 因此它充分满足随着业务量和新应用的增加而带来的容量增加的要求。

  方便的集中管理工具

  存储系统方便的管理工具对四市 XXX 也是非常重要的,这样能提高人工效率、减少差错。ESS 提供了基于 Web based 的存储管理工具 Stor Watch ESS Expert 提供简单、灵活和友好的管理方式,并且可以通过网络实现随时随地的管理功能,对 ESS 进行配置和管理,带来了极大的方便,降低了人工成本。

  2.4 第三代强力存储服务器:ESS 2105 – Model 800

  IBM ESS 2105-Model 800 是新一代的存储服务器,它提供了空前水平的性能和吞吐率,相对于它的前一代产品 ESS 2105-F20,其主要的性能特征如下:

  2105-Model 800 吞吐率是前一代产品 2105-F20 的两倍

  使用加速的处理器能够提供比 Model F20 强 2.5 倍处理能力,增强了扩展能力和加速了响应时间。

  支持 64GB 的超大容量的高速缓存,从而大大增加了缓存命中率和降低了读写存储的响应时间。

  内部带宽增长了 2 倍。使得流式媒体、商业智能、数据仓库等等顺序读写应用的吞吐率大大提高。

  具有 2 倍带宽的大容量 NVS(非易失性存储器)大大提高了写密集应用的性能。

  对于重要的数据库应用,第三代的 Model 800 使得响应时间的性能改善了 40%以上。

  2 Gb/sec 的光纤通道卡提供了 2 倍于 Model F20 瞬时通过率,不论是开放式系统还是zSerise 大型主机环境。

  相对于 RAID 5,新支持的 RAID 10 使得数据库类型的交易速度提高了 75%。大多数典型负荷的性能的大幅提高也得益于新的 RAID 10。某些随机读写、程序行为古怪、具有较少缓存命中率的应用程序也可以从 RAID 10 中获取性能大幅度改善的好处。

  15000 rpm 高转速的磁盘驱动器,使得磁盘阵列性能提高了 80%以上。相对于 10000 rmp 的普通磁盘驱动器,响应时间改善 40%以上。从而能应付高密度大强度的读写访问。

  第3章 开放式系统的Magstar3590 磁带子系统

  Magstar 3590 可与下列系统相连接:IBM AS/400,RS/6000,Hewlett Packard,Sun,Microsystem,和其他的 SCSI 系统;运行 Windows NT 的 Intel 系统和 IBM S/390 系统。

  配备光纤及其 Ultra SCSI 接口,Magstar 3590 可获得最大可达 40MB/秒的瞬时数据传输速率。

  Magstar 3590E型号的未压缩驱动器数据速率可达14MB/秒,极大的降低了备份与恢复时间。

  Magstar 3590的带有10盘磁带的自动磁带库(ATL),可随机存取超过1.8TB的压缩数据,是一个低成本的小型磁带库系统。

  Magstar 3590的搜寻速度高达10米/秒,提供对所有存储数据的快速访问。

  ? Magstar 3590H型磁带可容纳高达60GB容量的数据(非压缩)。

  ? Magstar 3590H型磁带可容纳高达180GB容量的数据(压缩)

  ? Magstar 3590具有先进的磁带技术,在数据完整性上,比3480磁带系统提高100倍。

  ? Magstar 3590磁带子系统带有两个光纤或者Ultra SCSI端口。

  ? Magstar 3590能够保护对现有的存储设备的投资。

  3.1 极为优秀的性能

  Magstar 3590 具有领先的成批处理性能和起/停性能。后一点很重要,因为大多数应用是以起/停方式操作的。Magstar 3590 的未压缩数据传输速率是最高可达 14MB/秒。当使用 Ultra SCSI 端口时,最以瞬时数据传输速率为 40MB/秒。

  3.2 增强的可靠性和完整性

  在数据完整性上,Magstar 3590 磁带驱动器的设计比 3480 改进了 100 倍。Magstar 3590 磁带驱逐动器使用双向纵轴蛇行记录技术和第三代磁头。此磁阻磁头可以同时对 16 个数据轨道进行读写操作。改进的校验码(ECC)和写在磁带上的伺服磁道帮助保证数据的完整性。内置诊断监视程序,监视磁带驱动器的操作,及时发现潜在问题,并帮助快速解决。

  两个安装在机柜中的 Magstar 3590 B11S 装置

  3.3 投资保护

  现有的 Magstar B11 型和 B1A 型磁带驱动器(B 型)可以在现场被升级为新的 E 和 H 型,可帮助保护现有的对 Magstar 3590 的投资。因为新的 E 型驱动器可以对现有盒式磁带进行读(128轨)和写(256 轨)操作,所以介质上的投资也可以得到保护。在推广新的 E 型产品的同时,IBM将继续提供配备有最新的增强型 Ultra SCSI 支持的 Magstar 3590 B 型驱动器。

  3.4 高容量

  Magstar 3590E 型盒式磁盘具有 40GB(加长)的容量(比 3480 盒式磁盘的容量高出 100 倍),使用 LZ1 压缩技术,最高可存储 120GB 容量的数据。

  Magstar 3590H 型盒式磁盘具有 60GB(加长)的容量(比 3480 盒式磁盘的容量高出 200 倍),使用 LZ1 压缩技术,最高可存储 180GB 容量的数据。

  Magstar 3590 的金属颗粒磁带介质被放置于一个磁带盒中,其外型尺寸与 3490 的盒式磁带大小相同,这样,可以使其与目前所使用的介质一起放在一个 IBM Magstar 3494 磁带库中。配备有 Magstar 3590 驱动器的 Magstar 3494 磁带库可以提供对多达 374TB 容量的数据的进行访问的能力(以 3:1 压缩)

  3.5 成本效果

  大容量磁带介质意味着只需要较少的设备,较少的盒式磁带及对盒带的装卸。卓越的性能同样可以减少所需驱动器的数量。这样就会降低用于存放盒式磁带,磁带驱动器和磁带库等设备的占地面积。同样,其维护费用也会低于前几代 3480/3490 型驱动器。

  作为一个可重复使用的存储装置,Magstar 3590 可以保留现有的装置,并且可以作为一系列存储解决方案的基础。Magstar 3590 磁带驱动器是 IBM Seascape 体系结构的重要组成部分,可以允许其运用在各种存储解决方案之中。

  3.6易于使用

  为了大容量无人化运行,Magstar 3590 磁带子系统包含一个标准 10-槽的 ATL。使用ATL,可以随机存取磁带,就象一个小型磁带库。盒式磁带可以用一个方便的手提式 10 盘盒式磁带架放置于盒式磁带自动化设施(ATL)中。Magstar 3590 配备有一个操作员/服务显示功能以显示设备状态,动作,错误情况和信息。

  3.7服务

  Magstar 3590 不需要定期的维护。IBM 的客户工程师使用一个内置的子系统面板以执行维护功能。

  3.8 3590型号

  Magstar 3590 有用于 SCSI 和 Ultra SCSI 连接的五个型号:

  3590 B11 型和 E11、H11 型是机架装入式,并内置有大容量无人化运行的一个 10-盘盒式磁带的 ATL,B11 型和 E11 型可能升级为 B1A 型或 E1A。 3590 B1A 型和 E1A 型没有 ATL,是设计连接到 Magstar 3494 磁带库的型号。 具有一至四个 B1A 型或 E1A 磁带驱动器的 Magstar C12 型可提供与 Storage Tek 4410 和 9310 ACS 的连接。

转载请注明:山西快乐十分_广东十一选五走势图 » 某省四市数据大集中案例

发表我的评论
取消评论
表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址