华为3COM存储基础知识白皮书 - 图文

更新时间：2024-05-21 00:06:01 阅读量：综合文库文档下载

说明：文章内容仅供预览，部分内容可能不全。下载后的文档，内容与下面显示的完全一致。下载之前请确认下面内容是否您想要的，是否完整无缺。

华为扩充存储推荐度：
相关推荐

存储基础知识白皮书内部公开

华为3Com技术有限公司 Huawei-3Com Technologies Co. Ltd. 产品版本 Product version 产品名称 Product name: 密级 Confidentiality level Total 96pages 共96页

存储基础知识白皮书

(仅供内部使用） For internal use only

拟制: Prepared by 审核: Reviewed by

审核: Reviewed by

批准: Granted by

日期： Date 日期： Date 日期： Date 日期： Date

yyyy-mm-dd yyyy-mm-dd yyyy-mm-dd yyyy-mm-dd

华为3Com技术有限公司

Huawei-3Com Technologies Co., Ltd.

2005-05-17

华为三康机密，未经许可不得扩散

第1页, 共96页

存储基础知识白皮书内部公开

修订记录Revision record

日期 Date 2005-06-28 yyyy-mm-dd yyyy-mm-dd ?? yyyy-mm-dd 修订版本Revision version 1.00 1.01 1.02 ?? 2.00 修改描述 change Description 初稿完成 initial transmittal 修改XXX revised xxx 修改XXX revised xxx ?? 修改XXX revised xxx 作者 Author 作者名 name 作者名 name 作者名 name ?? 作者名 name

2005-05-17

华为三康机密，未经许可不得扩散第2页, 共96页

存储基础知识白皮书内部公开

第1章网络存储主要技术 ....................................................................................................... 7

1.1 概述 ............................................................................................................................ 7 1.2 DAS：直接附加存储 ................................................................................................. 7 1.3 SAN：存储区域网络 ................................................................................................. 8

1.3.1 什么是SAN？ ................................................................................................. 8 1.3.2 SAN的误区 ...................................................................................................... 9 1.3.3 SAN的组成 ...................................................................................................... 9 1.3.4 FC SAN的问题 ................................................................................................ 9 1.3.5 IP SAN ........................................................................................................... 10 1.4 NAS：网络附加存储 ............................................................................................... 12 1.5 SAN和NAS ............................................................................................................... 13 第2章主要协议和相关技术 ................................................................................................. 14

2.1 SCSI .......................................................................................................................... 14 2.2 FC（光纤通道） ...................................................................................................... 14 2.3 iSCSI ......................................................................................................................... 16 2.4 iSCSI与光纤通道的比较 ......................................................................................... 17 第3章文件系统相关知识 ..................................................................................................... 19

3.1 什么是文件系统 ...................................................................................................... 19 3.2 主流文件系统和特点 .............................................................................................. 20 3.3 NFS和CIFS网络文件系统工作原理和特点 ........................................................... 24 3.4 存储系统与文件系统的关系 .................................................................................. 25 第4章 RAID技术 ................................................................................................................... 26

4.1 RAID概述 ................................................................................................................. 26 4.2 RAID级别 ................................................................................................................. 26

4.2.1 RAID0 ............................................................................................................ 26 4.2.2 RAID1 ............................................................................................................ 27 4.2.3 RAID2 ............................................................................................................ 28 4.2.4 RAID3 ............................................................................................................ 28

2005-05-17

华为三康机密，未经许可不得扩散

第3页, 共96页

存储基础知识白皮书内部公开

4.2.5 RAID4 ............................................................................................................ 29 4.2.6 RAID5 ............................................................................................................ 29 4.2.7 RAID6 ............................................................................................................ 30 4.2.8 RAID10 .......................................................................................................... 31 4.2.9 RAID01 .......................................................................................................... 32 4.2.10 JBOD ............................................................................................................ 32 4.3 不同RAID级别对比 ................................................................................................ 33 第5章主机系统高可用技术 ................................................................................................. 35

5.1 概述 .......................................................................................................................... 35

5.1.1 双机热备份方式 ........................................................................................... 37 5.1.2 双机互备份方式 ........................................................................................... 42 5.1.3 群集并发存取方式 ....................................................................................... 43 5.2 工作模式 .................................................................................................................. 45

5.2.1 双机热备份方式 ........................................................................................... 45 5.2.2 双机互备方式 ............................................................................................... 45 5.2.3 群集并发存取方式 ....................................................................................... 45 5.3 适用场合 .................................................................................................................. 46 5.4 对存储系统的要求 .................................................................................................. 46 第6章数据一致性 ................................................................................................................. 48

6.1 数据一致性概述 ...................................................................................................... 48 6.2 Cache引起的数据一致性问题 ................................................................................. 48 6.3 时间不同步引起的数据一致性问题 ...................................................................... 49 6.4 文件共享中的数据一致性问题 .............................................................................. 50 第7章数据复制与容灾 ......................................................................................................... 51

7.1 灾难恢复/业务连续性 ............................................................................................. 51 7.2 数据备份系统 .......................................................................................................... 54

7.2.1 数据备份 ....................................................................................................... 54 7.2.2 数据复制 ....................................................................................................... 56

2005-05-17

华为三康机密，未经许可不得扩散

第4页, 共96页

存储基础知识白皮书内部公开

7.3 数据一致性 .............................................................................................................. 59 7.4 总结 .......................................................................................................................... 60 第8章备份技术 ..................................................................................................................... 61

8.1 什么是备份 .............................................................................................................. 61 8.2 备份与拷贝、归档的区别 ...................................................................................... 61 8.3 常规备份的实现方式 .............................................................................................. 62 8.4 LAN Free和Serverless备份 ...................................................................................... 63 8.5 主流备份软件和介质 .............................................................................................. 64 8.6 备份技术新趋势 ...................................................................................................... 68 第9章存储连接设备 ............................................................................................................. 71

9.1 HBA卡介绍 .............................................................................................................. 71

9.1.1 FC HBA相关知识： ..................................................................................... 71 9.1.2 主要HBA卡厂商 .......................................................................................... 72 9.1.3 iSCSI HBA相关知识： ................................................................................. 72 9.1.4 iSCSI HBA和TOE网卡主要厂商 ................................................................. 73 9.2 FC连接设备介绍 ...................................................................................................... 73

9.2.1 FC HUB相关知识： ..................................................................................... 73 9.2.2 FC Switch相关知识： ................................................................................... 73 9.2.3 FC Director相关知识： ................................................................................. 73 9.2.4 iSCSI-FC存储路由器 .................................................................................... 74 9.2.5 FC Switch和FC Director主要厂商 ................................................................ 74

第10章信息生命周期 ........................................................................................................... 74

10.1 什么是信息生命周期 ............................................................................................ 74 10.2 信息生命周期的实现 ............................................................................................ 75 10.3 实现ILM的技术保障和面临的挑战 ..................................................................... 75 10.4 信息生命周期管理现状 ........................................................................................ 76 10.5 法规遵从与信息生命周期管理 ............................................................................ 76 10.6 与信息生命周期相关的存储技术 ........................................................................ 77

2005-05-17

华为三康机密，未经许可不得扩散

第5页, 共96页

存储基础知识白皮书内部公开

10.6.1 固定内容管理： ......................................................................................... 77 10.6.2 WORM： ..................................................................................................... 77 10.7 怎样看待信息生命周期管理 ................................................................................ 77 第11章其他存储技术及标准 ............................................................................................... 78

11.1 SMI－S ................................................................................................................... 78 11.2 CDP（持续数据保护） ......................................................................................... 79 11.3 虚拟存储 ................................................................................................................ 79 11.4 网格计算 ................................................................................................................ 80 11.5 高性能计算 ............................................................................................................ 80 11.6 负载均衡 ................................................................................................................ 80 第12章常见主机及操作系统 ............................................................................................... 81

12.1 主机架构及操作系统概述 .................................................................................... 81

12.1.1 主机架构 ..................................................................................................... 81 12.1.2 操作系统 ..................................................................................................... 81 12.1.3 操作系统比较 ............................................................................................. 82 12.2 常见主机厂商及常见产品介绍 ............................................................................ 82

12.2.1 IBM： .......................................................................................................... 82 12.2.2 SUN： .......................................................................................................... 83 12.2.3 Fujitsu: ......................................................................................................... 84 12.2.4 HP: ............................................................................................................... 84 12.3 操作系统应用特点 ................................................................................................ 85 第13章常见数据库及应用系统 ........................................................................................... 86

13.1 数据库厂商介绍 .................................................................................................... 86

13.1.1 Oracle ........................................................................................................... 86 13.1.2 DB2 .............................................................................................................. 91 13.1.3 Sybase .......................................................................................................... 94 13.1.4 MS SQL Server ............................................................................................ 95

2005-05-17

华为三康机密，未经许可不得扩散

第6页, 共96页

存储基础知识白皮书内部公开

第1章网络存储主要技术

1.1 概述

存储系统是整个IT系统的基石，是IT技术赖以存在和发挥效能的基础平台。

早先的存储形式是存储设备（通常是磁盘）与应用服务器其他硬件直接安装于同一个机箱之内，并且该存储设备是给本台应用服务器独占使用的。

随着服务器数量的增多，磁盘数量也在增加，且分散在不同的服务器上，查看每一个磁盘的运行状况都需要到不同的应用服务器上去查看。更换磁盘也需要拆开服务器，中断应用。于是，一种希望将磁盘从服务器中脱离出来，集中到一起管理的需求出现了。不过，一个问题：如何将服务器和盘阵连接起来？

面临这样的问题，有厂商提出了SCSI协议，通过专用的线缆将服务器的总线和存储设备连接起来，通过专门的SCSI指令来实现数据的存储。后来发展到FC协议。这样，多个服务器可以通过SCSI线缆或光纤建立与存储系统的连接。这样的方式，我们称之为直接附加存储（DAS）。

1.2 DAS：直接附加存储

DAS（Direct Attached Storage—直接附加存储）是指将存储设备通过SCSI线缆或光纤通道直接连接到服务器上。

一个SCSI环路或称为SCSI通道可以挂载最多16台设备； FC可以在仲裁环的方式下支持126个设备；

2005-05-17

华为三康机密，未经许可不得扩散

第7页, 共96页

存储基础知识白皮书内部公开

DAS方式实现了机内存储到存储子系统的跨越，但是缺点依然有很多：

? 扩展性差，服务器与存储设备直接连接的方式导致出现新的应用需求时，只能为新

增的服务器单独配置存储设备，造成重复投资。

? 资源利用率低，DAS方式的存储长期来看存储空间无法充分利用，存在浪费。不同

的应用服务器面对的存储数据量是不一致的，同时业务发展的状况也决定这存储数据量的变化。因此，出现了部分应用对应的存储空间不够用，另一些却有大量的存储空间闲置。

? 可管理性差，DAS方式数据依然是分散的，不同的应用各有一套存储设备。管理分

散，无法集中。

异构化严重，DAS方式使得企业在不同阶段采购了不同型号不同厂商的存储设备，设备之间异构化现象严重，导致维护成本据高不下。

1.3 SAN：存储区域网络

1.3.1 什么是SAN？

SAN（Storage Aera Network ）存储区域网络，是一种通过网络方式连接存储设备和应用服务器的存储构架，这个网络专用于主机和存储设备之间的访问。当有数据的存取需求时，数据可以通过存储区域网络在服务器和后台存储设备之间高速传输。

2005-05-17

华为三康机密，未经许可不得扩散

第8页, 共96页

存储基础知识白皮书内部公开

1.3.2 SAN的误区

SAN的发展历程较短，从90年代后期兴起，由于当时以太网的带宽有限，而FC协议在当时就可以支持1Gb的带宽，因此早期的SAN存储系统多数由FC存储设备构成，导致很多用户误以为SAN就是光纤通道设备，其实SAN代表的是一种专用于存储的网络架构，与协议和设备类型无关，随着千兆以太网的普及和万兆以太网的实现，人们对于SAN的理解将更为全面。

1.3.3 SAN的组成

SAN由服务器，后端存储系统，SAN连接设备组成；

后端存储系统由SAN控制器和磁盘系统构成，控制器是后端存储系统的关键，它提供存储接入，数据操作及备份，数据共享、数据快照等数据安全管理，及系统管理等一系列功能。

后端存储系统为SAN解决方案提供了存储空间。使用磁盘阵列和RAID策略为数据提供存储空间和安全保护措施。

连接设备包括交换机，HBA卡和各种介质的连接线。 SAN的优点：

? 设备整合，多台服务器可以通过存储网络同时访问后端存储系统，不必为每台服务

器单独购买存储设备，降低存储设备异构化程度，减轻维护工作量，降低维护费用； ? 数据集中，不同应用和服务器的数据实现了物理上的集中，空间调整和数据复制等

工作可以在一台设备上完成，大大提高了存储资源利用率；

? 高扩展性，存储网络架构使得服务器可以方便的接入现有SAN环境，较好的适应应

用变化的需求；

总体拥有成本低，存储设备的整合和数据集中管理，大大降低了重复投资率和长期管理维护成本；

1.3.4 FC SAN的问题

? 兼容性差，FC协议发展时间短，开发和产品化的大厂商较少，而且厂商之间各自

遵循内部标准，导致不同厂商的FC产品之间兼容性和互操作差，即使同一厂商的不同版本不同型号的FC产品也存在类似的问题；

? 成本高昂，FC SAN的成本包括先期设备成本和长期维护成本，由于FC协议在成熟

2005-05-17

华为三康机密，未经许可不得扩散

第9页, 共96页

存储基础知识白皮书内部公开

度和互联性上无法与以太网相比，导致FC协议只能局限于存储系统应用，无法实现大规模推广，这直接导致了FC产品价格的昂贵；同样与FC-SAN相关的所有产品都身价高昂，无论是备份软件的FC-SAN模块，甚至SCSI硬盘简单更换连接口成为FC硬盘，都要翻上几倍的价钱；另外兼容性差也导致了用户无法自己维护FC设备，必须购买昂贵的厂商服务，如果用户的环境中包括多种FC存储设备，用户每年花在FC-SAN的系统保修服务的费用占当年采购成本的15%左右。如果再算上系统安装部署阶段的专业服务费用支出，以5年计算，整个服务费用支出与系统采购达到1:1！

? 扩展能力差，FC-SAN高昂的成本和协议封闭，使得产品的开发、升级、扩容代价

高昂。从2000年以来，存储市场中最大的中端部分就一直5年不变地维持着前端两个存储控制器，后端两个（最多四个）光纤环路的结构。不仅产品本身无法进行性能和处理能力扩展，产品型号向上的升级付出的代价几乎相当于购买一套新的设备；

? 异构化严重，各厂商按照自有标准开发各种功能，如快照、复制、镜像等，导致不

同厂商存储设备之间功能无法互通，结果又出现的DAS方式的各种问题，重复投资、难以管理的局面

SAN的出现，从根本上是要建立一个开放、高性能、高可靠、高可扩展性的存储资源平台，从而能够应对快速的业务变化和数据增长，然而以上问题使得用户使用网络存储的目标产生了严重的偏离，很多用户甚至开始质疑为什么要放弃DAS而使用昂贵复杂的FC-SAN。

1.3.5 IP SAN

IP网络是一个开放，高性能，高可扩展，可靠性高的网络平台。

? IP网是国际互连网，企业内部网络的主要形式。经过多年发展，IP网络实现了最高

的可管理性和互操作性。

? TCP/IP协议弹性强，适应网络的各种变化，无需停止服务即可实网络变更。 ? 1G的以太网已经普及，2006年会扩展到10G。FC在2008年才能到4G。 ? 不同厂家的IP网设备兼容性好。网络设备采购成本低廉。

? 以太网知识普及，以太网多年的发展培养了无数的网络管理人员。

2005-05-17

华为三康机密，未经许可不得扩散

第10页, 共96页

存储基础知识白皮书内部公开

IP SAN的基本想法是通过高速以太网络连接服务器和后端存储系统。将SCSI指令和数据块经过高速以太网传输，继承以太网的优点，实现建立一个开放、高性能、高可靠性，高可扩展的存储资源平台。

IP SAN

将数据块和SCSI指令通过TCP/IP协议承载，通过千兆/万兆专用的以太网络连接应用服务器和存储设备，这样的解决方案称为IP SAN。

IP SAN遵循IETF的iSCSI标准，通过以太网实现对存储空间的块级访问，由于早先以太网速度，数据安全性以及系统级高容错要求等问题，这一标准经历了三年的认证过程，在包括IBM、HP、SUN、COMPAQ、DELL、Intel、Microsoft、EMC、HDS、Brocade等众多家厂商的努力，和万兆/千兆以太网10GBit Ethernet支撑下，IP SAN/iSCSI已解决了网络瓶颈，数据安全和容错等问题，进入了实用阶段。

IP SAN继承了IP网络的优点：

? 实现弹性扩展的存储网络，能自适应应用的改变。 ? 已经验证的传输设备保证运行的可靠性

? 以太网从1G向10G及更高速过渡，只需通过简单的升级便可得到极大的性能提升，

并保护投资

? IP跨长距离扩展能力，轻松实现远程数据复制和灾难恢复 ? 大量熟悉的网络技术和管理的人才减少培训和人力成本将以太网的经济性引入存储降低用户总体拥有成本。

2005-05-17

华为三康机密，未经许可不得扩散

第11页, 共96页

存储基础知识白皮书内部公开

1.4 NAS：网络附加存储

NAS（Network Attached Storage—网络附加存储），是一种文件共享服务。拥有自己的文件系统，通过NFS或CIFS对外提供文件访问服务。

NAS包括存储器件（例如硬盘驱动器阵列、CD或DVD驱动器、磁带驱动器或可移动的存储介质）和专用服务器。专用服务器上装有专门的操作系统，通常是简化的unix/linux操作系统，或者是一个特殊的win2000内核。它为文件系统管理和访问做了专门的优化。专用服务器利用NFS或CIFS，充当远程文件服务器，对外提供文件级的访问。

NAS的优点：

? NAS可以即插即用。

? NAS通过TCP/IP网络连接到应用服务器，因此可以基于已有的企业网络方便连接。 ? 专用的操作系统支持不同的文件系统，提供不同操作系统的文件共享。

? 经过优化的文件系统提高了文件的访问效率，也支持相应的网络协议。即使应用服

务器不再工作了，仍然可以读出数据。 NAS的缺点：

1、NAS设备与客户机通过企业网进行连接，因此数据备份或存储过程中会占用网络的带宽。这必然会影响企业内部网络上的其他网络应用。共用网络带宽成为限制NAS性能的主要问题。

2、NAS的可扩展性受到设备大小的限制。增加另一台NAS设备非常容易，但是要想将两个NAS设备的存储空间无缝合并并不容易，因为NAS设备通常具有独特的网络标识符，存储空间的扩大上有限。

3、NAS访问需要经过文件系统格式转换，所以是以文件一级来访问。不适和Block级的

2005-05-17

华为三康机密，未经许可不得扩散

第12页, 共96页

存储基础知识白皮书内部公开

应用，尤其是要求使用裸设备的数据库系统。

1.5 SAN和NAS

SAN和NAS经常被视为两种竞争技术，实际上，二者能够很好地相互补充，以提供对不同类型数据的访问。SAN针对海量、面向数据块的数据传输，而NAS则提供文件级的数据访问和共享服务。

尽管这两种技术类似，但严格意义上讲NAS其实只是一种文件服务。

NAS和SAN不仅各有应用场合，也相互结合，许多SAN部署于NAS后台，为NAS设备提供高性能海量存储空间。

NAS和SAN结合中出现了NAS网关这个部件。NAS网关主要由专为提供文件服务而优化的操作系统和相关硬件组成，可以看作是一个专门的文件管理器。NAS网关连接到后端上的SAN上，使的SAN的大容量存储空间可以为NAS所用。因此，NAS网关后面的存储空间可以根据环境的需求扩展到非常大的容量。

“NAS网关”方案主要是在NAS一端增加了可与SAN相连的“接口”，系统对外只有一个用户接口。

NAS网关系统虽然在一定程度上解决了NAS与SAN系统的存储设备级的共享问题，但在文件级的共享问题上却与传统的NAS系统遇到了同样的可扩展性问题。当一个文件系统负载很大时，NAS网关很可能成为系统的瓶颈。

2005-05-17

华为三康机密，未经许可不得扩散第13页, 共96页

存储基础知识白皮书内部公开

第2章主要协议和相关技术

关键字：SCSI FC iSCSI

2.1 SCSI

SCSI是小型计算机系统接口（Small Computer System Interface）的简称，于1979首次提出，是为小型机研制的一种接口技术，现在已完全普及到了小型机，高低端服务器以及普通PC上。

SCSI可以划分为SCSI-1、SCSI-2、SCSI-3，最新的为SCSI-3，也是目前应用最广泛的SCSI版本。

1、SCSI-1：1979年提出，支持同步和异步SCSI外围设备；支持7台8位的外围设备，最大数据传输速度为5MB/s。

2、SCSI-2：1992年提出，也称为Fast SCSI，数据传输率提高到20MB/s。

3、SCSI-3：1995年提出，Ultra SCSI（Fast-20）。Ultra 2 SCSI（Fast-40）出现于1997年，最高传输速率可达80MB/s。1998年9月，Ultra 3 SCSI（Utra 160 SCSI）正式发布，最高数据传输率为160MB/s。Ultra 320 SCSI的最高数据传输率已经达到了320MB/s。

2.2 FC（光纤通道）

FC光纤通道：用于计算机设备之间数据传输，传输率达到2G（将来会达到4G）。光纤通道用于服务器共享存储设备的连接，存储控制器和驱动器之间的内部连接。

2005-05-17

华为三康机密，未经许可不得扩散第14页, 共96页

存储基础知识白皮书内部公开

此图需要更换协议基本架构：

FC-4 Upper Layer Protocol:SCSI,HIPPI,SBCCS,802.2,ATM,VI,IP FC-3 common service

FC-2 Framing Protocol /Flow Control FC-1 Encode/Decode

FC-0 Media:Optical or copper,100MB/sec to 1.062GB/sec 协议层说明：

FC-0：物理层，定制了不同介质，传输距离，信号机制标准，也定义了光纤和铜线接口以及电缆指标

FC-1：定义编码和解码的标准

FC-2：定义了帧、流控制、和服务质量等 FC-3：定义了常用服务，如数据加密和压缩

FC-4：协议映射层，定义了光纤通道和上层应用之间的接口，上层应用比如：串行SCSI 协议，HBA 的驱动提供了FC-4 的接口函数，FC-4 支持多协议，如：FCP-SCSI, FC-IP,FC-VI 协议简介： FCP-SCSI：

FCP-SCSI:是将SCSI并行接口转化为串行接口方式的协议，应用于存储系统和服务器之

2005-05-17

华为三康机密，未经许可不得扩散

第15页, 共96页

存储基础知识白皮书内部公开

间的数据传输。新的ANSI T10 标准，支持SAN 上存储系统之间通过数据迁移应用来直接移动数据。 FCP-SCSI 提供200MB/s（全双工独占带宽）的传输速率，每连接最远达10 公里，最大16000000 个节点。FCP-SCSI 使用帧传输取代块传输。帧传输以大数据流传输方式传输短的小的事务数据。

2.3 iSCSI

iSCSI（互联网小型计算机系统接口）是一种在TCP/IP上进行数据块传输的标准。它是由Cisco和IBM两家发起的，并且得到了各大存储厂商的大力支持。iSCSI可以实现在IP网络上运行SCSI协议，使其能够在诸如高速千兆以太网上进行快速的数据存取备份操作。

iSCSI标准在2003年2月11日由IETF（互联网工程任务组）认证通过。iSCSI继承了两大最传统技术：SCSI和TCP/IP协议。这为iSCSI的发展奠定了坚实的基础。

基于iSCSI的存储系统只需要不多的投资便可实现SAN存储功能，甚至直接利用现有的TCP/IP网络。相对于以往的网络存储技术，它解决了开放性、容量、传输速度、兼容性、安全性等问题，其优越的性能使其备受始关注与青睐。 iSCSI的数据包结构：

工作流程：

iSCSI系统由SCSI适配器发送一个SCSI命令。命令封装到TCP/IP包中并送入到以太网络。

接收方从TCP/IP包中抽取SCSI命令并执行相关操作。

2005-05-17

华为三康机密，未经许可不得扩散

第16页, 共96页

存储基础知识白皮书内部公开

把返回的SCSI命令和数据封装到TCP/IP包中，将它们发回到发送方。系统提取出数据或命令，并把它们传回SCSI子系统。安全性描述：

iSCSI协议本身提供了QoS及安全特性。

可以限制initiator仅向target列表中的目标发登录请求，再由target确认并返回响应，之后才允许通信；

通过IPSec将数据包加密之后传输，包括数据完整性、确定性及机密性检测等；

iSCSI的优势

（1）广泛分布的以太网为iSCSI的部署提供了基础。

（2）千兆/万兆以太网的普及为iSCSI提供了更大的运行带宽。

（3）以太网知识的普及为基于iSCSI技术的存储技术提供了大量的管理人才。（4）由于基于TCP/IP网络，完全解决数据远程复制（Data Replication）及灾难恢复（Disaster Recover）等传输距离上的难题。

（5）得益于以太网设备的价格优势和TCP/IP网络的开放性和便利的管理性，设备扩充和应用调整的成本付出小。

2.4 iSCSI与光纤通道的比较

从传输层看，光纤通道的传输采用其FC协议，iSCSI采用TCP/IP协议。

FC协议与现有的以太网是完全异构的，两者不能相互接驳。因此光纤通道是具有封闭性的，而且不仅与现有的企业内部网络（以太网）接入，也与其他不同厂商的光纤通道网络接入（由于厂家对FC标准的理解的异样，FC设备的兼容性是一个巨大的难题）。因此，对于以后存储网络的扩展由于兼容性的问题而成为了难题。而且，FC协议由于其协议特性，网络建完后，加入新的存储子网时，必须要重新配置整个网络，这也是FC网络扩展的障碍。

iSCSI基于的TCP/IP协议，它本身就运行于以太网之上，因此可以和现有的企业内部以太网无缝结合。TCP/IP网络设备之间的兼容性已经无需讨论，迅猛发展的internent网上运行着全球无数家网络设备厂商提供的网络设备，这是一个最好的佐证。

从网络管理的角度看，运行FC协议的光网络，其技术难度相当之大。其管理采用了专

2005-05-17

华为三康机密，未经许可不得扩散

第17页, 共96页

存储基础知识白皮书内部公开

有的软件，因此需要专门的管理人员，且其培训费用高昂。TCP/IP网络的知识通过这些年的普及，已有大量的网络管理人才，并且，由于支持TCP/IP的设备对协议的支持一致性好，即使是不同厂家的设备，其网络管理方法也是基本一致的。

FC运行于光网络之上，其速度是非常快的，现在已经达到了2G的带宽，这也是它的主要优势所在。下一代的FC标准正在制定当中，其速度可以达到4G，

今天的千兆以太网已经在普及当中，这也是基于TCP/IP的iSCSI协议进入实用的保证。得益于优秀的设计，以太网从诞生到现在，遍及了所有有网络的地方，到现在依然表现出非凡的生命力，在全球无数网络厂商的共同努力下，以太网的速度稳步提升，千兆网络已经实际应用，万兆网络呼之欲出，以太网的主要部件交换机路由器均已有万兆级别的产品。随着产品的不断丰富，以及设备厂商间的剧烈竞争，其建设成本在不断下降，万兆网络的普及已日益临近。当iSCSI以10Gb的高速传输数据时，基于iSCSI协议的存储技术将无可争议的成为网络存储的王者。

2005-05-17

华为三康机密，未经许可不得扩散第18页, 共96页

存储基础知识白皮书内部公开

第3章文件系统相关知识

3.1 什么是文件系统

文件系统定义了把文件存储于磁盘时所必须的数据结构及磁盘数据的管理方式。我们知道，磁盘是由很多个扇区（Sector）组成的，如果扇区之间不建立任何的关系，写入其中的文件就无法访问，因为无法知道文件从哪个扇区开始，文件占多少个扇区，文件有什么属性。为了访问磁盘中的数据，就必需在扇区之间建立联系，也就是需要一种逻辑上的数据存储结构。建立这种逻辑结构就是文件系统要做的事情，在磁盘上建立文件系统的过程通常称为“格式化”。

以Windows平台下最常见的FAT文件系统为例。FAT文件系统有两个重要的组成部分：FAT表（File Allocation Table）和数据存储区。FAT表是FAT文件系统的名称来源，它定义了存储数据的簇（Cluster，由2的n次方个Sector组成，n值根据分区大小而定，需综合考虑数据存取效率和存储空间的利用率）之间的链接关系，这种链接关系是一个单向链表，指向0xFF表示结束。依据一个簇编号所用bit数的不同，可分为FAT12、FAT16和FAT32文件系统。数据区存储的数据包含文件目录项（Directory Entries）和文件数据。文件目录项存储的是一个文件或目录的属性信息，包括文件名称（把目录也看成是文件）、读写属性、文件大小、创建时间、起始簇编号等，一个目录下的每个子目录和文件都对应一个表项记录。文件目录项以固定32字节的长度存储，以树型结构管理，其中根目录的位置是确定的。也就是说，根据分区根目录可以找到下级子目录和文件的起始簇编号，根据下级子目录又可以找到更下级目录或文件的起始簇编号。可见，FAT表和文件目录项是为了文件的访问和管理而建立的。应用程序要访问一个文件时，根据文件路径（逻辑分区号＋目录，如F:\\software）和文件名称（如setup.exe）可从文件目录项中获得存储文件数据的起始簇号，之后从FAT表查询这个簇号对应的链表，就可以获得该文件对应的全部簇编号。从这些簇中读出全部数据，就得到一个完整的文件。

一般来说，文件系统是和操作系统紧密结合在一起的，不同的操作系统使用不同的文件系统，但有时为了兼容，不同操作系统也使用相同的文件系统。

2005-05-17

华为三康机密，未经许可不得扩散

第19页, 共96页

存储基础知识白皮书内部公开

3.2 主流文件系统和特点

在Windows系列操作系统中，MS-DOS和Windows 3.x使用FAT16文件系统，默认情况下Windows 98也使用FAT16，Windows 98和Windows Me可以同时支持FAT16、FAT32两种文件系统，Windows NT则支持FAT16、NTFS两种文件系统，Windows 2000可以支持FAT16、FAT32、NTFS三种文件系统.每一种文件系统提供的功能与特点各不相同。比如FAT32文件系统。，采用32位的文件分配表，磁盘的管理能力大为增强。但由于文件分配表的增大，性能相对来说有所下降。此外，这个版本的文件系统不能向下兼容。

NTFS是随着 Windows NT操作系统而产生的，它的优点和FAT文件系统相比是有更好的安全性和稳定性，在使用中不易产生文件碎片，NTFS分区对用户权限作出了非常严格的限制，同时它还提供了容错结构日志，从而保护了系统的安全。但NTFS分区格式的兼容性不好，Windows 98/ME操作系统均不能直接访问该分区。

对于超过4GB以上的硬盘，使用NTFS分区，可以减少磁盘碎片的数量，大大提高硬盘的利用率；NTFS可以支持的文件大小可以达到64GB，远远大于FAT32下的4GB；支持长文件名，支持的最大分区为 2TB。

在Linux系统中，每个分区都是一个文件系统，都有自己的目录层次结构。Linux的最重要特征之一就是支持多种文件系统,并可以和许多其它种操作系统共存。

随着Linux的不断发展，它所支持的文件格式系统也在迅速扩充。特别是Linux 2.4内核正式推出后，出现了大量新的文件系统. Linux系统可以支持十多种文件系统类型包括：JFS、 ext、ext2、ext3、ISO9660、XFS、Minx、MSDOS、UMSDOS、VFAT、NTFS、HPFS、NFS、SMB、SysV、PROC等。

2005-05-17

华为三康机密，未经许可不得扩散

第20页, 共96页

存储基础知识白皮书内部公开

各主流操作系统和平台的文件系统名称和特点如下表所示

2005-05-17

华为三康机密，未经许可不得扩散第21页, 共96页

操作系统文件系统特点可以允许多种操作系统访问，如MS-DOS、Windows Windows 95、3.x、Windows 9x、Windows NT和OS/2等。这一文件系存储基础知识白皮书 Fat文件系统 FAT12/FAT16和统在使用时遵循8.3命名规则(即文件名最多为8个字内部公开符，扩展名为3个字符)。最大的限制在于兼容性方面，Fat32不能保持向下FAT32 兼容。当分区小于512M时，Fat32不会发生作用。单个文件不能大于4G。支持文件系统故障恢复，尤其是大存储媒体、长文件名。分区大小可以达到2TB。通过使用标准的事物处、Windows 98、OSR2 Windows 98 SE、Windows Me、Windows 2000和Windows XP Windows NTFS文件系统 NT/2000 只能被Windows NT/2000所识别，不能被FAT文件系统所存取用以组织、搜索和共享多种多样的信息的存储平Windows Winfs longhorn 立起更好的互操作性，从而提供快捷的文件浏览和搜索功能是一种日志式文件系统。日志式文件系统的优越性在于：由于文件系统都有快取层参与运作，如不使用时Ext2/ ext3/ XFS等Linux 文件系统中。因此每当系统要关机时，必须将其所有的文件系统全部卸下后才能进行关机网络文件系统，允许多台计算机之间共享文件系UNIX 系统 NFS 统，易于从所有这些计算机存放文件网络文件系统，允许多台计算机之间共享文件系Windows 系列 CIFS 统，易于从所有这些计算机存放文件具有可伸缩性和健壮性，与非日志文件系统相比，它的优点是其快速重启能力：Jfs 能够在几秒或几分钟内就把文件系统恢复到一致状态。为满足服务器（从单AIX JFS 处理器系统到高级多处理器和群集系统）的高吞吐量和可靠性需求而设计的。使用数据库日志处理技术，jsf 能在几秒或几分钟之内把文件系统恢复到一致状态。华为三康机密，未经许可不得扩散第22页, 共96页 Vxfs UFS Vxfs 日志式文件系统.建立文件的索引区，将操作记录在事件日志中，当系统发生意外时，能让系统迅速、完必须将文件系统卸下，以便将快取层的资料写回磁盘台。WinFS被设计为在无结构文件和数据库数据之间建理日志和恢复技术来保证分区的一致性。 2005-05-17 SCO UnixWare，

存储基础知识白皮书内部公开

2005-05-17

华为三康机密，未经许可不得扩散第23页, 共96页

存储基础知识白皮书内部公开

3.3 NFS和CIFS网络文件系统工作原理和特点

NFS (Network File System，网络文件系统)是当前主流异构平台共享文件系统之一.主要应用在UNIX环境下。最早是由SUN microsystem开发，现在能够支持在不同类型的系统之间通过网络进行文件共享，广泛应用在FreeBSD、SCO、Solaris等等异构操作系统平台，允许一个系统在网络上与它人共享目录和文件。通过使用NFS，用户和程序可以象访问本地文件一样访问远端系统上的文件，使得每个计算机的节点能够像使用本地资源一样方便地使用网上资源。换言之，NFS 可用于不同类型计算机、操作系统、网络架构和传输协议运行环境中的网络文件远程访问和共享。

NFS的工作原理是使用客户端/服务器架构，由一个客户端程序和服务器程序组成。服务器程序向其它计算机提供对文件系统的访问，其过程就叫做“输出”。NFS 客户端程序对共享文件系统进行访问时，把它们从 NFS 服务器中“输送”出来。文件通常以“块” 为单位进行传输. 其尺寸是 8K (虽然它可能会将操作分成更小尺寸的分片).NFS 传输协议用于服务器和客户机之间文件访问和共享的通信，从而使客户机远程地访问保存在存储设备上的数据。

CIFS（Common Internet File Syste，公共互联网文件系统）是当前主流异构平台共享文件系统之一。主要应用在NT/Windows环境下，是由Microsoft公司开发。其工作原理是让CIFS协议运行于TCP/IP通信协议之上，让Unix计算机可以在网络邻居上被Windows计算机看到。

共享文件系统特点：

? 异构平台下的文件共享：不同平台下的多个客户端可以很容易的共享NAS中的同一

个文件。

? 充分利用现有的LAN网络结构，保护现有投资。 ? 容易安装，使用和管理都很方便，实现即插即用。

? 广泛的连接性：由于基于IP/Ethernet以及标准的NFS和CIFS，可以适应复杂的

网络环境。

? 内部资源的整合：可以将内部的磁盘整合成一个统一的存储池，以卷的方式提供给

不同的用户，每一个卷可以格式化成不同的文件系统

2005-05-17

华为三康机密，未经许可不得扩散

第24页, 共96页

存储基础知识白皮书内部公开

? 允许应用进程打开一个远地文件，并能够在该文件的某一个特定的位置上开始读写数

据。NFS 可使用户只复制一个大文件中的一个很小的片段，而不需复制整个大文件，在网络上传送的只是少量的修改数据。

需要注意的是，CIFS和NFS虽然同样也是文件系统（File System），但它并不能用于在磁盘中存储和管理数据，它定义的是通过TCP/IP网络传输文件时的文件组织格式和数据传输方式。利用CIFS和NFS共享文件实际涉及到两次的文件系统转换。客户端从服务器端申请一个文件时，服务器端首先从本地读出文件（本地文件系统格式），并以NFS/CIFS的格式封装成IP报文并发送给客户端。客户端收到IP报文以后，把文件存储与本地磁盘中（本地文件系统格式）。

3.4 存储系统与文件系统的关系

提到NAS，通常会想到传统的NAS设备，它具有自己的文件系统，具有较大的存储容量，具有一定的文件管理和服务功能。NAS设备和客户端之间通过IP网络连接，基于NFS/CIFS协议在不同平台之间共享文件，数据的传输以文件为组织单位。

虽然NAS设备常被认为是一种存储架构，但NAS设备最核心的东西实际上在存储之外，那就是文件管理服务。从功能上来看，传统NAS设备就是一个带有DAS存储的文件服务器。从数据的IO路径来看，它的数据IO发生在NAS设备内部，这种架构与DAS毫无分别。而事实上，很多NAS设备内部的文件服务模块与磁盘之间是通过SCSI总线连接的。至于通过NFS/CIFS共享文件，完全属于高层协议通信，根本就不在数据IO路径上，所以数据的传输不可能以块来组织。正是由于这种功能上的重叠，在SAN出现以后，NAS头设备（或NAS网关）逐渐发展起来，NAS over SAN的方案越来越多，NAS回归了其文件服务的本质。

由此可知，NAS与一般的应用主机在网络层次上的位置是相同的，为了在磁盘中存储数据，就必须要建立文件系统。有的NAS设备采用专有文件系统，而有的NAS设备则直接借用其操作系统支持的文件系统。由于不同的OS平台之间文件系统不兼容，所以NAS设备和客户端之间就采用通用的NFS/CIFS来共享文件。

至于SAN，它提供给应用主机的就是一块未建立文件系统的“虚拟磁盘”。在上面建立什么样的文件系统，完全由主机操作系统确定。

2005-05-17

华为三康机密，未经许可不得扩散第25页, 共96页

存储基础知识白皮书内部公开

第4章 RAID技术

4.1 RAID概述

RAID为廉价磁盘冗余阵列（Redundant Array of Inexpensive Disks），RAID技术将一个个单独的磁盘以不同的组合方式形成一个逻辑硬盘，从而提高了磁盘读取的性能和数据的安全性。不同的组合方式用RAID级别来标识。

RAID技术是由美国加州大学伯克利分校D.A. Patterson教授在1988年提出的，作为高性能、高可靠的存储技术，在今天已经得到了广泛的应用。

4.2 RAID级别

RAID技术经过不断的发展，现在已拥有了从 RAID 0 到 5等6种明确标准级别的RAID 级别。另外，其他还有6、7、10（RAID 1与RAID 0的组合）、01（RAID 0与RAID 1的组合）、30（RAID 3与RAID 0的组合）、50（RAID 0与RAID 5的组合）等。

不同RAID 级别代表着不同的存储性能、数据安全性和存储成本，下面将介绍如下RAID级别：0、1、2、3、4、5、6、01、10。

4.2.1 RAID0

RAID0也称为条带化（stripe），将数据分成一定的大小顺序的写道阵列的磁盘里，RAID0可以并行的执行读写操作，可以充分利用总线的带宽，理论上讲，一个由N个磁盘组成的RAID0系统，它的读写性能将是单个磁盘读取性能的N倍。且磁盘空间的存储效率最大（100％）RAID0有一个明显的缺点：不提供数据冗余保护，一旦数据损坏，将无法恢复。

2005-05-17

华为三康机密，未经许可不得扩散第26页, 共96页

存储基础知识白皮书内部公开

D1D2D3D4D5D6D7D8D9D10D11D1 D5 D9 D2 D6 D10 D3 D7 D11 D4 D8 D12

如图所示：系统向RAID0系统（四个磁盘组成）发出的I/O数据请求被转化为4项操作，其中的每一项操作都对应于一块物理硬盘。通过建立RAID 0，原先顺序的数据请求被分散到四块硬盘中同时执行。从理论上讲，四块硬盘的并行操作使同一时间内磁盘读写速度提升了4倍。但由于总线带宽等多种因素的影响，实际的提升速率会低于理论值，但是，大量数据并行传输与串行传输比较，性能必然大幅提高。

RAID0应用于对读取性能要求较高但所存储的数据为非重要数据的情况下。

4.2.2 RAID1

RAID1成为镜像（mirror），它将数据完全一致的分别写到工作磁盘和镜像磁盘，因此它的磁盘空间利用率为50％，在数据写入时时间会有影响，但是读的时候没有任何影响，RAID0提供了最佳的数据保护，一旦工作磁盘发生故障，系统自动从镜像磁盘读取数据，不会影响用户工作。

2005-05-17

华为三康机密，未经许可不得扩散第27页, 共96页

存储基础知识白皮书内部公开

D1D2D3D4 D1 D2 D3 D4 D1 D2 D3 D4 工作磁盘

RAID1应用于对数据保护极为重视的应用。

镜像磁盘

4.2.3 RAID2

RAID2称为纠错海明码磁盘阵列，阵列中序号为2N的磁盘（第1、2、4、6??）作为校验盘，其余的磁盘用于存放数据，磁盘数目越多，校验盘所占比率越少。RAID2在大数据存储额情况下性能很高，RAID2的实际应用很少。

4.2.4 RAID3

RAID3采用一个硬盘作为校验盘，其余磁盘作为数据盘，数据按位或字节的方式交叉的存取到各个数据盘中。不同磁盘上同一带区的数据做异或校验，并把校验值写入到校验盘中。RAID3系统在完整的情况下读取时没有任何性能上的影响，读性能与RAID0一致，却提供了数据容错能力，但是，在写时性能大为下降，因为每一次写操作，即使是改动某个数据盘上的一个数据块，也必须根据所有同一带区的数据来重新计算校验值写入到校验盘中，一个写操作包含了写入数据块，读取同一带区的数据块，计算校验值，写入校验值等操作，系统开销大为增加。

当RAID3中有数据盘出现损坏，不会影响用户读取数据，如果读取的数据块正好在损坏的磁盘上，则系统需要读取所有同一带区的数据块，然后根据校验值重新构建数据，系统性

2005-05-17

华为三康机密，未经许可不得扩散

第28页, 共96页

存储基础知识白皮书内部公开

能受到影响。

D1D2D3D4D5D6D7D8D9 D1 D4 D7 D2 D5 D8 D3 D6 D9 P1 P2 P3 校验盘

RAID3的校验盘在系统接受大量的写操作时容易形成性能瓶颈，因而适用于有大量读操作如web系统以及信息查询等应用或持续大块数据流（例如非线性编辑）的应用。

4.2.5 RAID4

RAID4与RAID3基本一致，区别在于条带化的方式不一样，RAID4按照块的方式存放数据，所以在写操作时只涉及两块磁盘，数据盘和校验盘，提高了系统的IO性能。但面对随机的分散的写操作，单一的校验盘往往成为性能瓶颈。

4.2.6 RAID5

RAID5与RAID3的机制相似，但是数据校验的信息被均匀的分散到的阵列的各个磁盘上，这样就不存在并发写操作时的校验盘性能瓶颈。阵列的磁盘上既有数据，也有数据校验信息，数据块和对应的校验信息会存储于不同的磁盘上，当一个数据盘损坏时，系统可以根据同一带区的其他数据块和对应的校验信息来重构损坏的数据。

2005-05-17

华为三康机密，未经许可不得扩散第29页, 共96页

存储基础知识白皮书内部公开

D1D2D3D4D5D6D7D8D9D10D11D1 D4 D7 P4 D2 D5 P3 D10 D3 P2 D8 D11 P1 D6 D9 D1

RAID 5可以理解为是RAID 0和RAID 1的折衷方案。RAID 5可以为系统提供数据安全保障，但保障程度要比RAID1低而磁盘空间利用率要比RAID1高。RAID 5具有和RAID 0相近似的数据读取速度，只是多了一个奇偶校验信息，写入数据的速度比对单个磁盘进行写入操作稍慢。同时由于多个数据对应一个奇偶校验信息，RAID 5的磁盘空间利用率要比RAID 1高，存储成本相对较低。

RAID5在数据盘损坏时的情况和RAID3相似，由于需要重构数据，性能会受到影响。

4.2.7 RAID6

RAID 6提供两级冗余，即阵列中的两个驱动器失败时，阵列仍然能够继续工作。一般而言，RAID 6的实现代价最高，因为RAID 6不仅要支持数据的恢复，又要支持校验的恢复，这使RAID 6控制器比其他级R A I D更复杂和更昂贵。

1. RAID 6的校验数据

当对每个数据块执行写操作时， RAID 6做两个独立的校验计算，因此，它能够支持两个磁盘的失败。为了实现这个思想，目前基本上有两个已经接受的方法：

? 使用多种算法，如X O R和某种其他的函数。 ? 在不同的数据分条或者磁盘上，使用排列的数据。 2. RAID 6的一维冗余

2005-05-17

华为三康机密，未经许可不得扩散

第30页, 共96页

存储基础知识白皮书内部公开

RAID 6的第一种方法是用两种不同的方法计算校验数据。实现这个思想最容易的方法之一是用两个校验磁盘支持数据磁盘，第一个校验磁盘支持一种校验算法，而第二个磁盘支持另一种校验算法，使用两种算法称为P + Q校验。一维冗余是指使用另一个校验磁盘，但所包含的分块数据是相同的。例如，P校验值可能由X O R函数产生，这样，Q校验函数需要是其他的某种操作，一个很有力的侯选者是Reed Solomon误差修正编码的变体，这个误差修正编码一般用于磁盘和磁带驱动器。假如两个磁盘失败，那么，通过求解带有两个变量的方程，可以恢复两个磁盘上的数据，这是一个代数方法，可以由硬件辅助处理器加速求解。

4.2.8 RAID10

RAID10是RAID1和RAID0的结合，也称为RAID（0+1），先做镜像然后做条带化，既提高了系统的读写性能，有提供了数据冗余保护，RAID10的磁盘空间利用率和RAID1是一样的，为50％。RAID10适用于既有大量的数据需要存储，有对数据安全性有严格要求的领域，比如金融，证券等。

D1D2D3D4D5D6D7D8 D1 D5 D2 D6 D3 D7 D4 D8 D1 D5 D2 D6 D3 D7 D4 D8

2005-05-17

华为三康机密，未经许可不得扩散

第31页, 共96页

存储基础知识白皮书内部公开

4.2.9 RAID01

RAID01也是RAID0和RAID1的结合，但它是对条带化后的数据进行镜像。但与RAID10 不同，一个磁盘的丢失等同于整个镜像条带的丢失，所以一旦镜像盘失败，则存储系统成为一个RAID-0 系统（即只有条带化）。RAID01的实际应用非常少。

D1D2D3D4D5D6D7D8 D1 D5 D2 D6 D3 D7 D4 D8 D1 D5 D2 D6 D3 D7 D4 D8

4.2.10 JBOD

JBOD(Just Bundle Of Disks)译成中文可以是\简单磁盘捆绑\，通常又称为Span。 JBOD 不是标准的RAID级别，它只是在近几年才被一些厂家提出，并被广泛采用。

Span是在逻辑上把几个物理磁盘一个接一个串联到一起，从而提供一个大的逻辑磁盘。Span上的数据简单的从第一个磁盘开始存储，当第一个磁盘的存储空间用完后，再依次从后面的磁盘开始存储数据。

Span存取性能完全等同于对单一磁盘的存取操作。Span也不提供数据安全保障。它只是简单的提供一种利用磁盘空间的方法，Span的存储容量等于组成Span的所有磁盘的容量的总和。

2005-05-17

华为三康机密，未经许可不得扩散

第32页, 共96页

存储基础知识白皮书内部公开

4.3 不同RAID级别对比

在各个raid级别中，使用最广泛的是raid0，raid1，raid10，raid5

RAID-0，将数据分成条带顺序写入一组磁盘中。RAID-0 不提供冗余功能，但是它却提供了卓越的吞吐性能，因为读写数据是在一组磁盘中的每个磁盘上同时处理的，吞吐性能远远超过单个磁盘的读写。

RAID-1，每次写操作都将分别写两份到数据盘和校验盘上，每对数据盘和校验盘成为镜像磁盘组。也可使用并发的方式来读数据时，提高吞吐性能。如果镜像磁盘组中某个磁盘出错，则数据可以从另外一块磁盘获得，而不会影响系统的性能，然后，使用一块备用磁盘将健康磁盘中的数据复制出来然后这两块磁盘又组成新的镜像组。

RAID1/0，即RAID1 与RAID0 的结合，既做镜像又做条带化，数据先镜像再做条带化。这样数据存储既保证了可靠性，又极大地提高了吞吐性能。

RAID-0/1 也是RAID0 与RAID1 的结合，但它是对条带化后的数据进行镜像。但与 RAID10 不同，一个磁盘的丢失等同于整个镜像条带的丢失，所以一旦镜像盘失败，则存储系统成为一个RAID-0 系统（即只有条带化）。

RAID-5 是将数据校验循环分散到各个磁盘中，它像RAID-0 一样将数据条带化分散写到一组磁盘中，但同时它生成校验数据做为冗余和容错使用。校验磁盘包含了所有条带的数据的校验信息。RAID-5 将校验信息轮流地写入条带磁盘组的各个磁盘中，即每个磁盘上既有数据信息又同时有校验信息，RAID-5 的性能得益于数据的条带化，但是某个磁盘的失败却将引起整个系统的下降，这是因为系统将在承担读写任务的同时，重新构建和计算出失败磁盘上的数据，此时要使用备用磁盘对失败磁盘的数据重建恢复整个系统的健康。

从一个普通应用来讲，要求存储系统具有良好的IO性能同时也要求对数据安全做好保护工作，所以raid10和raid5应该成为我们重点关注的对象。

下面从IO性能，数据重构及对系统性能的影响，数据安全保护等方面，结合磁盘现状来分析两种技术的差异。

IO的性能：读操作上raid10和raid5是相当的，RAID-5 在一些很小数据的写操作（如比每个条带还小的小数据）需要2 个读、2 个写，还有2 个XOR 操作，对于单个用户的写操作，在新数据应用之前必须将老的数据从校验盘中移除，整个的执行过程是这样：读出旧数

2005-05-17

华为三康机密，未经许可不得扩散

第33页, 共96页

存储基础知识白皮书内部公开

据，旧数据与新数据做XOR，并创建一个即时的值，读出旧数据的校验信息，将即时值与校验数据进行XOR，最后写下新的校验信息。为了减少对系统的影响，大多数的RAID5 都读出并将整个条带（包括校验条带）写入缓存，执行2 个XOR 操作，然后发出并行写操作（通常对整个条带），即便了进行了上述优化，系统仍然需要为这种写操作进行额外的读和XOR操作。小量写操作困难使得RAID-5 技术很少应用于密集写操作的场合，如回滚字段及重做日志。当然，也可以将存储系统的条带大小定义为经常读写动作的数据大小，使之匹配，但这样会限制系统的灵活性，也不适用于企业中其它的应用。

对于raid10，由于不存在数据校验，每次写操作只是单纯的执行写操作。应此在写性能上raid10要好于raid5。

数据重构：

对于raid10，当一块磁盘失效时，进行数据重构的操作只是复制一个新磁盘，如果假定磁盘的容量为250G，那么复制的数据量为250G。

对于raid5的存储阵列，则需要从每块磁盘中读取数据，经过重新计算得到一块硬盘的数据量，如果raid5是以4+1的方式组建，每块磁盘的容量也为250G，那么，需要在剩余的4个磁盘中读出总共是1000G的数据量计算得出250G的数据。

从这点来看，raid5在数据重构上的工作负荷和花费的时间应该远大于raid10，负荷变大将影响重构期间的性能，时间长意味再次出现数据损坏的可能性变大。

数据安全保护：

raid10系统在已有一块磁盘失效的情况下，只有出现该失效盘的对应镜像盘也失效，才会导致数据丢失。其他的磁盘失效不会出现数据丢失情况。

Raid5系统在已有一块磁盘失效的情况下，只要再出现任意的一块磁盘失效，都将导致数据丢失。

从综合来看，raid10和raid5系统在出现一块磁盘失效后，进行数据重构时，raid5需耗费的时间要比raid10长，同时重构期间系统负荷上raid5要比raid10高，同时raid5出现数据丢失的可能性要比raid10高，因此，数据重构期间，raid5系统的可靠性远比raid10来的低。

Raid5在磁盘空间率用率上比raid10高，raid5的空间利用率是（N-1）/ N （N为阵列的磁盘数目），而raid10的磁盘空间利用率仅为50％。

但是结合磁盘来考虑，今天的硬盘厂商所生产的ATA或SATA硬盘的质量已经可以承担

2005-05-17

华为三康机密，未经许可不得扩散

第34页, 共96页

存储基础知识白皮书内部公开

企业级的应用，并且，容量的增加幅度相当大，目前已经可以实现单个磁盘400G的存储容量。SCSI硬盘由于要求高转速而使用小直径盘片，容量的增加相对缓慢。ATA磁盘相对SCSI磁盘拥有成本也要小很多。

应此，在采用价格昂贵的FC或SCSI硬盘的存储系统中，对于预算有限同时数据安全性要求不高的场合可以采用RAID5方式来折中；其他应用中采用大容量的ATA或SATA硬盘结合raid10，既降低了raid10的为获得一定的存储空间必须采用双倍磁盘空间的拥有成本，又避免了raid5相对raid10的各种缺点。

在企业应用中，raid10结合SATA磁盘意味着一个更好的选择。

第5章主机系统高可用技术

5.1 概述

随着计算机和网络的飞速发展，计算机在各个行业的应用越来越广泛和深入。在绝大多数行业、绝大多数企业都存在一些关键的应用，这些应用必须7*24*365小时不间断运行。这些应用的主机系统一旦出现问题，轻则降低业务响应速度，严重的会导致业务中断，造成严重的后果。如何能保证业务的持续进行，已经成为影响一个公司成败的关键因素。在这样的

2005-05-17

华为三康机密，未经许可不得扩散

第35页, 共96页

存储基础知识白皮书内部公开

情况下，系统的高可用性就显得尤为重要。

近年来，服务器平台的可用性在不断地提高。内存ECC(错误代码校正)及Chipkill技术（纠正及探测内存中的数据错误）、硬盘RAID技术、网络负载均衡及容错技术以及多种基于硬件的冗余设计（如硬盘子系统、风扇子系统、电源子系统等）提高了整个系统的可用性，较好的保证了业务系统的持续运行。虽然硬件技术的发展大大提高了系统的可靠性，但是，由于系统内其它核心部件（如CPU、主板、物理内存等）的故障，应用系统在一年365天内还是可能出现44～87小时的停机时间，这就要求从更高层次、更多方面综合考虑提高系统的高可用性。

在高可用技术中，根据不同的应用环境，从性能、经济等方面考虑.主要有以下几种方法和模式：

2005-05-17

华为三康机密，未经许可不得扩散第36页, 共96页

存储基础知识白皮书内部公开

5.1.1 双机热备份方式

在双机热备份方式中，主服务器运行应用，备份服务器处于空闲状态，但实时监测主服务器的运行状态。一但主服务器出现异常或故障，备份服务器立刻接管主服务器的应用。也就是目前通常所说的active/standby 方式，主要通过纯软件方式实现双机容错。

LANHeartBeatAppADiskArrayActiveStandby

当前应用最广泛的双机热备份软件主要有LifeKeeper,Rose HA, DataWare和MSCS。 LifeKeeper 双机软件：

LifeKeeper双机软件是美国SteelEye公司的产品，支持Windows NT(2000),Linux,UNIX等平台操作系统，主要提供数据、应用程序的可用性保护。

LifeKeeper可以支持二到十六个服务器结点，在出现故障的情况,LifeKeeper会将保护资源自动转换到一个根据优先权而设定的主机系统上。

产品特点：

? 支持Notes、Exchange、SQL Server、Sybase、Informix、Oracle 、SAP等多

种应用系统

? 支持NT、Windows 2000、Linux和NCR Unix操作系统 ? 使用共享磁盘阵列柜方式时，最多可以支持16个节点

LifeKeeper的产品版本比较复杂，以Windows环境为例，实现数据库的双机热备软件包括Lifekeeper for Windows，MS SQL 2000 ARK等。前者实现操作系统和存储级的切换，但如果要实现相关应用的切换，则还需要同时安装相应的ARK。下表为LifeKeeper的部分常用产品规格及参考价格：

产2005-05-17

产品规格描述华为三康机密，未经许可不得扩散列市实际第37页, 共96页

存储基础知识白皮书内部公开

品编号表价格场参考价格出货价 2374-2 2390 LifeKeeper for Windows 2000 v4.2 Microsoft SQL2000 ARK for Windows 2000 v4.0 00 $372750050 x 2 8000 元 $12000 4元 1300Rose HA 双机软件：

Rose HA双机软件是美国Rose数据公司的产品, 支持Windows NT/2000/2003、SCO Openserver/Unixware、Linux、Solaris操作系统平台，支持MS-SQL、Oracle 、Informix、Sybase、Lotus/Nose、DB2等数据库。接管动作包括：文件系统( File System)、数据库( Database)、网络地址( IP Address) 、应用程序(AP) 以及系统环境(OS)。

产品特点： ? ? ? ? ?

提供两节点集群高可用性方案

纯软件解决方案，针对系统不可避免的预期和非预期宕机问题

系统宕机或服务中断时可提供错误识别、故障分离和服务的在线恢复等功能支持对多种常用系统服务和应用软件的保护

通过用户自定义资源管理，支持其它应用软件的保护

图形管理界面

2005-05-17

华为三康机密，未经许可不得扩散第38页, 共96页

存储基础知识白皮书内部公开

资源项目的图形管理界面

工作模式: 如上图所示 1) 2) 3) 4) 5)

双主机通过一条TCP/IP网络线以及一条RS-232电缆线相联双主机各自通过一条SCSI电缆线与RAID相联主机NT1为active，主机NT2为standby