SAN技术白皮书

SAN技术白皮书

1.SAN存储区域网介绍 ................................................................................................................... 3

1.2 目前的现状及对SAN的需求 .......................................................................................... 3 1.2 SAN的特点 ........................................................................................................................ 4 1.3 SAN的几种主要形式 ........................................................................................................ 6 2. SAN设备互连 ............................................................................................................................ 10

2.1什么是光纤通道网（Fabric） ......................................................................................... 11 2.2 Fabric和AL是如何连接的 ............................................................................................ 13

2.3 什么是Stealth模式? ...................................................................................................... 15 3. RAID磁盘阵列 .......................................................................................................................... 19

3.1 RAID级的意义 ................................................................................................................ 20 3.2 磁盘阵列的术语 .............................................................................................................. 24 3.3 磁盘阵列的分类 .............................................................................................................. 29 4. SAN中的硬件设备和工具 ........................................................................................................ 30

4.1 HBA (主机总线适配器) ............................................................................................... 30 4.2 Hub（集线器） .............................................................................................................. 31 4.3 Switching Hub（交换集线器） ..................................................................................... 32 4.4 Fabric Switch（网络交换器） ...................................................................................... 32 4.5 FC-SCSI Bridge（FC-SCSI网桥） ............................................................................... 33 4.6 Connector连接器类型 ................................................................................................... 33 4.7 GBIC （千兆位接口转换器） ..................................................................................... 34 4.8 MIA(介质接口适配器) .................................................................................................. 35 4.9 Fiber和Copper .............................................................................................................. 36 4.10 RAID（磁盘阵列） ..................................................................................................... 36 4.11 Tape Library（带库） .................................................................................................. 38 5. SAN中的管理软件 .................................................................................................................... 38

5.1 SAN中的管理软件 .......................................................................................................... 38 5.2 存储资源管理软件 .......................................................................................................... 38 5.3 RAID管理软件 ................................................................................................................ 39 6. SAN的典型应用 ........................................................................................................................ 40 7. 设计SAN时应考虑的问题 ...................................................................................................... 42

7.1 根据应用需要来规划SAN ............................................................................................. 43 7.2 设备之间的距离确定采用的电缆类型 .......................................................................... 44 7.3 SAN中设备数量及是否有SCSI设备 ........................................................................... 45 7.4 预期达到的目标和最大流量 .......................................................................................... 46 7.5 网络安全性和冗余（备份） .......................................................................................... 47 7.6 SAN管理及灾难恢复 ...................................................................................................... 48 7.7 性能价格比 ...................................................................................................................... 50 8. SAN设计案例 ............................................................................................................................ 50

8.1 SAN在数据库各份中的应用 .......................................................................................... 50 8.2 SAN用于集群系统共享存储设备 .................................................................................. 52 8.3 SAN提供跨平台数据共享 .............................................................................................. 53

1.SAN存储区域网介绍

1.2 目前的现状及对SAN的需求

现在的计算机网络系统，基本都是以服务器为中心的处理模式，存储设备（包括磁盘阵列，磁带库，光盘库等）作为服务器的外设使用，例如我们经常见到这样的典型应用：在一个计算机网络系统中，有三个服务器，其中一个NT服务器（NT指的是计算机操作系统的核心），一个SUN Solaris（SolarisSolaris 是Sun Microsystems研发的计算机 操作系统。它被

认为是UNIX操作系统的衍生版本之一。）服务器，一个

HP UX服务器（HP-UX就

是HP公司自己开发的适合自己的服务器产品的UNIX。），分别带有各自的存储设备，

其结构如图1-1所示。

SCSI SCSI

图1-1 以前的服务器/存储器互连结构

从图中看到，NT服务器，SUN服务器，HP服务器各带一个磁盘阵列，磁带库安装在HP服务器上，当服务器之间交换数据或向磁带库备份时，都是通过局域网（LAN）进行，特别是当NT服务器和SUN服务器向磁带库备份时，将占用大量的网络开销，严重影响网络的性能。传统的存储设备一般都是SCSI接口，其带宽在40MB/s

左右，传输较慢。这样，针对目前的网络环境，下列的需求变得越来越迫切：

? 能够共享的大容量、高速度存储设备。 ? 不占用LAN资源的大量数据传输和备份。

通过上面的分析，一个概念呼之欲出：网络存储。这种网络不同于传统的局域网和广域网，它是将所有的存储设备连接在一起构成存储网络. 目前技术的发展已为我们提供了可能,光纤通道（Fibre Channel）的存储设备(千兆速度的存取),光纤通道的Switch等设备的出现将存储领域推向了网络化的新阶段。诞生了存储区域网（Storage Area Network）。

SAN以光纤通道（FC）为基础,实现了存储设备的共享; 突破现有的距离限制和容量限制;服务器通过存储网络直接同存储设备交换数据,释放了宝贵的LAN资源。

1.2 SAN的特点

（1）大容量存储设备数据共享

在目前的计算机应用中，要求的存储量越来越大。如数据库中存储了大量的图片文件，网络服务中存储了多个用户的多种数据，视频制作中有大量的声音和图像文件等等都需要数百个GB甚至几个TB的磁盘存储容量。SAN提供了大容量存储设备共享的解决方案。 （2）高速计算机要求高速存储设备通道

计算机主频每年都要翻一倍，内存容量和存储设备容量也在不断提高。这就要求存储设备的传输速度必须适应计算机整体性能。光纤通道正是为了打破这一瓶颈提出来的。SAN采用光纤网，不但提供了主机和存储设备之间Gigabit/s的高速互连，而且在设备数量（可达数十个）和传输距离上（可达10千米）有较大的提高。对于基于Client/Server或Internet/Intrannet结构的大容量数据的频繁访问及快速处理，奠定了完备的物理基础。

（3）灵活的存储设备配置要求

主机和存储设备的分离是当今计算机发展的一大趋势。这主要是由于存储容量的不断扩大，存储设备已不再是某个计算机的外设，而是很多计算机的共享设备。采用SAN技术传输距离可达10千米。通过FC-AL的Hub（HUB是一个多端口的转发器,当以HUB为中心设备时,网络中某条线

路产生了故障,并不影响其它线路的工作。）和

Switch1可以建立星型连接。在SAN

上的设备、主机、存储设备和磁带设备，不但在物理位置安排上十分灵活，而且可以将不同用途的设备划分为不同的区，分别建立虚拟专用网。使得主机访问SAN上的存储设备十分方便。 （4）快速数据备份

数据备份对于大型存储设备是非常必要的，由于重要的数据都在存储设备中，数据的丢失会造成不可估量的损失。所以在数据库等的应用中，进行数据备份是必要的日常维护工作。传统的数据备份有两种方式，一种数据备份是通过数据镜像的方法，将一个存储设备通过LAN/WAN镜像到另一个存储设备，在一个存储设备上的数据修改要及时传输到另一个存储设备上。极大地增加了LAN的负担。另一种数据备份是通过磁带，备份时占用了大量的LAN资源，而且需要进行多个小时才能完成。存储量越大备份的时间就越长。SAN提供了理想的快速备份工具，如果两个存储设备（如一台磁盘阵列，一台磁带库）都在SAN上，进行数据备份式镜像十分理想，可以不占用LAN/WAN的带宽，直接通过SAN存储网络进行备份。如果进行磁带备份，还可以将要备份的设备隔离开来，不受其它设备干扰。完全实现LAN free Backup。 （5）兼容以前的存储设备

新建立的SAN不但可以连接光纤通道设备，而且可以连接SCSI

1

SWITCH是交换机，它的前身是网桥。交换机是使用硬件来完成以往网桥使用软件来

完成过滤、学习和转发过程的任务。SWITCH速度比HUB快，这是由于HUB不知道目标地址在何处，发送数据到所有的端口。而SWITCH中有一张转发表，如果知道目标地址在何处，就把数据发送到指定地点，如果它不知道就发送到所有的端口。这样过滤可以帮助降低整个网络的数据传输量，提高效率。但然交换机的功能还不止如此，它可以把网络拆解成网络分支、分割网络数据流，隔离分支中发生的故障，这样就可以减少每个网络分支的数据信息流量而使每个网络更有效，提高整个网络效率。目前有使用SWITCH代替HUB的趋势。

输，好像所有设备是共享1Gigabit/s传输的一部分。在实际中，Stealth模式交换处理是在口对口的基础上干涉环（loop）的处理，并且在多个1Gigabit/s段上交换数据。

图2-3 Stealth模式的switch 配置。

每个连到switch中主机和RAID具有1Gigabit/s的连接。

对于典型的存储设备读写数据操作，一个8口交换器（switch）以Stealth模式进行操作能支持4个并行的仲裁环（AL）交换或是一个累计4Gigabit/s的吞吐量。更多的系统带宽和可扩展性靠级联switch来实现。在这个带宽上，允许网络设计者可以按应用的要求来分布仲裁环（AL）设备，而不存在共享介质仲裁环（AL）共享1Gigabit/s带宽所蕴含的限制。stealth模式交换使得专用高带宽的磁带设备成为可能，而在仲裁环（AL）中是不可能的。

由于逻辑仲裁环（AL）实际上是由一些1Gigabit/s段所组成，Stealth模式支持了大型存储网络配置。单个仲裁环（AL）的地址空间适合126个节点，建立大型的物理环（loop）是不合理的。

1Gigabit/s的总带宽由126个活动节点平分，对每个节点会产生不到1兆的吞吐量并且严重打击了实现仲裁环（AL）的目的。典型的仲裁环（AL）配有5-30个设备。使用Stealth模式的switch进行存储网络配置，在多个段上支持100多个节点是合理的并且克服了仲裁环的局限，不使性能下降。

在一般的仲裁环（AL）环境中，设备通过环初始化序列或LIP来获取它们的仲裁环口地址（Arbitrated Loop Port Address简称AL_PA）,每当一个设备加入到一个环（loop）中时,它发出一个LIP。这样引起所有的设备挂起当前的工作，并获得一个新的或以前的口地址。一旦环（loop）分配了地址，高级协议查询允许主机识别它们的目标阵列。虽然这一过程很快，但它对环loop活动也会产生混乱。

在Stealth模式中，AL_PA的分配是由switch来控制的。Stealth3

模式的交换器（switch）可以配置成限制LIP4的传播。以便一个节点的引入或删除不会影响所有的设备。例如：如果有一个新设备，它已经连接到了hub上，并该hub连接到了switch的网口上，当该设备启动时，环初始化序列（LIP）可以被限制在该口的设备上。在其它网口上的主机和磁盘阵列可以继续交换数据而不受打扰。支持非打扰存取，对于磁带备份，视频和数字记录等应用是很关键的。通过限制环初始化，Stealth模式提供非中断高速连接来保证应用的完整性。环初始化的广播是可以配置的参数，它可以在switch网口一级进行开启和关闭。

采用图形化配置工具可以很方便地以Stealth模式定义每个口的设备类型。一个口可以支持对于stealth操作的单个或多个设备，主机和目标设备可以在网口一级被隔离来取得最大的吞吐量。

34

stealth 【音标】：[stelθ]

环初始化序列

Stealth模式也可以简化设备的物理分布，一个数据中心可能希望集群服务器，磁盘阵列和磁带子系统在物理上分别放置在不同的地方。如果这些设备连接到一个仲裁环集线器（AL hub）上，独占的电缆必须连接到各个地方的设备上来建立一个扩展的星型互连。采用stealth模式的交换器（switch），主机和磁盘阵列可以分配到集线器（hub）的不同段上，有效地降低了电缆的复杂性并提高了吞吐量。

图2-4 由于stealth模式交换允许在fabric中并行交换， 交换器（switch）能够级联起来建立大型的虚拟环（loop）。 对于磁带备份和带库应用是理想的解决方案。5

5

JBOD(Just Bundle Of Disks)译成中文可以是\简单磁盘捆绑\或者“磁盘簇”，通常又称为Span。以三个硬盘组成的Span为例，其数据存储方式如图所示：Span是在逻辑上把几个物理磁盘一个接一个串联到一起，从而提供一个大的逻辑磁盘。Span上的数据简单的从第一个磁盘开始存储， 当第一个磁盘的存储空间用完后， 再依次从后面的磁盘开始存储数据。Span存取性能完全等同于对单一磁盘的存取操作。Span也不提供数据安全保障。它只是简单的提供一种利用磁盘空间的方法，Span的存储容量等于组成Span的所有磁盘的容量的总和。

结论：Stealth模式的交换器（switch）解决了在同时支持fabric和AL设备时出现的主要矛盾：Switch要求fabric登录同大部分HBA和存储阵列不能进行fabric登录的矛盾。这样的存储网络产品在支持真正fabric的同时，还要适应非fabric的设备的要求。Stealth模式是将光纤通道主机适配器（FC HBA），磁盘阵列，FC-SCSI桥接器（bridge）和仲裁环集线器（AL hub）集成在一起的唯一可行的解决方案。光纤通道交换器（FC switch）通过分区还支持虚拟专用存储网络，并且是可完全在SNMP6的基础上进行管理。

在选择SAN设备时，必需明确HBA和存储设备控制器是适应AL的还是适应Fabric的。Switch的网口是F_Port还是FL_Port, 还是两者都支持。明确了这些才能将设备正确地接入到SAN网络中。

3. RAID磁盘阵列

RAID是Redundant Array of Inexpensive Disks的缩写, 可直译为“廉价冗余磁盘矩阵”。磁盘阵列是由许多硬盘按一定的规则，如分条（Striping）、分块（Declustering）、交叉存取（Interleaving）等组成的一个快速、高可靠、超大容量以及超强I/O吞吐能力的智能存储子系统。它在阵列控制器的管理和控制下，实现快速、并行或交叉存取，并有较强的容错能力。从用户的观点看，磁盘阵列虽然是由几个甚至是上百个盘组成，但仍可以认为是一个单一的磁盘，其容量可以高达几十TB。

使用RAID存储子系统具有以下优点： (1) 可以将许多磁盘用一个逻辑卷来表示；

(2) 可以将数据分割成许多条带（strips）存储在多个盘上，这样并行读写这些盘上的数据提高了磁盘的访问速度。采用RAID技

6

SNMP(Simple Network Management Protocol,简单网络管理协议)的前身是简单网关监控协议(SGMP)，

用来对通信线路进行管理。SNMP的目标是管理互联网Internet上众多厂家生产的软硬件平台，因此SNMP受Internet标准网络管理框架的影响

术，随着磁盘的增加，可以增加访问速度。 (3) 可以通过数据镜像或校验码来提供容错技术。

3.1 RAID级的意义

RAID技术是高效磁盘读写算法，标准的RAID写操作，包括如：RAID4或RAID5中所必需的校验计算，需包括以下几个步骤： ●从校验盘中读取数据 ●从目标数据盘中读取数据

●以旧校验数据，新数据及已存在数据，生成新的校验数据 ●将新校验数据写入校验盘 ●将新数据写入目标数据盘

磁盘阵列使用了将RAID写操作过程流水线化技术，极大提高了读写性能，这些技术都使用到了磁盘阵列控制器上的缓存，其容量可已高达128MB，甚至更高。

当主机将一个待写入阵列RAID组中的数据发送到阵列时，阵列控制器将该数据保存在缓存中并立即报告主机该数据的写入工作已完成。该数据写入到阵列硬盘的工作由阵列控制器完成，该数据可继续存放在Cache中直到Cache满，而且要为新数据腾出空间而必须刷新时或阵列需停机时，控制器会及时将该数据从Cache写入阵列硬盘中。

这种缓存回写技术使得主机不必等待RAID校验计算过程的完成，即可处理下一个读写任务，这样，主机的读写效率大为增加。

当主机命令将一个数据写入硬盘，则阵列控制器将该数据写入缓存最上面的位置，只有新数据才会被控制器按缓存的方式最后写入硬盘。

下面将分别介绍各个级别的RAID校验技术。

(1) JBOD—单个磁盘控制

本文来源：https://www.bwwdw.com/article/pccd.html