IDC数据中心机房建设思路

数据中心建设

目 录

综述 ............................................................ 2 IDC网络建设..................................................... 7 IDC基础系统建设................................................ 14 IDC应用服务系统建设............................................ 31 IDC综合管理系统................................................ 40 IDC计费系统.................................................... 44 IDC计费系统.................................................... 49 技术服务 ....................................................... 53 IDC机房系统设计说明............................................ 63 实施内容建议 ................................................... 72

综述

经历了ISP/ICP飞速发展，.COM公司的风靡后，一种新的服务模式--互联网数据中心（Internet Data Center，缩写为IDC）正悄然兴起。它在国外吸引着像AT&T、AO- 、IBM、Exodus、UUNET等大公司的巨资投入；国内不但四大电信运营商中国电信、中国网通、中国联通、中国吉通开始做跑马圈地，一些专业服务商如清华万博、首都在线和世纪互联等，也参与了角逐。

IDC(Internet Data Center) - Internet数据中心，它是传统的数据中心与Internet的结合，它除了具有传统的数据中心所具有的特点外，如数据集中、主机运行可靠等，还应具有访问方式的变化、要做到7x24服务、反应速度快等。IDC是一个提供资源外包服务的基地，它应具有非常好的机房环境、安全保证、网络带宽、主机的数量和主机的性能、大的存储数据空间、软件环境以及优秀的服务性能。

IDC作为提供资源外包服务的基地，它可以为企业和各类网站提供专业化的服务器托管、空间租用、网络批发带宽甚至ASP、EC等业务。简单地理解，IDC是对入驻(Hosting)企业、商户或网站服务器群托管的场所；是各种模式电子商务赖以安全运作的基础设施，也是支持企业及其商业联盟(其分销商、供应商、客户等)实施价值链管理的平台。形象地说，IDC是个高品质机房，在其建设方面，对各个方面都有很高的要求。 IDC的总体结构如下图所示:

IDC的建设主要在如下几个方面： 网络建设

IDC主要是靠其有一个高性能的网络为其客户提供服务，这个高性能的网络包括其- AN、WAN和与Internet接入等方面。 IDC的网络建设主要有：

- IDC的- AN的建设，包括其- AN的基础结构，- AN的层次，- AN的性能。 - IDC的WAN的建设，即IDC的各分支机构之间相互连接的广域网的建设等。 - IDC的用户接入系统建设，即如何保证IDC的用户以安全、可靠的方式把数据传到IDC的数据中心，或对存放在IDC的用户自己的设备进行维护，这需要IDC为用户提供相应的接入方式，如拨号接入、专线接入及VPN等。

- IDC与Internet互联的建设。

- IDC的网络管理建设，由于IDC的网络结构相当庞大而且复杂，要保证其网络不间断对外服务，而且高性能，必须有一高性能的网络管理系统。 服务器建设

IDC的服务器建设可分为多个方面，总体上分为基础服务系统服务器和应用服务系统服务器，主要有：

- 基础系统服务器：这类服务器是保障IDC为用户提供各种服务的前提，这类服务器有DNS服务器、目录服务器、网络管理服务器、防火墙服务器、各类安全服务器、IDC系统性能监控服务器等等。

- 数据库服务器：它是保证IDC可以为用户提供各种应用服务的基础，IDC的数据库服务器必须能支持大容量访问、多种数据库等。

- 数据备份服务器：它是IDC为客户提供安全服务的内容之一，保证客户的数据安全可靠。由于IDC的服务器种类繁多、有多种数据库，所以数据备份要支持多机型、多种数据格式等等，而且容量要大。

- 应用服务器：是IDC为用户提供相关应用服务的服务器。由于IDC的业务扩展，所以应用服务器应具有很好的扩展性，以及支持各类应用软件的数量要多。 - 服务器的负载均衡： 这是IDC提供高性能、高可靠性服务的重要方法之一，服务器的负载均衡可由硬件设备（如网络交换设备）或软件的方法实现。 存储系统的建设

存储系统是IDC的重点建设内容之一，作为一个IDC，其存储系统是相当庞大的，特别是在现在的企业中，数据的容量以由GB级增长到TB级，如此大的数据需要有一个更加安全、可靠的存储系统，由于访问的数量也是相当庞大的，所以对存储系统的效率也有很高的要求；而且存储系统应具有很好的扩展性，以满足IDC的发展的需求。 软件系统的建设

软件系统的建设是IDC需要大量投入的方面，它是在前面网络、服务器和存储系统建设的基础上，IDC开展对外服务的手段。IDC在软件建设的主要有： - Web系统：IDC开展Web-Hosting服务内容之一，Web系统软件应支持在一个系统上能建立为多家企业服务的Web系统功能等。

- 电子邮件系统：电子邮件系统应支持多种电子邮件协议，如SMTP、POP3、IMAP4、Web-Mai- 和Voice-Mai- 等，同时电子邮件系统应有很好扩展性等。 - 数据库系统：IDC应建立多厂家的数据库系统，如应有Orac- e、Informix、SQL Server、SyBase等厂家的数据库，以满足不同用户的需求。

- 安全系统：如防火墙软件（硬件防火墙除外）、防黑客入侵、防病毒软件等。这是保证IDC为用户提供安全服务器的前提。

- 数据备份软件:支持多备份设备、多种厂家的机器、多种数据库等等。 - 应用开发系统：IDC应提供相应的开发系统平台，提供相应的开发工具，满足用户或IDC开发相应应用的需求。 IDC自身服务系统建设

IDC是靠其优质的服务来占有市场和赢得客户的，为了做到优质高效服务，IDC在其自身服务器系统的建设上也必须有大量的投入。IDC自身服务系统主要有： - 客户关系管理系统(CRM): CRM是IDC与客户建立良好关系的基础服务系统，它为IDC提供的用户的发展动态以及用户的新的需求等。 - 计费系统：计费系统是IDC收入的保证。

- 网络与服务器管理系统：IDC有庞大的网络和服务器系统，要管理好这些系统，必须有一个功能强大的网络、服务器和应用管理系统，此能保证IDC对外的服务质量。

- IDC的内部管理系统：保证IDC内部各部门能够统一协调工作，完成高质量的服务。 机房场地建设

机房场地的建设是IDC前期建设投入最大的部分。由于IDC的用户可能把其重要的数据和应用都存放在IDC的机房中，所以对IDC机房场地环境的要求是非常高

2x450MHz UltraSPARC CPU 主DNS服务器 内部DNS 次DNS服务器 Sun E420R 1GB Memory 2x18.2GB Internal Disk 2x450MHz UltraSPARC CPU Sun E420R 1GB Memory 2x18.2GB Internal Disk

安全性建设

系统安全架构的设计将包括两个方面：防止IDC网络外部用户对IDC网络系统可能的攻击，以及防止IDC网络内部各子系统之间可能的攻击。这两个方面所采用的技术和思路是一致的。

系统安全架构将从三个层次来考虑：网络层、主机/服务器系统及应用层。 ·网络层的安全主要是防范对于整个网络的非法访问，一般通过防火墙来实现。通过配置了多级防火墙，以隔离IDC网络各个组成部分相互之间的非法访问（合法访问可以通过）；对于Internet用户来讲，如果想非法侵入IDC内部网络，必须突破防火墙的防范。另外，各级防火墙可采用不同的产品，以提高网络整体的安全性。

·主机/服务器系统的安全是针对个别机器的。除了主机/服务器的操作系统自身的安全性之外，目前有多种产品可供选择，包括SUN公司的Security Manager和CA公司的Unicenter TNG等产品。

·应用层的安全将从三个方面来考虑：增强应用服务器系统的安全；采用身份认证机制，以保证应用的可靠性；采用数据加密技术和防病毒软件，以保证应用的安全性。

1.操作系统的安全规划

可 选 操作系统的安全性建设应是整个系统安全性建设的基础。操作系统的安全性建设主要包括用户的管理、超级用户的管理、文件系统安全管理、远程对系统的访问等。

用户管理：对用户的管理主要有用户的账号口令管理，设置用户账号的有效期，用户账号口令的存活期限等。如果需要可以规定用户只能在指定的时间内才能登录系统，并对登录系统的用户进行审核（audit）。

超级用户的管理：严格限制有普通用户变成超级用户（如使用su、rlogin等命令），如果需要可以使用如CA Unicenter TNG这样的软件来控制系统超级用户的权限。

文件系统的安全管理：控制用户对系统内特殊文件的访问权限，特别是删除、移动等权限，对使用NFS系统可以采用kerberos方式认证。

远程对系统的访问：封闭系统的telnet、ftp、r-访问（rsh、rlogin、rcp）等功能；但可以对系统管理员开放相应的telnet、ftp功能，以便利于对系统的管理和维护。

2．防病毒(Anti-Virus)

目前病毒在网络和Internet上传播主要以电子邮件和Web浏览的方式传播，以及内部网络上员工的共享文件的传播。防病毒可以分为集中防病毒和分散防病毒两种方法。集中防病毒的方法是在主要的服务器上安装防病毒软件，此软件先对进出此服务器的数据进行检查，然后再把通过检查的数据发送给客户；分散防病毒是只在客户端安装防病毒软件，它只检查进出客户端的数据是否有病毒感染。 由于IDC主要为客户服务，数据主要集中在服务器上，所以在IDC系统的防病毒体系中主要采用集中防病毒方法，但同时对一些与服务器相交户的内部客户段（如管理客户段）也采用分散的防病毒方法。集中防病毒主要是对进出的邮件和HTTP流数据进行防病毒；分散是保护内部网的单个终端用户。 3．防火墙(Firewall)

防火墙(Firewall)是保证网络安全的重要手段之一，在建设IDC基础网络系统安全性时，首先是要考虑防火墙的建设。在Internet/Intranet上，通过防火墙来

在两个或多个网络间加强访问控制，其目的是保护一个网络不受来自另一个网络的攻击，隔离风险区域与安全区域的连接，但不妨碍人们对风险区域的访问。 防火墙要完成如下主要功能：

·通过对IP包的检查，过滤对网络安全有潜在威胁的IP数据包。 ·屏蔽对于网络不必要且有安全漏洞的服务，如Telnet、FTP等。

·控制从Internet上过来的IP数据的流向，如数据包其目的地址只能是某个区域的DNS、WWW等服务器。

·屏蔽对于某些Internet站点的访问。

·完成系统内部IP地址到Internet合法IP地址的转换，保证能够从系统内部访问Internet，隐藏内部网络和主机的结构。 ·访问日记，即Access Log。

IDC不仅要建设自己的防火墙系统，同时也要考虑特定的用户需要建立起自己的防火墙系统，即用需要在其自己的应用前增设相应的防火墙系统来保护其应用的安全（这可根据用户的实际需求再进行建设）。 4. 网络和系统入侵监控

网络和系统的入侵检测是在网络上增加一台扫描仪器和在主要服务器上增加相应的防入侵软件来实现。此类防入侵软件有两个主要功能，一个扫描网络和系统上的安全漏洞，以便在网络和系统建立初期，就解决好安全问题，此功能也属于安全保护范围；另一个功能是在网络和系统运行时，监控数据流，及时发现黑客入侵，从而做到防止黑客的入侵。

在IDC系统中，在每个重要的服务取得网络的入口处安放一个探测器，对每个进出此段网络的数据流进行检查探测，当其发现某一个数据流不是正常的数据流时，探测器把此数据流截获住，并向位于管理区的管理服务器发送入侵信息和警告，然后由管理服务器在做相应的防御对策。

同时在每个服务器上安装有类似的探测器，所以当黑客入侵服务器系统时，也是采取上述动作。

数据存储系统 1． IDC存储系统综述

在新的以信息为核心的时代，如何更有效的管理、保护和共享企业信息已为各行业的发展提出了新的挑战。尤其在电子商务、互连网络等新兴信息行业领域，更是面临着前所未有的巨大挑战。在传统的分布式处理模式下，网站内所有的信息分布在内部各个服务器上，信息的管理，信息的可用性受到了很大的限制，不能充分发挥应有的作用，而且系统的升级和新业务的开发部署也都不能及时响应Internet快速变化的要求，在这种情形下，以信息为中心的集中处理模式应时代的需要再次走上了历史舞台，而构建企业信息基础设施则更是集中处理模式的重中之重。

对于Internet网站来说，几分钟的宕机都会带来巨大的经济损失以及不可估量的网络用户的流失，如果宕机的时间再长一些则可能危及整个网站的生命。因此整个IT系统的高可用性变的非常重要，而作为信息系统核心的数据部分的高可用性更是重中之重，服务器的宕机可以通过多台服务器冗余带来保护，但是如果服务器上的数据没有有效的保护或成为访问瓶颈，则可能成为致命的缺陷。 另外，分布式的环境给信息系统管理带来了巨大的障碍。数据分布在众多的平台和服务器之上，备份和管理的工作变的越来越复杂，多个服务器上分散的数据很难共享，而且这种分散的存储模式也带来了巨大的资源浪费，系统管理人员无法在多个系统间有效的调度存储资源。再有，这种处理模式也不利于新业务的快速部署，而更快的测试、部署新的应用意味着更快的抢占市场，吸引用户，这在Internet中无疑是有着举足轻重的意义。

IDC之间的竞争目前主要表现是网络带宽、基础设施等IDC的基本要素的比较，随着IDC产生的越来越多，IDC之间的竞争已经表现在如何能够为IDC的用户提供更多的数据及安全服务，如：防火墙、数据备份、镜像站点、负载均衡、统计分析等数据安全、管理、分析等增值服务。IDC如何利用现有的带宽优势、基础设施优势来提供更多的数据增值服务并且最大的压缩成本是未来IDC之间竞争

的制胜法宝。因此IDC如何能够提供更多的数据保护、数据管理服务成为IDC建立时系统设计的一个重要方面。其实答案是很简单的，那就是集中存储管理。 作为IDC的集中存储系统需求要面对未来IDC用户的需求的多样性，可以按照模块方式为用户提供模块化的服务。作为IDC的存储中心首先应该具有极高的安全性，试想如果存储系统产生问题如何为用户服务，存储中心还应该具有很强的功能弹性：可以实现集中的数据备份、冗灾、连接主机的多样性等等。

作为存储中心的成本可以有两种评测，一种是简单的容量成本，另一种是与IDC系统有关联关系的功能或服务成本。第一种比较简单，第二种我们可以通过以下两个示例来说明：

示例一：很多Web Hosting 用户需要使用高速的文件访问，要求容量配置管理简单、扩容方便。假设有400台主机需要托管并且主机类型主要是NT、 LINUX等平台。如果每台主机都通过光纤通道的IO通道，则我们需要在每台主机上安装一个FC的卡，价格大约是US$2000.00，那么我们共需要80万美金，如果将这些成本加到用户身上显然不合适。

示例二：如果有100台SUN或HP的服务器提供ASP等业务，用户需要对数据进行备份保护，那么一般情况下需要在每台服务器上安装备份软件，如果每套软件价格大约US$15000.00，需要花费150万美金，并且这种备份方式要站用大量的网络资源和服务器的计算资源。

既然存储服务是中心化的，有没有更好的解决方案，答案是NETAPP的FILER。通过下面的方案介绍我们就会明白为什么目前10大IDC中会有9家采用NETAPP的存储解决方案来为IDC的用户提供基础设施和增值服务。 2．存储系统的建设目标

存储系统重点是对整个网站内的数据进行整合，建立起真正的企业存储平台，在统一的企业存储平台上建立集中式的处理中心，更有效的完成业务处理，并极大

备份软件 Veritas NetBackup 1 3. 方案特点

在本方案中，由于我们使用了NETAPP公司的强大的FILER存储系统，它与VeritasNetBackup结合，可以将数据直接从FILER通过专门的数据通道传递到磁带库上，不占用任何网络带宽，减轻备份客户端的负荷；另外，利用Veritas NetBackup的分层结构和并行备份与恢复技术、Veritas的HSM技术、SUN公司高性能主机和磁带库、，以及制定有效的备份策略使本方案有很强的扩展性，有利于解决各方面的瓶颈问题，易于实现对数据的高效管理。

IDC应用服务系统建设

IDC应用系统的建设主要是围绕着IDC的业务开展而定，但IDC的虚拟主机服务(Web-Hosting)、邮件服务是IDC前期建设应首先考虑的应用系统建设。 数据库系统

数据库系统是IDC建设重点应用服务系统之一，IDC除了建设自身的数据库系统之外，还应建设为IDC客户服务的数据库系统，如客户租用数据库系统。无论是那种数据库服务方式，IDC的数据库系统是相当盘大的，而且是多样的，即IDC要有多种数据库并存，以满足不同用户的需求。由于数据库系统在IDC的服务系统占有非常重要的地位，所以在建设IDC的数据库系统时，必须充分考虑数据库服务器系统的高性能、高可靠性和扩展性。

我们建议采用两台Sun E4500服务器作为数据库服务器，两台服务器可运行相同的数据库软件，也可运行不同的数据库软件，使用Legato QualixHA+多机互为备份运行软件使两台服务器以HA的方式来运行，即当一台数据库服务器出现故障（如服务器的硬件问题、操作系统问题、数据软件问题等），另一台服务器会自动接管此服务器的任务，继续对外服务，从而保证了数据库不间断的服务。数据库服务器系统如下图所示。

由于Legato QualixHA+软件是面向应用的服务器互为备份软件，保证了由于服务器上某一应用出现问题，只需要把出现问题的应用切换道备份服务器上运行，而不需要把整个服务器上的应用全部切换到另一台服务器上运行，这样既保证了服务器的性能，邮件减少了切换时间。同时Legato QualixHA+支持多节点的服务器互为备份，这样但两台数据库服务器不能满足IDC的发展需要时，可以很容易增加第三台（或更多）数据库服务器，使其与已经有的数据库服务器以Cluster HA的方式运行（如上图所示，增加数据库服务器C）,而对整个系统做很少的改动。

同时Sun E4500服务企业具有很好的计算性能、稳定性和扩展性。而且现在的主流数据库如Oracle、Informix、Sybase、DB2等多能在其上运行，而且有些数据库的开发首选机器就是Sun的服务器。这可充分保证IDC对要支持多种数据库的要求。

在数据库的存储上，我们使用EMC集中的数据存储方式，见下一章节关于IDC存储系统的建设。

数据库服务器具体配置如下表所示。 服务器 机器型号 配 置 4x400MHz UltraSPARC CPU 数据库服务器 Sun E4500 2GB Memory 18.2GB Internal Disk 备 注 4x400MHz UltraSPARC CPU 数据库服务器 Sun E4500 2GB Memory 18.2GB Internal Disk Cluster软件

虚拟主机服务（Web-Hosting）

虚拟主机服务是IDC的重要业务之一，是IDC为ISP、ICP、ASP以及政府机关、公司企业等提供Web网站主机、系统平台以及Internet连接服务。这样ISP等公司企业可以将重点放在对其Web本身和相应的业务系统的开发上，而不必把精力浪费在对Web等主机的系统的维护上，这些工作可由Web-Hosting提供商-IDC来完成。

Web-Hosting一般分为以下两种方式。 独立虚拟主机（Dedicated Hosting）方式

此种方式中IDC为每个用户提供一台或多台单独的主机作为其Web等应用服务器，而不与其他的用户共享一台主机服务。此种方式主要是为具有复杂业务的用户提供高质量、安全的Web-Hosting等服务。此种方式的最大优点是每个用户获得的资源相对独立，减少资源共享，从而简化管理方式，相对提高了系统的安全性。但这种方式的费用较高，资源有可能浪费；而且减少了资源的共享，也增加了每个用户的相对投入；同时独立主机方式的主机相对较小，不便于用户在主机方面的扩展和升级，以及实现系统的高可用性。 共享虚拟主机（Shared Hosting）方式

共享虚拟主机方式就是IDC配置相对大型的主机系统为用户提供Web-Hosting服务，大部分用户的Web-Hosting全在一台或几台相对大型的服务器系统上。此种方式的最它特点就是IDC利用大型计算机系统或集群系统（Cluster）同时为

QualixHA+ QualixHA+ for Sun E4500 Agent for Oracle,Informix,etc. 多个用户提供多种应用服务，这样每个用户可以享受到大型计算机系统所具有的高可靠性、高可用性和高可维护性(即RAS)。同时由于IDC的机器设备数量相对减少，则维护成本等也相对降低，使用户能以与独立主机方式的相差不大的费用获得更大的计算能力。同时用户对资源扩充的要求可以由IDC对整个系统资源的重新分配来实现，这时用户对系统的扩充以无缝的方式来进行，大大的方便了用户的系统扩充和升级。

Sun公司的Netra t1系列服务器、E220R和E420R服务器都非常适合作为独立虚拟主机方式的主机服务器。这些服务器都是机架型的服务器，Netra t1为1U的高度，E220R和E420R为4U的高度。

作为共享虚拟主机方式的主机我们可选用Sun的企业级服务器，Sun企业级服务器-E4500、E5500、E6500有很高的RAS特性。如果IDC的业务发展很快，也可选用Sun E10000作为Web-Hosting服务器，Sun E10000具有动态域划分技术，可将一台服务器的资源划分为若干独立的部分，每一个部分均可作为一完整的计算机系统为用户提供服务，可以避免众多用户争夺主机和网络资源，从而保证用户的对服务质量和响应速度的要求。

对于Web-Hosting软件，我们建议使用iPlanet Web Server软件。此软件具有虚拟主机能力，支持集中管理、LDAP协议，同时具有如SSL安全特征，访问控制等安全机制。 电子邮件服务系统

电子邮件服务是IDC为用户提供服务的内容之一，同时电子邮件也是IDC与用户相互交流的重要途径。所以IDC系统的电子邮件建设应主要考虑如下几个方面： ·稳定性，保证电子邮件服务不中断对外服务。

·扩展性，保证在随着用户增加，电子邮件系统通过简单调整或增加服务器就能满足用户增长的需求。

·安全性，支持电子邮件加密，保证用户电子邮件的安全，不被别人入侵查看。 ·支持多种电子邮件协议，如POP3、IMAP4、WEB Mail和Voice Mail等。

为了满足上述要求，我们采用多层的邮件传输系统（如下图所示）。为了保证电子邮件的安全以及防止电子邮件对系统安全的影响，我们把电子邮件服务器放到防火墙保护的网络上；在非防护区域设置Mail Relay（Mail MTA）服务器作为邮件进出的转发，此处的Mail Relay是进出邮件的出入通道，进出系统的邮件均要经过这里，在其上不含有用户的信息和邮箱，而且我们在其上特意加装了安全软件，以控制Internet 用户对邮件系统的访问。提高整个邮件系统的安全性。现阶段，在Internet 上垃圾邮件泛滥成灾，因此我们对此也做了专门的考虑。我们的Mail Rely系统可自动咨询Internet上的反垃圾邮件中心，以拒绝接受垃圾邮件，并且通过设定一些中继策略来控制邮件中继，杜绝被人利用成为垃圾邮件的转发器。当邮件通讯量增大时，我们可以增加Mail Relay的数量来提高邮件的处理能力。 这样结构具有如下优点：

·由于采用多层结构，邮件服务器不对外暴露，保证了邮件的安全；

·在每一层上，我们可采用几台服务器同时互为备份运行，这保证了系统可靠性，同时通过增加任何一台服务器，可达到增加系统处理邮件的能力，而对系统的配置不需要做任何变动，保证的系统的投资。

我们采用Sun服务器和iPlanet Messaging Server软件来建设IDC的邮件系统。我们遵循功能模块分离、负载均衡等原则，使IDC的电子邮件系统能够达到如下目标：

·支持客户的容量达到百万级以上。

本文来源：https://www.bwwdw.com/article/7zud.html