数据中心非业务网络的规划与实践
【作者】范永清，系统架构师，现就职于厦门银行信息技术部，目前主要负责厦门银行技术架构设计。
直接为业务系统提供服务的网络称为业务网络。为保证银行信息系统的安全运行，结合监管部门要求，通常将业务网划分为若干安全区域，各安全区域之间通过防火墙隔离。如数据库区、应用服务区、外联区、互联网金融区等。关于业务网的网络规划与设计已非常成熟，本文不再详述。
不直接为业务提供服务的网络，称为非业务网络。不同用途的非业务网络特点不同。本文将对非业务网络的特性进行分析，从全局角度，统筹规划，以获得强稳定、易扩展、便运维的高性能非业务网络。
一、非业务网的分类、特性与网络规划需求
没有直接和业务相关的网络，根据其用途，可分为带外管理网、虚拟化管理网、虚拟化迁移网、数据备份网、数据同步网、集群心跳网、分布式集群数据同步网、存储应用IP数据网等，网络规划需求分述如下：
1、带外管理网
带外管理网，用于连接各类硬件设备的带外管理，如网络、存储、服务器、安全等设备的带外管理。
每台设备通常只有一个千兆电口的带外管理口，因此带外管理网接入只需配置单台千兆电口网络接入交换机。
带外管理网可根据管理设备类型或管理员权划分VLAN，各Vlan间相互独立，且各数据中心之间无需相互通讯，无需发布路由。
如按管理设备类型划分4个Vlan，分别用于网络、存储、服务器、安全设备的带外管理。当需要增加一类管理设备时，可增加一个Vlan。
因带外管理网不发布路由，为实现远程管理，需配置带外管理服务器，该服务器配置双网卡，其中一个网卡连接带外管理网，另一网卡连接业务网的运维管理区，运维人员配合堡垒机系统，可实现远程管理。
网络规划需求如下图所示：
2、虚拟化管理网
虚拟化管理网，用于虚拟化资源池的管理，如VMware、KVM、容器平台等资源池的管理。
该网络流量较小，但需保证网络的高可用，故每台宿主机须配置两张千兆电口网卡，每张网卡分别连接到两台接入交换机。
虚拟化管理网可根据虚拟化管理要求，划分不同VLAN（如VMware管理VLAN、KVM管理VLAN等），各VLAN间相互隔离，且各数据中心之间无通讯需求。
如增加一个虚拟化管理类型，可增加一个Vlan。
因运维人员需要远程进行维护，故需把路由发布到全网。因此，在实际建设时，可将虚拟化管理网建设在业务网的运维管理区。
网络规划需求如下图所示：
3、虚拟化迁移网
虚拟化迁移网，用于虚拟化资源池中的虚拟机迁移，如：VMware的Vmotion等。
该网络流量大，且必须保证高可用，故每台宿主机需配置两张万兆光口网卡，每张网卡分别连接到两台接入交换机。
虚拟化迁移网可根据虚拟化资源池划分VLAN。每个资源池对应一个VLAN，。因虚机的迁移只发生在资源池内部，且无需跨中心迁移，故中心内各VLAN之间相互隔离，且数据中心之间无需相互通讯，无需发布路由。
如增加一个资源池，可增加一个Vlan。
网络规划需求如下图所示：
4、数据备份网
数据备份网，用于备份数据的传输，如虚拟化、数据库的数据备份、虚拟带库的数据传输等。
该网络流量大、且必须保证高可用，故每台宿主机需配置两张万兆光口网卡，每张网卡分别连接到两台接入交换机。
根据备份要求，数据中心内的数据备份到本地备份服务器后，还须同时传送到同城中心和异地中心保存，故需打通各个中心的备份网络。为实现上述网络需求，同时不打破业务中的安全域规划，数据备份网根据业务网中的安全区域划分VLAN，不同安全域对应不同备份Vlan，各Vlan间相互独立（如下图中的Vlan(1)~Vlan(n)）。再规划一个独立Vlan（如下图中的VLan (X)），用于备份服务器的网络接入。该Vlan分别与各备份Vlan（Vlan1~Vlan(n)）通讯。为了实现数据的异地保存，还须打通各数据中心备份服务器Vlan（Vlan（X））的网络。
如业务网增加一个安全域，数据备份网应相应增加一个备份VLan
网络规划需求如下图所示：
5、数据同步网
数据同步网，用于数据中心之间对应数据库的数据同步，如Oracle的DG、MySQL的Binlog等。
该网络流量大，且必须保证高可用，故每台宿主机需配置两张万兆光口网卡，每张网卡分别连接到两台接入交换机。
根据数据中心应用级灾备要求，各中心均均须部署应用系统和数据库，并利用数据库的复制技术，将主中心的数据实时同步到其他中心的数据库上。根据上述网络需求，数据同步网根据业务网中数据库所在安全域划分Vlan，不同安全域对应不同Vlan，各VLAN间相互隔离，同时打通数据中心对应Vlan的网络。
如业务网中增加一个数据库分区，数据同步网应相应增加一个数据库同步Vlan。
网络规划需求如下图所示：
6、集群心跳网
集群心跳网，用于集群的心跳数据传输，如Oracle RAC的数据库心跳。
该网络流量大，且必须保证高可用，故每台宿主机需配置两张万兆光口网卡，每张网卡分别连接到两台接入交换机上。
集群心跳网根据集群划分Vlan，每个集群划分一个Vlan。（如Oracle RAC，每个Oracle RAC划分一个Vlan）。各VLAN间相互独立，且各数据中心之间无通讯需求，无需发布路由。
如增加一个集群，集群心跳网应相应增加一个Vlan。
网络规划需求如下图所示：
7、分布式集群数据同步网
分布式集群数据同步网，用于承载分布式存储集群、分布式数据库集群内各节点之间副本数据的同步，如hadoop集群、分布式存储集群等。
该网络的流量大，且必须保证高可用，故每个节点服务器配置两张万兆光口网卡，每张网卡分别连接到两台接入交换机。
分布式集群数据同步网根据分布式集群资源池划分Vlan，每个资源池对应一个Vlan。因副本数据只在集群内部复制，故中心内各VLAN相互隔离，但因数据要复制到其他中心，故需打通数据中心之间对应Vlan的网络。
如增加一个分布式集群，可增加一个Vlan。
网络规划需求如下图所示：
8、存储应用IP数据网
存储应用IP数据网，用于承载应用系统的存储IP数据，如业务系统访问分布式存储、NAS存储时，使用该网络。
该网络的流量大，且必须保证高可用，故每个节点服务器配置两张万兆光口网卡，每张网卡分别连接到两台接入交换机。
为保证访问效率，应用系统不建议跨中心访问存储系统，故无需打通跨中心的访问。
根据业务网中的安全区域划分VLAN，每个安全域对应一个存储数据Vlan，各Vlan间相互独立（如下图中的Vlan(1)~Vlan(n)）。再规划一个独立Vlan（如下图中的VLan (X)），用于NAS、分布式存储的存储应用IP数据网的接入。该Vlan分别与各存储数据Vlan（Vlan1~Vlan(n)）通讯。
如业务网增加一个安全域，存储应用IP数据网应相应增加一个数据存储VLan。
网络规划需如下图所示：
二、数据中心非业务网的规划与实践
在数据中心网络建设中，根据上述非业务网络规划需求，新规划的非业务网将与生产网隔离，且更注重网络的性能，同时具备广接入、易扩展、便管理的特性。规划要点如下：
非业务网采用两层网络架构设计，每个服务器分区部署二层接入交换机，支持千兆、万兆网络接入。核心采用高性能、低延时的三层交换机。接入交换机与核心交换机之间采用40G/100G互联。为保证网络的高可用，核心和每组接入交换机均采用双机部署。网络示意图如下：
在实际网络建设时，可采用传统的路由交换技术或SDN技术组建物理网络，在物理网络上划分VRF（或租户），每个VRF（或租户）对应某个用途的非业务网。VRF内设置多个Vlan（或租户内设置多个EPG），Vlan之间通过ACL隔离（租户采用EPG隔离）。启用路由协议，按需实现中心内或多中心间Vlan的相互通讯。为使方案更具通用性，本文拟采用传统的路由交换技术，规划非业务网络。
因虚拟化管理网路由需发布到运维管理区，为简化设计，可直接将虚拟化管理网规划在运维管理区上，本文不再详述。
如需增加一类非业务应用，可在非业务网上增加一个VRF（或租户），并按需求划分Vlan、发布路由。
VRF和Vlan划分详见下表：
接入交换机端口与路由规划如下：
为了避免服务器在运行过程中，不同类型的网络相互产生影响，根据非业务网络的流量特点，对服务器的网络接入进行了规划。详见下表：
独立的非业务网规划，隔离了非业务应用对业务的影响，提高了业务网的稳定性。此外，统筹的非业务网规划，不仅很好地满足了非业务应用的各项网络需求，为非业务应用提供稳定、可靠的高效网络，同时提高设备利用率，减少机柜占用空间，且方便了未来非业务的扩展，简化运维。
原题：数据中心非业务网络的规划与实践