许多网络工程师在学习了基本和流行的技术后,总是会对数据中心技术产生浓厚的兴趣。
数据中心是一个难以用短句定义的概念,它包含一整套复杂的设施它不仅包括计算机系统和相关配套设备,还包括冗余数据通信连接、环境控制设备、监控设备和各种安全装置。
就在两年前,阿里巴巴建成了中国第一个超级数据中心,与传统数据中心相比,其优势不言而喻,引发了众多网络工程师的热议。
当然,数据中心的复杂性并没有那么大。 一旦扩展,所有系统都需要适应,而这种复杂性不仅呈线性增加,而且呈指数级增加。
这可以通过可以说明的建筑物的例子来说明。
建造一座 50 层高的塔楼和一座 120 层高的塔楼的成本不如简单的两倍成本高。
以建造一栋120层的建筑为例,其造价可能是一栋50层建筑的10倍,如果每平方米的建筑造价为3万元,总面积为30万平方米,那么造价将是90亿,与50层相比,整整多了87亿。
这个例子让我们得以一窥数据中心规模和增长的巨大挑战。
传统数据中心主要根据功能划分区域,如Web、APP、DB、办公区域等。
不同可用区之间通过网关和安全设备相互接入,保证各可用区的可靠性和安全性。
同时,由于不同区域具有不同的功能,当终端之间进行数据访问时,只要终端之间能够相互通信,就不必双方在同一个VLAN或二层网络中。
生成树协议 (STP) 是第 2 层网络中的关键协议。
用户建网时常采用冗余设备和冗余链路来保证可靠性,但不可避免地会形成环路。
由于二层网络处于同一广播域,广播报文在环路中反复传输,形成广播风暴,可能瞬间造成端口阻塞和设备瘫痪。
为了防止广播风暴,有必要防止循环的形成。 因此,为了防止形成环路,保证可靠性,冗余设备和冗余链路只能变成备份设备和备份链路。
也就是说,冗余设备的端口和链路在正常情况下是被阻塞的,不参与数据包的处理。 只有当当前设备、端口或链路发生故障,导致网络中断时,才会打开冗余设备的端口和链路,让网络恢复正常。 实现了实现这些自动控制功能的生成树协议 (STP)。
由于STP的收敛性能,STP的网络规模不超过100台交换机。
同时,由于STP需要阻塞冗余设备和链路,这也降低了网络资源的带宽利用率。 因此,在实际的网络规划中,STP的网络范围会从性能、利用率、可靠性等方面尽可能地进行控制。
随着数据中心的不断扩展和虚拟化技术的广泛应用,二层网络的区域范围要求越来越高,也提出了新的要求和管理挑战。
随着数据中心规模和业务处理需求的增加,集群处理的应用数量也随之增加,要求集群中的服务器运行在二层VLAN下。
另一方面,虚拟化技术的应用不仅提高了业务部署的便利性和灵活性,也引入了虚拟机迁移的问题。 为确保迁移前后的业务连续性,您需要将虚拟机迁移在同一第 2 层 VLAN 下。
反之亦然:虚拟机的迁移距离受第 2 层网络规模的限制。
传统的基于生成树协议(STP)的备份设备和链路解决方案已无法满足数据中心的规模和带宽需求,且STP协议的故障收敛时间在秒到分钟之间,无法满足数据中心的可靠性要求。
因此,需要引入新技术,充分利用冗余设备和链路,提高链路利用率,在满足二层网络规模的同时,将数据中心的故障收敛时间降低到亚秒级甚至毫秒级。
由于您希望扩展第 2 层网络,因此针对不同的应用场景和技术选择,合适的大小取决于以下因素:
数据中心内部:
在数据中心内部,解决网络扩展问题是大型二层网络的首要任务。 在数据中心内实现虚拟机的广泛迁移需要大规模的第 2 层网络和 VLAN 扩展。 为了覆盖多个接入交换机和核心交换机,可以采用以下两种主要类型的技术:
虚拟交换机技术:
虚拟交换机技术的核心思想是通过合并彼此冗余的设备和链路,将两个或多个设备、两个或多个链路合并为一个设备和一个链路来消除环路问题。 这样一来,它又回到了单设备、单链路的局面,避免了环路的产生。 虚拟交换机技术已广泛应用于各类交换机设备,从低端箱式设备到高端箱式设备,具有成熟稳定的特性。
在目前的应用中,虚拟交换机技术是解决大型二层网络问题应用最广泛的解决方案。
虚拟交换机技术的典型代表包括 H3C 的 IRF 和 Cisco 的 VSS。 这些技术的特点是只需升级交换机软件即可支持虚拟化,从而降低应用成本并简化部署。
目前,这些虚拟交换机技术由各个厂商独立实现和推广,虚拟化只能在同一厂商的同系列产品之间实现。 虽然这些技术取得了一些成功,但由于每个供应商都实现了独立性,互操作性存在局限性。 此外,随着高端模块化交换机的性能和密度不断提高,对虚拟交换机技术的性能和密度要求也随之提高。 目前,模块化交换机的虚拟化密度高达 4:1,这限制了第 2 层网络的规模,大约需要 10,000 到 20,000 台服务器。
隧道掘进技术:
它采用不同的方法。 在这种技术中,绕过第 2 层网络中的环路,通过阻止冗余链路来确保网络稳定性。 然而,隧道技术的提出需要利用三层网络,利用其无环路特性,同时实现等效链路(ECMP)等功能,从而突破虚拟交换机技术的一些局限性。
跨数据技术
随着数据中心在多个位置的部署,对跨数据中心迁移、灾难恢复操作和涉及虚拟机的跨数据中心工作负载均衡的要求也在增加。
通常,多个数据中心之间的连接被路由以形成一个自然的三层网络。 为了使通过第 3 层网络连接的两个第 2 层网络相互通信,需要“L2 over L3”技术。
L2OL3 技术可以通过多种方式实现,包括传统的 VPLS (MPLS L2VPN) 技术以及新兴的 Cisco OTV 和 H3C EVI 技术。 这些技术利用隧道将二层数据包封装在三层数据包中,跨越中间三层网络,实现两地之间二层数据的互联互通。 这种方法为实现多个数据中心之间的协作提供了可行的解决方案。
隧道充当连接多个数据中心的第 2 层网络的虚拟网桥。
此外,一些虚拟化和软件公司也提出了软件层面的L2 over L3技术解决方案。 例如,VMware的VXLAN和Microsoft的NVGRE将二层数据封装在虚拟化层的VSWITCH中,通过在物理网络拓扑之上构建虚拟化网络层,克服了网络设备层二层和三层的限制。
然而,由于性能、可扩展性等问题,这些技术尚未得到广泛应用。
01.网络的三层互联
三层互联又称数据中心前端互联,是指数据中心向企业园区网络或企业广域网的出口。 通过IP技术,将不同数据中心(主中心和容灾中心)的前端网络互联互通,使园区或分支机构的客户端可以通过前端网络访问各个数据中心。 当主数据中心发生灾难时,前端网络可以快速收敛,使客户端能够通过访问容灾中心来保证业务的连续性。
02.网络的第 2 层互连
二层互联又称数据中心服务器网络互联。 在不同数据中心的服务器网络接入层建立跨数据中心的大规模二层网络(VLAN),满足服务器集群、虚拟机动态迁移等场景对二层网络接入的需求。
03.SAN互联
又称后端存储网络互联,通过传输技术(如DWDM、SDH)实现主中心与容灾中心之间的数据复制。
01.服务器 HA 群集
服务器集群是一种逻辑服务器,它通过集群软件将网络上的多个服务器关联在一起,以提供一致的服务。 许多供应商(如HP、IBM、Microsoft、Veritas等)的集群软件通常需要服务器之间的第2层互连。 将集群中的服务器分布到不同的数据中心,实现跨数据中心容灾。
02.服务器重新定位和动态 VM 迁移
在进行数据中心扩展或搬迁时,需要将物理服务器从一个数据中心迁移到另一个数据中心。
在此过程中,需要考虑以下两个因素,才能在数据中心之间建立二层互联网络:
当服务器迁移到新的数据中心时,如果新旧数据中心之间的二层互联网络没有建成,新的中心服务器的IP地址将被重新规划。 同时,需要修改DNS或修改客户端应用配置的服务器IP地址。
因此,构建跨中心的二层公网可以保留迁移服务器的IP地址,从而简化整个迁移过程。
在服务器迁移过程中,通常只在给定时间将服务器场的一部分服务器迁移到新中心。 为了保证业务的连续性,需要建立跨中心的服务器集群。 跨中心构建二层互联网络,实现服务器平滑迁移。
与服务器重新定位类似的情况是:"虚拟机迁移"。目前,某些服务器虚拟化软件支持在两个虚拟化物理服务器之间动态迁移虚拟机。
迁移到另一个中心的 VM 不仅保留原始 IP 地址,还保留迁移前的运行状态(例如 TCP 会话状态)。 因此,虚拟机迁移中涉及的物理服务器必须连接到同一个二层网络(虚拟机的网关在迁移前后保持不变)。 该应用场景需要构建跨中心的二层互联互通。