浅谈云计算数据中心对布线系统的影响

浅谈云计算数据中心对布线系统的影响

罗森伯格亚太电子有限公司：孙慧永

在谈云计算数据中心之前，我们要先了解一下，什么是云计算？云计算是指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需的资源。 提供资源的网络被称为“云”。 “云”是IT的资源池，可以随时获取，按需使用，随时扩展，按使用付费。这种特性经常被称为像水电一样使用IT基础设施。云计算数据中心就是为云计算服务所需要的整体IT物理设备与基础设施。

提供云服务的数据中心能给用户超强大的计算能力，其中有一个特点就是“超大规模”。如Google、Facebook、腾讯等公司建设的云计算数据中心往往超过几十万甚至上百万台服务器的规模。从美国Cisco公司的预测报告会中显示，全球云通信量将以66%的年复合增长率发展，两年内，在云数据中心处理的工作量将首次超过在传统数据中心中的量，占比51%。到2015年预计将达到57%，云计算数据中心数据通信量的快速上升预示着云数据中心的基础设施建设需求将会同步增长，而数据中心的布线系统作为基础设施之一，随着云计算数据中心应用发展对布线系统的规模上，技术层面，产业层面都受到相应的影响。
本文将主要围绕云计算数据中心的网络带宽方面、端口能耗方面、布线架构及数据中心产业化发展、适应云计算数据中心的新一代布线系统构架等方面作一个探讨。

关键词： 云计算 数据中心 TOR 布线系统

一，云计算数据中心对网络端口带宽的影响

云计算数据中心普遍采用虚拟化的技术，基于云的数据中心可以支持比传统数据中心更多的虚拟机以及每台服务器的工作负荷，云计算数据中心数据量除了终端用户访问的数据流外，云计算服务器之间应用程序动态切换产生大量数据流，如图1，使数据中心数据通信更加繁忙。相比较传统数据中心，云计算数据中心的单台物理主机数据流量可能是传统的数据中心服务器的4倍、8倍 甚至10倍以上。如此大的数据流量将需要基础数据中心布线系统具有更低的延时性能，更高的可靠性，同时需要有更高带宽的的支持。基于这样的思考，对于云计算数据中心服务器端10G的端口布署将能更好的满足与支持云计算数据呑吐流量。关于服务器10G端口应用的趋势，根据Intel有关服务器端口的预测报告中可以了解到，2012年开始，10G服务器端口将开始大量的部署。而根据美国Infonetics第三方咨询机构关于网络设备的端口应用的预测报告中可以看到（如图2），到2015年超过50%左右的网络设备端口采用10G端口，而约25%左右的端口将采用40G/100G。

从上述提到的相关预测中我们可以看出云计算数据中心的网络演进十分清唽的方向。为了减少网络的延时，提高数据中心网络响应速度，云计算数据中心将更为普遍地采用核心+接入层两层网络构架替代传统核心+汇聚+接入的三层方式。核心网络采用40G/100G网络端口，接入层网络与服务器采用10G端口。网络带宽的提升将对布线系统提出的更高的要求，当服务器端采用10G的端口形式时，铜缆类的布线至少需要采用Cat6A级别的线缆，具体应用可参考IEEE802.3an标准的10GBase-T传输协议。如果10G采用光纤布线，优先采用多模OM3级别及以上的光纤系统来支持服务器端口的应用，参考IEEE802.3ae标准义的10GBase-SR。而对于数据中心主干40G/100G的应用，可以采用IEEE802.3ba中规定的MTP/MPO光纤并行多通道复用的传输的方式40GBase-SR4与100GBase-SR10，布线系统将需要采用MTP/MPO预连接系统进行支持，如图3。有关铜缆布线系统Class F与Class FA支持40G/100G的应用目前还没有正式标准的支持。 2011年10月，ISO/IEC 11801标准化组织工作小组ISO/IEC JTC 1/SC 25WG3启动了一项新的提议，研究在平衡双绞线上支持40G数据传输，如果研究一切顺利，预测2014年将完成草案标准。

二，云计算数据中心端口选择与对能耗的影响

云计算数据中心通常规模比较大，服务器端口上升到万兆以后，主干将需要考虑采用40G/100G的方案，对于40G以上的方案目前能规模应用的主要还是基于QSFP端口模式与MTP预连接光纤布线相结合的方案。但对于服务器端10G的端口来说就不同了，10G的应用除了采用传统的RJ45铜网口外，也可以思考选择SFP+光网口，还可以思考SFP+ DAC¬（Direct Attach Copper Cable）有源双轴平行电缆等几种方式可进行比较。10G端口规模化应用需要思考可靠性外，另外需要思考端口的能耗方面的问题，用户对于端口的选择除了要评估不同端口方式的价格因素外，端口能耗与端口的网络延迟也是一个需要评估的重要指标。云计算数据中心规模大，端口能耗将直接影响整体云计算数据中心的建设完成后的长期运维成本。对于10G端口应用上述提到的三种主流方式接口对应的网卡成本比率与网卡功耗状况我们可以作一下对比，如下表所示：

以上表格中的数据主要整合来源于Intel的网卡及Solarflare网卡的数据，从整体成本来看，10GBase-T采用双绞线铜缆的方案有较大的价格优势，但功耗上来看相对较大，以上功耗数据主要基于10GBase-T较大长度可以支持100米距离的方案，如果基于数据中心30米以下的长度，功耗可以大幅下降。10GBase-T铜缆分为屏蔽与非屏蔽两种结构，相比较非屏蔽，采用STP屏蔽线缆具有良好的NEXT与ANEXT的性能，将会大幅减少网卡DSP芯片的实际功率，采用STP的电缆相比较UTP非屏蔽系统约可以节约1.5W左右的功耗。针对数据中心解决方案，IEEE802.3az标准化组织正在开发新一代节能型的10GBase-T方案，功耗将会有望进一步的降低。而10GBase-SR采用多模光纤的方式技术成熟，功率较低，但价格相对更高一些，从当前的应用的角度来看，10GBase-SR相对可靠性更高一些。10G Base-SFP++DAC的方式相对性价比不错，但由于DAC电缆两端连接器内包含芯片，实际应用中与各交换机厂家会有兼容性的问题；且支持的传输距离很短，典型长度为7米以下，最长长度不超过15米，管理相对不够便利。

端口功耗降低，对建设一个节能型的数据中心贡献是相当大的，因为数据中心整体能耗来看，只要端口下降1W的电能消耗，整体机房将还可以减少由于端口1W下降所可以省去的空调制冷方面的电力损耗，以及配电系统UPS等各个环节的配套能耗。根据美国数据中心绿色节能组织所统计的结果来看，端口下降1W功耗将带动整体数据中心省下2~2.8W左右的功耗，这对于动辄达到上万台服务器的云计算数据中心来说，电费成本的节约是十分可观的。

云计算数据中心促使端口应用带宽提升，而支持数据传输的速率越高，单位能耗反而降低，如果我们以Power/Gbps的方式来衡量各等级的传输方式，传输同样的数据量，采用10G方式的单位能耗只相当于1G方式传输能耗的1/4。而美国Stanford大学的一个报告同样也从另一方面反映出了这样一个现象，如图4。 美国Stanford大学在2006年对根据数据中心的市场规模趋势作了耗电量的统计，而实际上从2006年到2011年数据中心的电能消耗量并没有达到预测中的那么高，由于云计算数据中心近年来采用了大量的虚拟化的技术，端口带宽与利用率增加，对单位数据量的电能的消耗下降起到比较大的作用。

三，云计算数据中心采用TOR架构对传统布线的影响

云计算数据中心采用更为简洁的二层网络架构，如图5。为了提高单位机柜对整体数据中心对基础设施的利用率，服务器机柜的单柜密度越来越高，设备端口的布线密度非常高，部分云计算数据中心采用定制化的服务器，单柜密度达到了80台服务器，高密度的服务器机柜普遍采用TOR交换机置顶的架构。相比较传统的EOR或MOR网络，TOR的方式有独特的优点，同时也有相应的缺点。从优点来看，TOR的方式机柜内去除了布线系统的配线空间，可以提高服务器安装的密度；布线在机柜内全部采用跳线，平均长度很短，减少了网络的延时，同时也消除了采用EOR方式大量线缆（高密度机柜单柜可达200根线缆）上行HDA对桥架所形成的压力。而显然易见的缺点是TOR方式造成交换机端口较多的闲置，造成交换机资源浪费，增加数据中心的能耗也增加了设备维护成本；柜内短跳线方式应对后期业务变化、设备连接模式变更等需求变化缺少弹性；另外即便是即将颁布的数据中心相关标准如TIA942A等均没有将TOR的方式纳入标准范围。但综合以上的特点总体分析后可以发现，与传统数据中心不同，云计算数据中心设备移动、变更较少且更关注密度与低延时的要求。对于规模化部署的云计算数据中心来说，TOR优点带来的好处远大于缺点所造成的负面影响。

TOR的方式在云计算数据中心的大量应用却已经实质上在影响布线系统，相关国际国内布线标准中所规定的HDA水平配线区实际上在TOR的架构中已经不再存在，水平配线架与水平线缆已经被省去，取而代之的是短米数的机柜内的光纤或铜缆的跳线。由于每个服务器机柜的置顶交换机都需要上行光缆到MDA主配线区域，服务器上升到10G后，势必要求主干具有40G/100G的升级能力，这个趋势将会导致主干布线将被大量的MTP/MPO小芯数预连接光缆（如12芯，24芯）所替代。使主干路由光缆数量大大增加，主干桥架路由压力增加。从这一方面来看，在云计算数据中心TOR架构的采用，使得布线系统光纤应用量在增加，而铜缆的应用潜在总量在缩减。

四，云计算数据中心机柜产业化对布线系统的影响

云计算数据中心应对云的服务通常基于通过互连网提供服务，用户需求的快速增长，有时无法进行较精确的预测。为应对快速的用户增长的计算需求，要求云计算数据中心的新建具有快速的响应与部署能力，而传统数据中心从规划建设到正式启用的周期至少要用一到二年。基于云服务的数据中心无法忍受如此长的周期，许多云数据中心直接租用第三方建设的数据中心基础设施，而IT设备安装可以实现快速的实施，我们提到云计算数据中心普遍采用的TOR的网络架构使得数据中心中的每一个服务器机柜内部的IT设备具有较为统一的属性，如图6。使得对整体数据中心以机柜为单位的产业化有了基础，而快速实施快速启用是云计算数据中心的一项重要需求，这些方面都促使云计算数据中心向产业方向发展。我们这里指的云计算数据中心机柜产业化是指数据中心以标准机柜含IT设备以工厂生产类似流水线统一作业的方式完成整体机柜的安装并以机柜为单位交付。也就是说用户现场安装时，只需要快速安装服务器机柜与主配线区域MDA与核心交换机端的主干布线相连接，服务器机柜内包括置顶交换机以及连接机柜内交换机与服务器的布线系统已经在工厂全部预安装完成，这种快速的安装与启用的产业化方案可以快速满足云计算数据中心的应对数据中心建设周期的挑战。

机柜采用产业化的方式部署促使数据中心现场安装周期大大缩短。举个例子：以500个机柜规模的数据中心从IT设备的安装与调试、布线系统的安装与标识及管理文档资料的提交等工作可以在2周的时间完成全部内容，这是传统数据中心建设所不可能完成的任务。

另一方面，由于数据中心产业化后采用机柜为单位，机柜内的设备之间连接的布线系统将由数据中心机柜提供方在工厂内统一组装。导致部分布线产品供应链产生一定的变化，由原先直接工程招投标的性质变成产业化机柜代工厂制订标准进行工厂化采购，这种方式将导致品牌布线厂家在机柜内的布线系统中发挥越来越少的作用，这部分布线产品的品牌价值不容易被用户所直接感知。而机柜间的主干布线系统的安装将更多的要依赖以预连接光缆系统，这是因为预连接系统同样可以发挥快速安装能力且支持40G/100G扩容，符合整体机房快速启用的整体目标。当然云计算数据中心的建设并不会全部采用机柜产业化的方式，这是云数据中心的为满足快速建设要求的其中一个发展方向，目前还未达到主流。

五，云计算数据中心采用新布线架构的应用思考

结构化布线系统标准产生最初功能是基于两方面的思考，一方面充当IT设备间的高速数据传输的介质，另外一方面非常重要的功能是具有对整体系统起到物理管理的作用。当TOR的方式成为云计算数据中心高密度布线的主流方案时，在实际的应用中布线的管理功能已经被弱化，不能很好体现布线系统标准中要求的管理要求。在实际云计算数据中心的布线方案基于TOR的布线系统也可以且也有必要进行适当的升级变化，以满足新的IT环境的需要。布线系统结构变化是建立在保证方便管理+充当高效传输介质这两方面的基本功能的基础上。下图7布线模型在基于TOR的架构上采用的新的布线方案，我们可以称为TOR+EOR的融合方案。

布线采用新的TOR+EOR的融合方案相比较单纯的TOR架构，每一列增加了HDA+EDA的区域，此区域的设置将大大增加布线方案的灵活性。从MDA到HDA的主干可以设计大芯数的预连接光缆如48，72或144芯，一方面有利于提高安装效率，同时大芯数高密度预连接光缆能减少主干桥架压力，可以使单位主干桥架截面承载更高密度与更大范围的数据中心规模。另一方面HDA+EDA区域可以对主干预连接端口设置一部分冗余，后续各个服务器机柜可以采用LC跳线或MTP跳线到各个置顶交换机上行端口，这样的好处是后续如任何服务器机柜有扩容或故障替换，可以每列进行维护与管理，无需从MDA开始进行长距离替换主干或主干扩容，不仅管理便利，且无需经常打扰主干链路，维护管理相对更为安全。下表将单纯采用TOR的方案与TOR+EOR融合新布线方案的总体比较，可以作参考。

可以看出TOR+EOR的融合方案产生的优势远大于普通TOR的布线结构，且成本的变化很小，对于整体数据中心建设来看，用户基本可以忽略这一小部分成本上的变化，因为融合方案所带来的长期价值远大于初期非常小的支出。

结束语

近年来云计算受到行业的大量关注并促使了云计算应用快速发展，基于云的服务与应用模式有了新的创新。而支持云业务快速增长的背后是云计算数据中心的大量启用。云计算数据中心采用虚拟化技术后，大大促进数据中心的资源利用率，大流量稳定可靠地数据通信也是基于设备端口带宽的不断提升，10G应用到服务器端口，40G/100G部署到主干的应用的网络发展脉络已经十分清晰，同时也促进布线系统以MTP预连接光纤系统的需求大幅度增长。而端口采用更高以太网协议的另一个好处是使单位数据传输能耗下降，符合建设绿色节能型数据中心发展的大趋势。云计算数据中心大量采用TOR的架构有利于数据中心产业化方向发展，同时也改变部分布线系统结构与产业供应链，产业化的数据中心模式大幅缩短数据中心建设周期，与云计算数据中心业务快速增长的需求相协调。针对于云计算数据中心的布线技术标准相对滞后，EOR+TOR的新的布线架构的产生与应用，在具备数据中心产业化的同时完善了单纯采用TOR架构相对布线系统管理功能的不足，使其与布线标准中所倡导的结构化布线要求更加吻合。总之云计算数据中心的快速发展与应用从各个方面已经对布线行业产生了各种不同的影响，同时也导致布线行业分工的进一步细化。

文献摘要：
1, 10GBASE-T for Broad 10 Gigabit Adoption in the Data Center.
Carl G.Hansen,Intel November 2010

2, GROWTH IN DATA CENTER ELECTRICITY USE 2005 TO 2010,
Jonathan G. Koomey, Ph.D. Consulting Professor, Stanford University

3, 万兆铜缆系统工程设计、施工与检测技术白皮书 布线工作组 2011年11月

4，新一代数据中心光纤布线技术发展趋势