为后100Gb/s时代挑战做准备

　　随着信息时代的到来，世界发生了惊人的变化。的思科（Cisco）公司视觉网络指数（VNI）显示，人们对多信息源（流媒体）的需求迅速增长。思科估计，到2016年，互联网协议（IP）数据传输流量的复合年增长率为29%.

　　所有这些需求都汇集到安放在大量低成本电源附近的服务器群。这种增长速度难倒了众多的服务提供商（Google等信息提供商及将这些信息带到电脑或手机的提供商）。人们需要更大的数据传输通道，而要满足这种需求，却面临着众多挑战。

　　速度更快

　　自万维网普及以来，对于速度的需求就一直困扰着通信行业。在1983年左右，随着10Mb（同轴半双工CSMA/CD）以太网的出现，计算机开始相互连接到一起。局域网（LAN）和广域网（WAN）的节点数增加到一定程度以后，骨干网聚合便成了问题。

　　光纤传输的突破及波分复用技术的实现大大提高了现代互联网的传输速度。但是，大多数家庭接入互联网使用的传统双绞线很快便达到了其香农极限。拨号用调制解调器和DSL速度已达极限。尽管节点（用户）数仍在持续稳步增长，但信息传输容量需求的增长却受到了限制。

　　当人们开始应用混合光纤/同轴系统以便通过数字机顶盒提供HDTV（高清电视）时，超大带宽也达到了极限。有线电缆数据服务接口规范（DOCSIS）电缆调制解调器的发展，实现了每秒数兆位的传输速度，消费者纷纷开始要求使用这种技术。

　　DOCSIS调制解调器和光纤到户（FTTH）成为推动互联网不断发展的催化剂。智能手机和长期演进（LTE）无线网络的出现再为消费者拓展了带宽，使他们不再受线缆的束缚。但是，智能手机供应商忽略了一些基本的东西：消费者将如何使用他们的上网手机。

　　供应商简单地认为，人们偶尔会需要定位，查看联系人电话号码，或者执行其他一些要求互联网提供服务的小任务。当人们开始使用手机在网上"冲浪"时，这些供应商完全不知所措。他们的下行网络完全超负荷运行，因此，他们开始提供一些"套餐",旨在限制数据服务消费--至少现在是这样一种情况。

　　在源头解决所有问题

　　连接的节点越多，速度越快，需要的网络容量和信息服务提供商运营能力也就越高。这不断推动着对互联速度需求的增长。有意思的是，大多数数据中心的IP数据传输（例如：亚马逊和Google等）都在数据中心内部的计算机之间完成，而并未通过网络连接的客户端之间。

　　在网购时，点击"购买"按钮之后，在两台服务器之间便开始进行大量的事务处理，以验证用户身份和支付方式，确认距离近的发货仓库，记录所有资金交易情况，收集买家统计数据，以及执行其他相关任务。完成所有这些事务所需的时间越长，消费者等待订单确认的时间也就越长。

　　在线进行股 票交易、游戏、银行转账和其他电子商务时原理相同。这种"多事务"数据传输和大量交易请求推动局域网互联速度从每通道10Gb/s提高至25Gb/s.

　　大多数现代数据中心都使用小型可插拔（SFP）或者四通道SFP（QSFP）连接来实现10Gb以太网。这些连接方法可以使用光纤或者特殊的高性能铜线，具体取决于要求的传输距离。但是，由于许多设备厂商为了增加相同空间的容量而不断增加端口密度，出现了许多问题。

　　一个问题是，在设备冷却系统的散热口放置大量的光纤模块，并且相互靠近。单个光纤模块的功耗一般为1W.将这些模块（例如一个48端口的10Gb/s交换机）相互靠近放置，从设备排出的气体温度又很高，这会缩短光纤模块的寿命并且存在安全隐患。

　　数据中心管理员将注意力转向了无源线缆，这种线缆有望降低功耗和光纤模块的成本。近，连接距离小于15米的情况，开始使用集成了半导体线性均衡器和转接驱动器的"有源"线缆，以调节信号和提高信号完整性。有源线缆可以匹配较短的互联，允许使用与光纤芯径差不多大小的小规格标准线，而且功耗和成本都更低。

　　另外，这些管理员还可以使用具有多种功能的"智能线缆",这些功能包括时域反射计（TDR）和眼图监视器等，可以持续管理连接的完整性。SFP和QSFP规范通过连接器上的一个两引脚串联管理端口实现这种通信。这种设备可以识别线缆类型及其性能，从而让系统设计人员能够将这些功能集成到管理系统中。

　　走得更远

　　有趣的是，标准一旦被制定出来，就会存在相当长的时间。据传，现代英国铁路轨距可能直接源自罗马帝国二轮战车的轮距。这个问题无需再深入讨论。影响数据中心的标准包括基础设施内的机架尺寸和间隔。典型机架为19英寸宽，42英寸长，7英尺高。这一标准已沿用了许多年。在某些行业，机架宽23英寸，目的是为了适用于电信交换机设备等应用。即使CMOS尺寸缩小带来了更高密度的集成，这些机架的体积也没有相应缩小。实际上，由于功耗和布线要求更高，它们的体积反而在不断增加。近，开放运算项目针对一种被称为"开放式机架"（21英寸宽）的新标准制定了一些计划。不仅宽度增加，机架也变得更高。一些机架的高度甚至要达到9英尺，以化服务器密度。

　　随着机架尺寸的增加，与设备内部电子器件相关的连接器布局也要调整。同时，CMOS密度的增加，让硅制造厂商可以将原来安装在外部的物理层（PHY）器件集成到内核交换ASIC并靠近连接器。这种情况会产生两个结果：外部连接器和电子器件之间的距离增加；连接数据速率提高。这将对设计的信号完整性产生极大的影响。在许多情况下，它要求增加有源器件，对数据进行恢复和重新计时，以达到连接器的规范（图1）。现在，10Gbps传输线路受到高抖动问题的困扰，同时面临初四通道（x4）2.5Gbps版信号的衰减问题。

图1:高速互连的发展。

　　对10Gbps以太网以及存储和计算来说，这就成了问题。第3版PCI Express（PCIe）等标准将通道带宽从500Mbps增加至1Gbps.通过更加高效的编码，并将传输速率从5Gbps增加至8Gbps,便可以达到这个目标。更高的传输速率会带来相同传输距离连接器规范不达标的问题，而在这一距离，使用FR4无源传输线时，PCIe 2.0却可以工作得很好。在许多情况下，面临的问题是使用更独特的PCB材料，还是有源平衡器/转接驱动器，以电学方式缩短传输线路。这可没有它看起来那么简单，因为PCIe标准使用带外（OOB）信号传输，在根组件和PCIe节点之间建立起一个有效链路。半导体厂商一般会提供允许这种标准在更长距离工作的硅组件。PCIe 4.0规范使用16Gbps通道。在机架式服务器和设备尺寸不断增大的情况下，要想达到这种标准实现通用性将变得越来越困难。

　　存储接口标准也做了同样的修订。在企业存储世界，标准是串行连接SCSI（SAS），它是小型计算机系统接口（SCSI）的串行版本。SAS-2.0规范使用6Gbps通道，利用精密细致的FR4 PCB布局方法和高性能连接器可以让它再次发挥作用。SAS-3.0使用12Gbps通道，并面临与其它高速标准相同的信号完整性问题。现在，使用连接器和线缆将某个驱动器连接至系统使得这个问题变得错综复杂。线缆厂商现在正推出一种新的高性能连接器（小型SAS HD）和介电材料，以应对信号完整性降低问题。但是，要解决这个问题却并不容易，因为系统中驱动器可能会移动到更远的地方，这就要求使用更长的连接器。

　　功耗原则

　　正如前文所述，功耗是运营商和设备厂商共同关心的主要问题。即使用于设计高性能通信设备的大多数ASIC都是CMOS,但相比一些老型号产品，更新（更快）的设备实际功耗也更高。另外，有意思的是，尽管晶体管几何尺寸不断缩小并且越来越高效，但是电路设计人员却利用这种小体积优势将更多的晶体管封装到这些器件中。CMOS电路的功耗与时钟频率比例关系，因此，尽管每个晶体管的功效越来越高，但是它们的时钟频率却比早期产品快了数倍。

　　这种发展趋势仍将持续，并在一定程度上推动机架空间变得越来越大，从而实现更好的空气流动和更优的线缆管理。电线管理的改进可让设备的连接器具有更好的空间间隔，从而使其本身的互连不妨碍设备风扇排出的气流。但是，连接器密度迟早会扩展到填满所有有效空间的程度。

　　超越10Gb/s

　　在一些现代的数据中心，大多数互连均为铜缆或者光纤的10Gbps以太网。这些通道均为单（SFP+）通道或者分组四通道（QSFP）。不管是哪种情况，这些线缆都为全双工。今天的一些标准传输速度都超过了10Gbps以太网。一种是光纤通道，现在的速度已经达到16Gbps（另外还有20Gbps标准）。互联网协议（IP）等协议标准都可以映射FC数据包，并允许使用光纤和铜缆实现更高速的互连。

　　就以太网而言，使用多条10Gbps通道进行数据传输可以实现更高的总带宽，但要达到100Gbps,需要使用10条通道。100Gbps以太网光纤模块利用一个超高速的10:4/4:10串行器/解串器（SerDes）将10通道的10Gbps数据转换为4个25Gbps流。这4个数据流馈送给使用波分复用（WDM）方案配置的4条不同颜色的激光。SerDes较为昂贵并且功耗很高，而10条通道又会占用连接器空间。下一代产品将使用25Gbps,直接向光纤模块传送数据。这种方法无需使用SerDes,并且连接器占用空间非常小。

　　数据传输能耗指标

　　过去，我们可以说某个系统以"X"bps的速度将一些比特从"A"点移至"B"点。但在服务器群有10,000台服务器和千兆存储以后，我们就不能这么说了。今天，设备按照其传输信息时的无误差（BER>10-12）和高效程度来分级。因此引起了一场有关信息传输效率的竞赛--谁的功耗，谁就是获胜者。企业运营商关心的是服务器性能和数据传输速度以及系统的能耗。设备运行所需的所有能量以废热的形式存在，因此需要将这种废热排出去，而这个过程又会消耗更多的能量。

　　以这种方式来看数据传输可能过于简单，但是，不管是用于驱动某条数据通道的集成电路，还是一个每秒数Gb的高性能交换机，任何解决方案的性能计算都应包括功耗。这种衡量指标很像以"纳公顷/两周"为单位表示的硅生产率。从大的方面看，它是对目标本质的简化和概括。在系统周围，使用少的能源，以快的速度，实现数据传输。

　　以下方程式表示了效率分类指标

　　其中，P为功率（瓦特），REF为无误差通道速率（比特/秒），D为距离（米）。它可以简化为焦耳每比特米（J/b?m），也就是1秒无误差时将1比特数据传输1米所需要的功耗，或者无误差条件下，1比特数据移动1米所消耗的能量。它对各种媒介和编码进行了标准化，并允许使用并排比较技术。

　　100+ Gbps挑战

　　由于我们已经介绍过一种比较各种通信技术的方法，我们将直接讨论数据速率超过100Gbps以后的相关问题。100Gbps数据传输媒介有两种可供选择：光纤和铜线。后一种受限于集肤效应和介电损耗，近远端串扰以及许多其他影响比特误码率的现象。光纤传输过于复杂，并且要求大量功耗，用于将数条电信号转换为通过光纤传输的一个或者多个经过调制的激光束，然后再由激光束转换回电信号（图2）。

图2:100Gbps CFP光纤模块与QSFP有源线缆对比。

　　半导体行业的主要进展是硅工艺，此外构架方面也获得了一定程度的改进。一些供应商（例如TI）开始使用新的超高性能硅锗工艺实现超低功耗和高成本效益。使用SiGe时，相比CMOS实现方法，驱动器中的发射振幅更高，因而拥有更高的信号完整性。这些工艺结合了新的时钟恢复和前馈均衡技术，可以轻松达到每通道25+ Gbps.下一代设备有望拥有这一数据速率，并计划于2013底上市销售。

　　对比现有100Gbps通道的传输效率，驱动远距离传输时光纤模块拥有明显优势。但是，当涉及企业内部10米以下的数据传输时，现在所使用的铜缆再次闪耀出它的光芒。1米标准时，光纤无误差传输1比特的能耗大概为80微微焦耳（使用100Gbps CFP,每端的功耗为4W），而铜缆传输1比特的能耗仅为20微微焦耳（使用100 Gbps QSFP,线缆每端的功耗为600mW）。以25Gbps运行的4条原生通道，使用设备对设备（box-to-box）配置时，能耗更低。令人吃惊的是，企业环境的大多数互连距离都小于1米。

　　超越100Gb/s

　　通过基板和线缆传输串行化比特的传统方法大多包含非归零（NRZ）二进制编码和误差编码（例如8b/10b）。但是，使用可变长度CAT5/6 UTP线缆的以太网标准（例如1Gbase-T）除外。这种标准的复杂度要求极高，原因是所用导线的带宽有限（<350MHz），并且通道损耗存在不确定性。为了弥补这些不足，标准采用了多层符号编码、位交错、前向纠错、回波消除和大量的其他技术，并与动态链路训练结合，以建立快的无误差连接。所有这些导致其功耗高于NRZ版本，但在这些情况下，也很难找出一种更好的替代方法。

　　如果行业把铜线的数据连接速度推高至25Gbps以上，那么问题是，双层（二进制）NRZ编码还会存在吗？即使现在，还有人会说应该放开对25Gbps数据速率的限制。Intel公司建议在企业内部和基层之间也都使用多层编码。由于符号编码比特密度更高，这样可以实现高数据速率，但是能耗也肯定会增高。在今天的市场上，Broadcom和其他公司提供的10Gbase-T解决方案复杂程度也有不断增加的趋势。正如其以前的一些产品，这些器件利用多层信号传输，通过符号编码增加比特密度。利用多条通道（一条CAT7线缆4对），该标准可支持约500MHz有限通道带宽的情况下10Gbps数据传输速率。那么，随着这个行业向40Gbps通道发展，多层方案会代替二进制编码吗？可能会，但是二进制NRZ成熟易懂。市场上有大量的NRZ误码率测试仪及完善的基础设施。另外，还有发射器和接收器复杂性问题。即使CMOS几何尺寸减小至40nm标准以下，功耗和成本都是需要解决的问题。

　　本文小结

　　考虑到未来4年市场所需要的器件数量，思科VNI的预测数据相当令人激动。同时，它也为有线和无线基础设施供应商以及提供媒体和信息的数据服务器带来了一些问题。所有这些共同推动了企业和基础设施使用更高的互连速度。25Gbps可能会马上到来，然后迅速向40Gbps进发，并会使用先进的NRZ或者多层技术，确保实现无误差数据通信。但是，当行业把连接速度从100Gbps再次推高至250Gbps甚至更高时，又会出现哪些标准，并在激烈的市场竞争中胜出呢？