8.2.5 数据中心网络虚拟化
数据中心有海量的计算和存储资源。随着技术的进步，计算资源和存储资源已经分别完成虚拟化。例如，Citrix公司的XenServer、VMware公司的vSphere和Microsoft的Hyper-V，为服务器虚拟化提供了良好的基础平台；EMC公司的Rainfinity全局文件虚拟化网络存储管理系统、HP公司的StorageWorks虚拟阵列及IBM公司的SAN Volume Controller（SVC）可将存储区域网中的各种存储设备整合成一个虚拟存储池。通过虚拟机（VM）技术，云计算租户（Tenant）可以使用数据中心的计算资源而不用担心物理计算机的管理、维护和升级。通过网络存储技术，用户可以在数据中心存储几乎无限量的数据，而不用担心数据的备份和安全。通过这种计算和存储的虚拟化，按需使用、按需付费的理念正在变成现实，并成为未来人们使用数据中心的主要方式之一。
当用户所需的计算资源多于一个虚拟机时，则需要租用多个虚拟机。通常多个虚拟机之间需要进行信息交互，而虚拟机之间需要网络互联和通信，因此这些虚拟机组成了虚拟网络。这些虚拟机所组成的网络之所以被称为虚拟网络，是因为这些网络实际上共存于同一物理网络之上。相对于服务器和存储系统的虚拟化，网络虚拟化技术的发展相对滞后，主要原因在于之前没有类似于数据中心这种特定应用需求推动它的发展。
数据中心网络虚拟化面临的技术挑战主要包括如下几个方面。
（1）虚拟网络隔离。出于安全考虑，不同租户的虚拟机所形成的虚拟网络需要进行隔离，属于不同虚拟网络的虚拟机在默认配置下应不能互相通信。不同租户可能使用相同的IP地址或MAC地址。传统的虚拟局域网（VLAN）虽然可以隔离不同的广播域，但VLAN子网分割的4096主机数限制影响网络规模的扩展性。
（2）虚拟机迁移。为适应数据中心资源共享和服务器整合的需要，虚拟机应该具备实时迁移的能力。基于二层网络的虚拟机迁移方案受二层网络的规模限制，难以扩展；基于三层网络的传统移动IP机制实现开销过大，难以适应大规模数据中心较为频繁的虚拟机实时迁移。
（3）带宽共享和保障。由于不同的虚拟网络共享同一个物理网络，设计公平而高效的带宽共享机制非常重要。传统网络由服务器通过基于流的TCP机制来竞争网络带宽，但租户可以通过创建众多的TCP流来获得更高的带宽。下面分别介绍相关研究成果。
1.数据中心网络隔离和虚拟机迁移
VxLAN[58]和NVGRE[59]是当前IETF制定的网络虚拟化的报文格式标准。VxLAN把虚拟机的以太网数据分组封装在UDP/IP数据分组内，而NVGRE利用标准GRE格式来封装来自虚拟机的以太网分组。在这两种格式中，用户的虚拟网络ID均为24比特的，从而大大提高了数据中心可以支持的虚拟网络数量，并且可以跨三层实现虚拟机迁移。这两种格式目前均得到了工业界的支持。
NetLord[60]提出了把租户虚拟机的以太网分组封装在第三层的IP分组上的做法来实现网络的虚拟化及多租户支持。通过封装，租户虚拟机使用的MAC地址并不会出现在转发表中，不但解决了不同租户的MAC地址空间重叠的问题，而且大大减小了交换机的转发表空间。这种方案并不需要对网络核心设备进行升级。
VL2[3]使用两层IP地址空间，即AA（Application Address）和LA（Location Address）来解决租户IP地址冲突的问题，AA由应用程序使用，LA用于路由。PortLand[5]采用了类似的方法，引入了两层MAC地址空间，即PMAC（Psuedo MAC）和AMAC（Actual MAC），AMAC由虚拟机实际使用，而PMAC用于路由交换。
2.数据中心网络带宽共享机制
目前数据中心网络的带宽共享机制主要基于两种思路：一是基于竞争；二是基于分配。基于竞争的方案的基本思路是在虚拟机或租户级别实现带宽竞争。和传统的基于TCP流的竞争方式不同，这种竞争方式可以防止应用程序通过增加流数目的方式来骗取网络资源，确保一定的公平性。典型的基于竞争的带宽共享机制包括Seawall[61]、Netshare[62]和Faircloud[63]等。Seawall[61]在虚拟机的层面上设计了一个拥塞控制系统来避免不公平的带宽分配，Netshare[62]和Faircloud[63]则通过一个集中控制的管理器，根据每个服务的不同需求为其分配对应的权值，最后根据权重对全网的带宽资源以max-min fairness的方式进行竞争。这样可以在提高利用率、不浪费带宽的同时，确保需求更大、优先级更高的应用程序可以获得更多的带宽。其中Faircloud深入研究了各种基于权值进行带宽分配机制的解决方案满足的特性。这种基于租户需求指定权值进行分配的模式相对于传统的模式而言具备更大的灵活性。
基于分配的方案确切定义每个虚拟机或每个租户对网络带宽的需求，直接给虚拟机分配足量的带宽，并且通过限速机制来确保每个虚拟机或租户对带宽的利用不会超过分配的限额。提出了多种定义租户的带宽需求的模型。比较常见的模型包括流量矩阵模型和“软管”模型。在软管模型中，每个租户的虚拟网络结构定义为多个虚拟机连接到一个交换能力无限大的虚拟交换机上。每个虚拟机连接到交换机的连接带宽却有一定的限制。在这两种分配模型上，比较典型的分配机制包括SecondNet[64]和Oktopus[65]的工作。相对于基于竞争的机制而言，基于分配的方案可以提供真正的带宽“保障”，但缺点是租户可能无法用足所申请的网络带宽，从而造成网络资源浪费。在基于带宽显式分配的模型下，参考文献[82-83]研究了云计算多租户的带宽计价策略。
8.2.6 数据中心网络节能机制
随着云计算的日益普及和数据中心规模的不断扩大，数据中心的能耗问题已经日益凸显。据统计，2006年美国数据中心和服务器的总能耗达到了600亿千瓦时[66]。在传统数据中心里，网络设备的能耗比例并不大，但随着数据中心制冷技术的提高、服务器休眠技术的广泛使用，网络能耗比例越来越高。据统计，在Google数据中心，如果服务器在负载较轻时广泛采用动态休眠技术，网络能耗可占到50%以上。因此，对数据中心网络的能耗管理也显得越来越重要。
为了解决数据中心树形结构的网络瓶颈问题，近年来提出了许多“富连接”的数据中心网络拓扑。这些新型数据中心网络拓扑主要是为峰值网络流量设计的，如全通信的流量模式。而数据中心的计算负载和流量在大多数情况下都远远低于峰值，因此造成数据中心能耗使用效率低下。目前已有的数据中心网络节能技术大致可以分为设备级节能技术和网络级节能技术两大类。设备级节能技术从硬件技术角度出发研究如何降低网络设备的能耗，网络级节能技术从网络协议的角度出发研究如何降低整个网络的能耗。
1.设备级节能技术
目前用于网络设备的节能技术主要包括设备休眠技术和速率调整技术两类。
1）设备休眠技术
为了降低交换机等网络设备的能耗，最简单的方式就是当设备空闲时将其置于休眠模式。当设备有网络负载需要处理时，使用工作模式对报文进行全速的处理、转发；当一段时间内没有负载到来时，可以将其休眠，以降低网络设备自身的能耗。其中一种最简单的实现方式是使用定时器来设置网络设备休眠的时长。当设备处于空闲状态时，首先根据当前的网络负载状况设置休眠定时器的值，之后将设备置于休眠模式，在休眠期间到达该设备的报文做丢弃处理。当定时器超时后，将网络设备唤醒，继续处理后续到达的报文。参考文献[68]给出了简单休眠机制的实现及定时器的设置策略。然而该方式容易造成网络报文丢失，对网络性能造成较大的负面影响。为了解决上述问题，参考文献[69]和参考文献[70]提出使用定时器和缓存机制实现网络设备休眠机制。增加了缓存机制后，在定时器超时之间的报文可以先进行缓存，当设备唤醒后再进行发送，从而避免了定时器机制所导致的大量报文丢失。
单独使用简单休眠机制很难大幅降低网络设备的能耗，并且会对网络性能造成较大的影响，因此休眠技术往往需要与其他技术相结合，配合使用以获得更好的节能效果。由于网络设备处于空闲状态的时间与网络中的流量有关，可以使用与网络流量整形技术相结合的设备节能机制。参考文献[71]提出通过调整流量的突发程度来增加链路睡眠机会的方法。该方法将数据包缓存一定的时间，然后以突发形式进行传送。这样在相邻的两次突发之间就创造了更长的链路空闲时间以便链路有更多的机会进入睡眠状态。这种对数据包缓存后再突发发送的方法增加了数据包的网络延迟和丢包率，但可以有效降低网络设备的能耗。
2）速率调整技术
速率调整技术的基本思想是根据网络负载的变化情况动态调节网络设备部件的处理速率，使网络系统能够在低负载时有效降低能耗。网络设备的传输速率配置参数是影响其能耗的一个重要因素。例如，当链路速率从100Mbps分别增大到1Gbps和10Gbps时，其能耗将分别增加2～4W和10～20W。然而当前网络设备在空闲状态和满负载状态的能耗基本相近。因此这一机制能够使网络系统工作在不同的服务速率和相应的能耗水平上，从而改善网络设备的能耗与负载成比例特性，提高其能量使用效率。
在网络设备动态速率调整机制中，最重要的方案是参考文献[72]提出的自适应链路速率机制[72]。该机制能够在全双工传输的以太网中根据链路利用率自动切换链路速率，采用快速的MAC层信令握手机制用于发起、协商和同步链路速率调整。首先链路的一端在决定增大或减小链路速率后发起一个速率调整请求，链路的另一端接收到此信令后告之请求者是否接受速率调整，即回复接受调整信令或拒绝调整信令。一个接受调整信令能够触发一个链路速率切换和链路的再同步。
当前对于动态速率调整机制的研究重点主要放在速率切换的策略上。参考文献[73]提出了单阈值和双阈值的自适应链接速率策略，根据输出缓冲的利用率或队列长度进行速率的转移。由于双阈值策略的滞后调整会产生抖动问题，为了解决速率抖动问题，通过设置链路利用率阈值和超时阈值进行联合控制，根据链路利用率参数的变化来进行速率切换，同时设定高速率和低速率的持续时间参数来避免振荡的发生。
2.网络级节能技术
近年来，硬件功耗的降低使得路由器在能耗优化方面已经取得了很大的进展，但研究表明，数据中心流量的增长对网络设备性能和能耗需求的增长远远快于硬件工艺的发展。此外，基于单设备的节能技术依赖于网络流量分布，所带来的节能效果非常有限。因此，最近研究者开始聚焦于网络级节能技术，从网络协议设计的角度出发，研究面向节能目标的路由和流调度机制，通过对网络流进行合理、有效的调度，在低网络负载时使更多空闲的网络设备进入休眠状态，从而实现数据中心网络的能耗降低。
在新型数据中心网络拓扑中，每对服务器之间存在多条路由路径，这使得数据流的路由调度具有较大的灵活性。目前，等价多路径路由策略被广泛应用于数据中心网络的路由选择中，以提高网络吞吐率和改善网络性能。然而等价多路径方案在实现网络流负载均衡的同时，没有考虑网络能耗因素，造成巨大的能耗浪费。在研究数据中心网络节能路由时，最基本的思路都是在网络低负载时通过关闭或休眠部分网络设备来实现能耗的降低。然而节能技术的实施可能会造成网络性能的下降，同时影响网络的可靠性。因此研究重点在于如何权衡网络节能效果与网络性能之间的关系，以及网络节能效果与网络可靠性之间的关系。另一个研究点是如何权衡节能效果和节能路由计算复杂度之间的关系。高复杂度的路由算法能够获得更好的节能效果，然而不能满足实时性的要求；反之通过牺牲部分节能效果，能够获得较好的实时性。因此除了追求节能目标之外，还需要考虑节能路由技术的可行性和实时性。
参考文献[67]提出一种网络级的能量管理器机制——弹性树（Elastic Tree）。它能够根据数据中心网络的负载动态调整处于开启状态的网络链路和交换机，从而使用一个节能的拓扑子集来完成路由传输工作。该机制提出三种数据中心节能算法：最优节能方法、启发式Bin-Packing方法及拓扑感知的启发式算法。其中最优节能方法能够实现最好的节能效果，然而计算复杂度较高、实时性较差；启发式Bin-Packing方法是一种可行的方法，能够在较短的时间内计算出节能路由的近似解；拓扑感知的启发式算法能够实时计算出最优的节能路由，但该方法仅能应用于FatTree拓扑中。参考文献[81]对这一方案进行了改进和优化。
参考文献[74]提出一种能量感知的数据中心路由算法，将数据中心网络节能路由问题规约为背包问题，证明了该问题的求解复杂度为NP-hard。之后提出了一种“剪枝”算法：分别根据数据中心网络的流量矩阵计算出基本路由和基本吞吐率；然后按照当前交换机负载从小到大的顺序依次从拓扑中进行删除，同时确保网络的总吞吐率不小于一个预定义的性能阈值；最终获得节能路由，并将已删除的交换机及空闲的网络链路置为低功耗模式。通过该方法在负载较轻时能够有效地降低数据中心网络的能耗。
8.3 软件定义网络与数据中心
软件定义网络（Software Defined Networking， SDN）[75]是最近学术界关注的热点。在SDN中，数据分组的转发与控制被分开。网络智能被抽取到一个集中式的控制器（Controller）中。数据流的接入、路由等都由Controller来控制。而交换机只是按Controller所设定的规则进行数据分组的转发。由于数据中心是由一个单位（公司、政府、研究机构等）所建设和拥有的，天然符合SDN所需要的集中控制要求。因此当前SDN最主要的应用场景都集中在数据中心。把SDN应用到数据中心主要有如下优点。
（1）可管理性。通过集中式控制，网络运营者能及时掌握网络设备的状况，如网络设备是否工作正常、是否有网络拥塞发生、网络服务质量是否在正常范围等。这些都是以往的分布式网络协议很难提供的。
（2）网络性能优化。在以往的分布式网络协议中，由于网络运营者对网络缺少细粒度的控制，为了保障网络服务质量在一定范围之类，网络运营者被迫降低网络利用率。一般而言，核心网络的带宽利用率只有30%～40%。在数据中心中，由于运营者知道网络的详细拓扑结构及核心应用的需求，可以大幅提高网络带宽利用率。最近Google公布了其利用SDN技术把数据中心间的核心网络带宽利用率提高了100%。高带宽利用率意味着可以利用SDN来降低传输每比特的花费（cost per bit）。
（3）更快引入新的网络功能。在SDN中，由于控制功能被抽象到集中式控制器中，而各个网络设备只受控制器的控制并执行相对简单的分组转发功能，因此当需要引入新的网络功能时，如新的网络带宽分配算法，或者实施新的网络接入控制政策，只需要变更控制器中的软件即可。这样可以在很短的时间内引入新的网络功能。由于新功能的引入只涉及软件更新，在进行更新之前还可以对软件进行充分的测试。这样也解决了分布式网络协议的更新、调试及测试所面临的困难。
SDN当前的主要研究者和推动者是Stanford大学的Nick McKeown和UC Berkeley的Scott Shenker。非营利性组织开放网络基金会（Open Network Foundation， ONF）[76]在大力推进SDN的标准化工作。ONF的参与者包括多家工业界的核心企业，如Cisco、Juniper等网络设备厂商，Google、Facebook等互联网公司，以及Microsoft等软件公司，还有学术界的顶尖机构。
当前，SDN已不止停留在概念层面，而是已经有了非常坚实的具体实现：OpenFlow[77]。OpenFlow是第一个针对SDN实现的标准接口，包括数据层与控制层之间的传输协议、控制器上的API等。OpenFlow起源于Stanford的“Clean slate”计划（Stanford大学的“Clean slate”计划是一个致力于研究重新设计互联网的项目），在2008年开始发布并进行推广。其研发成员组成由最开始的Stanford大学高性能网络研究组（The High Performance Networking Group），逐渐扩展为许多学术界顶尖机构（如MIT、UC Berkeley等），还有工业界的领头企业（如Cisco、Juniper）等。
OpenFlow由控制器和OpenFlow交换机组成。这里不叫做OpenFlow“路由器”是因为路由计算的任务都是在控制器完成的，其自身只完成数据转发功能，因此叫做OpenFlow“交换机”更合适。控制器和OpenFlow交换机之间是加密的OpenFlow协议，用以传输控制器制定的转发表项给交换机和传输交换机收到的“陌生”数据包给控制器。OpenFlow以数据流为生成转发表项的依据。传统路由器对数据流的标识通常是一个五元组（源IP地址，目的IP地址，源端口号，目的端口号，协议号）。这种数据流标识无法全面地标识数据中心的数据流特征，因此OpenFlow对数据流的标识除了上述五元组外，还可以有源、目的以太网地址、VLAN号、VLAN优先级、数据流（如端口）等信息，从而使用户可以从更加细粒度的层面对数据流进行控制。控制器上的API为用户提供了编程接口，OpenFlow的API并不对编程语言进行限制，如C++、Python等都可以。另外，由于OpenFlow的开放特性，使得API提供的都是最基本的功能模块，用户可以根据自己的需求生成更加复杂的API。已经有一些开源的OpenFlow控制器供开发者直接使用，如NOX。
OpenFlow的简单工作流程是：用户通过API在控制器中编写自己的路由策略，分为静态和动态两种。静态路由策略可以简单地看做是用户通过控制器直接向OpenFlow交换机写入转发表，数据流进入交换机后，若匹配相应表项则直接进行转发，不再需要控制器参与。动态路由策略则是在控制器上维护一个守护进程，交换机收到的数据流若在当前转发表中没有匹配，则将该数据流的第一个数据包转发给控制器，由控制器的守护进程进行计算，动态实时地进行转发规则生成，并写入交换机。该数据流后面的数据包将按照此时生成的转发规则匹配。
参考文献
[1]Cisco Data Center Infrastructure 2.5 Design Guide.http：//www.cisco.com/application/pdf/en/us/guest/netsol/ns107/c649/ccmi-gration_09186a008073377d.pdf，2007.
[2]M.Al-Fares， A.Loukissas， A.Vahdat.A Scalable， Commodity Data Center NetworkArchitecture.ACM SIGCOMM 2008，Seattle， Washington.
[3]A.Greenberg， J.Hamilton， N.Jain， etc.VL2：A Scalable and Flexible Data CenterNetwork.ACM SIGCOMM 2009，Barcelona， Spain.
[4]C.Guo， H.Wu， K.Tan， etc.DCell：A scalable and Fault-tolerant network structurefor data centers.ACM SIGCOMM 2008，Seattle， Washington.
[5]R.Mysore， A.Pamboris， N.Farrington， etc.PortLand：A Scalable Fault-TolerantLayer 2 Data Center Network Fabric.ACM SIGCOMM 2009，Barcelona， Spain.
[6]C.Guo， G.Lu， D.Li， etc.BCube：A high performance， server-centric networkarchitecture for modular data centers.ACM SIGCOMM 2009，Barcelona， Spain.
[7]D.Li， C.Guo， H.Wu， etc.FiConn：Using Backup Port for Server Interconnectionin Data Centers.IEEE INFOCOM 2009，Rio de Janeiro.Brazil.
[8]H.Abu-Libdeh， P.Costa， A.Rowstron， etc.Symbiotic routing in future datacenters.ACM SIGCOMM 2010，New Delhi， India.
[9]N.Farrington， G.Porter， S.Radhakrishnan， etc.Helios：A Hybrid Electrical/OpticalSwitch Architecture for Modular Data Centers.ACM SIGCOMM 2010，New Delhi， India.
[10]G.Wang， D.Andersen， M.Kaminsky， etc.c-Through：Part-time Optics in DataCenters.ACM SIGCOMM 2010，New Delhi， India.
[11]K.Chen， A.Singla， A.Singh， etc.OSA：An Optical Switching Architecture for DataCenter Networks with Unprecedented Flexibility.USENIX NSDI 2012，SAN JOSE， CA.
[12]H.Wu， G.Lu， D.Li， etc.MDCube：A High Performance Network Structure for ModularData Center Interconnection.ACM CoNext 2009，Rome， Italy.
[13]D.Li， M.Xu， H.Zhao， etc.Building Mega Data Center from HeterogeneousContainers.IEEE ICNP 2011，Vancouver， BC Canada.
[14]W.Dally and B.Towles.Principles and Practices of Interconnection Networks.MorganKaufmann Publishers，2004.
[15]D.Nagle， D.Serenyi， A.Matthews.The Panasas Active Scale Storage Cluster：Delivering scalable high bandwidth storage.ACM/IEEE SC2004，Pittsburgh， PA.
[16]V.Vasudevan， A.Phanishayee， H.Shah， etc.Safe and Effective Fine-grained TCPRetransmissions for Datacenter Communication.ACM SIGCOMM 2009，Barcelona， Spain.
[17]Y.Chen， R.Griffith， J.Liu， etc.Understanding TCP Incast Throughput Collapse inDatacenter Networks.WREN 2009，Barcelona， Spain.
[18]J.Zhang， F.Ren， C.Lin.Modeling and understanding TCP Incast in Data CenterNetworks.IEEE INFOCOM 2011，Shanghai， China.
[19]H.Wu， Z.Feng， C.Guo， etc.ICTCP：Incast Congestion Control for TCP in DataCenter Networks.ACM CoNext 2010，Philadelphia.
[20]M.Alizadeh， A.Greenberg， D.Maltz， etc.Data center TCP（DCTCP）.ACMSIGCOMM2010，New Delhi， India.
[21]C.Jiang， D.Li， M.Xu.A Coding-based Approach to Mitigating TCPIncast in Data CenterNetwork.ICDCS Workshop on DCPerf 2012，Macao， China.
[22]Y.Vigfusson， H.Abu-Libdeh， M.Balakrishnan， etc.Dr.Multicast：Rx for Data CenterCommunication Scalability.HOTNETS 2008，Calgary， Alberta， Canada.
[23]D.Li， J.Yu， J.Yu， etc.Exploring Efficient and Scalable Multicast Routing in Future DataCenter Networks.IEEE INFOCOM 2011，Shanghai， China.
[24]D.Li， H.Cui， Y.Hu， etc.Scalable data center multicast using multi-class BloomFilter.IEEE ICNP 2011，Vancouver， BC Canada.
[25]R.Renesse， Y.Minsky， M.Hayden.A gossip-based failure detection service.Middleware1998.
[26]D.Li， M.Xu， M.Zhao， etc.RDCM：Reliable Data Center Multicast.IEEE INFOCOM2011，Shanghai， China.
[27]A.Ford， C.Raiciu， M.Handley， etc.TCP Extensions for Multipath Operation with MultipleAddresses.June 2012，IETF draft（work in progress）.
[28]D.Wischik， C.Raiciu， A.Greenhalgh， etc.Design， implementation and evaluation ofcongestion control for multipath TCP.USENIX NSDI 2011，Berkeley， CA.
[29]C.Raiciu， S.Barre， C.Pluntke， etc.Improving datacenter performance and robustnesswith multipath TCP.ACM SIGCOMM 2011，Toronto， Ontario， Canada.
[30]C.Wilson， H.Ballani， T.Karagiannis， etc.Better Never than Late：Meeting Deadlinesin Datacenter Networks.ACM SIGCOMM2011，Toronto， Ontario， Canada.
[31]K.Ramachandran， R.Kokku， R.Mahindra， etc.60 GHz Data-Center Networking：Wireless=＞Worry less？.NEC Technical Report，2008.
[32]S.Kandula， J.Padhye， P.Bahl.Flyways to De-Congest Data Center Networks.HotNets2009，New York.
[33]H.Vardhan， N.Thomas， S.Ryu， etc.Wireless Data Center with Millimeter WaveNetwork.Globecom2011，Houston， Texas.
[34]W.Zhang， X.Zhou， L.Yang， etc.3D Beamforming for Wireless Data Centers.HotNets2010，Monterey， CA.
[35]D.Halperin， S.Kandula， J.Padhye， etc.Augmenting Data Center Networks withMulti-Gigabit Wireless Links.ACM SIGCOMM 2011，Toronto， Ontario， Canada.
[36]Y.Cui， H.Wang， X.Cheng.ChannelAllocation in Wireless Data Center Networks.IEEEINFOCOM 2011，Shanghai， China.
[37]Y.Cui， H.Wang， X.Cheng， etc.Wireless Data Center Networking.IEEE WirelessCommunications，2011.
[38]Y.Cui， H.Wang， X.Cheng.Wireless Link Scheduling for Data Center Networks.ICUIMC2011，Seoul， Korea.
[39]Y.Katayama， K.Takano， Y.Kohda， etc.Wireless Data Center Networking with Steered-Beam mmWave Links.IEEE WCNC 2011，Quintana Roo， Mexico.
[40]S.Yong， S.Gün， W.Hakim， etc.On The Feasibility of Completely Wireless DataCenters.Technical Reports， Cornell University，2011.
[41]IEEE P802.3ba：40Gb/s and 100Gb/s Ethernet Task Force， http：//www.ieee802.org/3/ba/.
[42]Data Center Bridging Task Group， http：//www.ieee802.org/1/pages/dcbridges.html.
[43]Fibre Channel over Ethernet， http：//www.t11.org/fcoe.
[44]T.Talpey and P.Grun， Remote Direct Memory Access over the Converged EnhancedEthernet Fabric：Evaluating the Options， http：//www.hoti.org/hoti17/program/slides/Panel/.
[45]Open-MX：Myrinet Express over Generic Ethernet Hardware， http：//open-mx.gforge.inria.fr/.
[46]http：//www.cisco.com/en/US/netsol/ns340/ns394/ns224/products.html.
[47]http：//www.juniper.net/us/en/solutions/enterprise/data-center/.
[48]http：//www.brocade.com/solutions-technology/industry/data-center/index.page.
[49]802.1Qbb-Priority-based Flow Control， http：//www.ieee802.org/1/pages/802.1bb.html.
[50]802.1Qau-Congestion Notification， http：//www.ieee802.org/1/pages/802.1au.html.
[51]M.Alizadeh， A.Kabbani， B.Atikoglu， etc.Stability Analysis of QCN：The AveragingPrinciple.ACM SIGMETRICS 2011，San Jose， CA.
[52]W.Jiang， F.Ren， R.Shu， etc.Sliding Mode Congestion Control for Data Center EthernetNetworks.IEEE INFOCOM 2012，Orlando， FL.
[53]A.Kabbani， M.Alizadeh， M.Yasuda， etc.AF-QCN：Approximate Fairness with QuantizedCongestion Notification for Multi-tenanted Data Centers.IEEE HOTI 2010，CA.
[54]Y.Hayashi， H.Itsumi， M.Yamamoto.Improving Fairness of Quantized CongestionNotification for Data Center Ethernet Networks.IEEE ICDCS workshop 2011，Minneapolis， MN.
[55]M.Hayasaka， T.Sekiyama， S.Oshima， etc.Dynamic Pause Time Calculation Methodin MAC Layer Flow Control.BMSB 2010，Shanghai， China.
[56]S.Fang， C.H.Foh， K.Aung.Differentiated Ethernet Congestion Management forPrioritized Traffic.IEEE ICC 2010，Cape Town， South Africa.
[57]A.Anghel， R.Birke， D.Crisan， etc.Cross-layer flow and congestion control for datacenter networks.DC-CAVES，2011，San Francisco， CA.
[58]M.Mahalingam， D.Dutt， K.Duda， etc.VXLAN：A Framework for OverlayingVirtualized Layer 2 Networks over Layer 3 Networks.IETF draft，2011.
[59]M.Sridharan， K.Duda， I.Ganga， etc.NVGRE：Network Virtualization using GenericRouting Encapsulation.IETF draft，2011.
[60]J.Mudigonda， B.Stiekes， P.Yalagandula， etc.NetLord：A scalable multi-tenant networkarchitecture for virtualized datacenters.ACM SIGCOMM 2011，Toronto， Ontario， Canada.
[61]A.Shieh， S.Kandula， A.Greenberg， etc.Sharing the data center network.USENIXNSDI，2011，Boston， MA.
[62]T.Lam， S.Radhakrishnan， A.Vahdat.NetShare：Virtualizing Data Center Networksacross Services.Technical Report， UCSD，2010.
[63]L.Popa， A.Krishnamurthy， S.Ratnasamy， etc.FairCloud：sharing the network in cloudcomputing.HotNets 2011，Cambridge， MA.
[64]C.Guo， G.Lu， H.Wang， etc.SecondNet：a data center network virtualization architecturewith bandwidth guarantees.ACM CoNext 2010，Philadelphia， PA.
[65]H.Ballani， P.Costa， T.Karagiannis， etc.Towards Predictable Datacenter Networks.ACMSIGCOMM 2011，Toronto， Ontario， Canada.
[66]U.S.Environmental Protection Agency.Data Center Report to Congress.http：//www.energystar.gov.
[67]B.Helle， S.Seetharaman， P.Mahadevan， etc.ElasticTree：Saving Energy in DataCenter Networks.NSDI 2010，San Jose， CA.
[68]M.Gupta， S.Grover， S.Singh.A Feasibility Study for Power Management in LANSwitches.IEEE ICNP 2004，Berlin， Germany.
[69]G.Ananthanarayanan， R.Katz.Greening the Switch.HotPower 2008，Berkeley， CA.
[70]M.Gupta。S.Singh.Using Low-Power Modes for Energy Conservation in EthernetLANs.IEEE INFOCOM 2007，Anchorage， AK.
[71]S.Nedevschi， L.Popa， G.Iannaccone， etc.Reducing Network Energy Consumptionvia Sleeping and Rate-Adaptation.USENIX NSDI 2003，San Francisco， CA.
[72]C.Gunaratne1，K.Christensen1，B.Nordman.Managing Energy Consumption Costsin Desktop PCs and LAN Switches with proxying， split TCP connections， and scaling of Link Speed.International Journal of Network Management，2005，15（5）：297-310.
[73]C.Gunaratne， K.Christensen， B.Nordman， etc.Reducing the Energy Consumptionof Ethernet with Adaptive Link Rate（ALR）.IEEE Transactions on Computers，2008，57：448-461.
[74]Y.Shang， D.Li， M.Xu.Energy-aware Routing in Data Center Network.ACM SIGCOMMWorkshop on Green Networking 2010，New Delhi， India.
[75]K.Greene， TR10：Software-Defined Networking， Technology Review（MIT），2009.
[76]Open networking foundation， https：//www.opennetworking.org/index.php.
[77]OpenFlow-Enabling Innovation in Your Network.http：//www.openflow.org/.
[78]G.Lu， C.Guo， Y.Li， etc.Server Switch：A Programmable and High PerformancePlatform for Data Center Networks.USENIX NSDI2011，Berkeley， CA.
[79]F.Ren， W.Jiang.Phase Plane Analysis of Congestion Control in Data Center EthernetNetworks.ICDCS 2010，Genoa， Italy.
[80]Y.Shang， D.Li， M.Xu.A Comparison Study of Energy Proportionality of Data CenterNetwork Architectures.ICDCS Workshop on DCPerf 2012，Macao， China.
[81]X.Wang， Y.Yao， X.Wang， etc.CARPO：Correlation-Aware Power Optimization inData Center Networks.IEEE INFOCOM 2012，Orlando， FL.
[82]D.Niu， C.Feng， B.Li.On Pricing Cloud Bandwidth Reservations under DemandUncertainty.ACM SIGMETRICS/Performance 2012，London， UK.
[83]D.Niu， C.Feng， B.Li.A Theory of Cloud Bandwidth Pricing for Video-on-DemandProviders.IEEE INFOCOM 2012，Orlando， FL.
[84]D.Guo， T.Chen， D.Li， etc.Expandable and Cost-Effective Network Structures for DataCenters Using Dual-Port Servers.to appear in IEEE Transactions on Computers.