深入内部 解析联想深腾1800机群服务器

2001年的世界超级计算机TOP500排行榜显示，上榜的机群系统仅占8.6%，2007年这个数字上升到了81.29%——TOP500排行榜中机群系统占据了406席。今年刚刚公布的榜单显示代号“Roadrunner”的IBM机群凭借千万亿次的性能占据了头把交椅。机群，已经成为21世纪构建高性能计算机的一大趋势。

年份	机群数量	百分比	TOP10席位	最高排名
2001年11月	43	8.6%	2	4
2002年11月	93	18.6%	6	2
2003年11月	210	42%	7	2
2004年11月	294	58.8%	5	4
2005年11月	361	72.2%	2	5
2006年11月	361	72.2%	3	5
2007年11月	406	81.2%	2	4
2008年06月	400	80%	3	1

　　机群（Cluster）系统是由多个计算机节点通过高速网络互联而成，可以协同执行计算任务从而提供极高的并行计算能力。相对于MPP系统，机群系统采用了主流通用处理、商品化量产服务器、Linux操作系统、较为成熟的高速互联技术，在性价比、可扩展性、可用性方面具有明显优势。

第一台万亿次联想深腾1800服务器

　　深腾（DeepComp）1800是联想于2002年3月推出的基于IA架构的高性能机群系统，自诞生至今6年多的时间内，在集群基础架构、集群远程控制、集群单一镜像管理、集群作业调度、集群并行文件系统等方面攻克了一道道技术难关，已经可用于多个不同领域的不同应用。比如通过配置MPI、PVM、OpenMP、DSM、HPF等用户并行编程环境和工具，可以支持Message-Passing、Shared-Memory、Data-Parallel等科学计算编程模型；通过调整计算/登录结点、存储结点和计算网络的配置，可以支持计算密集型、I/O密集型和通信密集型等不同类型的应用。

　　深腾1800服务器系统组成
　　深腾1800服务器硬件由结点（计算结点、存储结点、监控结点、登录结点）、网络（计算网络、存储交换网络、管理网络、KVM系统）和基础设施（机柜、供电系统、散热系统、布线）三大方面组成。

联想深腾1800服务器系统硬件结构示意图

　　为了便于直观形象的向读者介绍联想深腾1800服务器，我们制作了如上所示的示意图，把相关功能的部分设定为相近色系，比如，存储相关的设备都是绿色，存储结点是浅绿色，磁盘阵列是略深一点的绿色，存储网络交换机是深绿色。
　　不管是登录结点、监控结点、计算结点还是存储结点，一般都是采用的联想万全系列的机架式服务器。计算结点是深腾1800服务器的核心成员，用于执行用户程序，单机计算能力会明显的影响整个系统的性能；存储结点主要是用于向系统中其它结点提供存储服务，也可以挂接磁盘阵列等设备；监控结点用于监控系统各部分的运行状态；登录结点是通过服务域网连接终端用户，它允许用户登录到深腾1800集群所在的网络。
　　上图中蓝色表示计算结点和连接这些结点的计算网络以及相关设备，之所以监控结点和登录结点也是蓝色，是因为在一些小型系统中，这些结点是身兼多职的，在任务繁忙的时候也会参与到计算中（有的系统中则是同存储结点复用的）。现在的深腾1800服务器采用Infiniband或者千兆以太网连接计算结点组成计算域网，前者具有高带宽低延迟但成本高的特点，后者虽然相对带宽低延迟长但是成本却有优势。
　　存储相关设备在图中均为绿色，存储结点、磁盘阵列、光纤交换机、IP存储设备等。
　　为了便于维护每个结点，深腾1800服务器配置了KVM切换系统，可以方便的把服务器内的任何一个结点的视频、鼠标和键盘重新定向到控制台上。（上图中橘红色部分都是KVM切换系统所能覆盖的）。
　　配合联想LCOMS管理软件，管理员可以通过B/S架构对于每个一个结点、网络设备进行管理和配置。此外，远程用户如果有足够的权限，通过登录结点也能对于整个系统进行管理。上图中淡紫色区域所覆盖的设备都包括在这个网络中。

　　在实际应用中，用户不必选择所有的系统组成部分，而是可以根据应用程序、计算负荷、预算等因素灵活的进行选配。上图所示的是联想于2007年年初部署在上海交大生命科学技术学院的深腾1800服务器的基本结构。在这个方案采用了12个计算结点、1个胖结点、1个管理结点、1个存储结点，其中计算结点均采用了联想万全R510 G6 1U机架式服务器，每个服务器配置了两颗Xeon 5300四核处理器，总共可提供96个计算核心。整个系统主要包括了两个千兆网络，一个用于计算网络，一个用于管理网络，一个标准机柜就容纳了整个系统。

　　08年1月，联想部署在海洋大学的深腾1800服务器则相对复杂一些，它包括19个计算结点、1个管理结点/存储节点，一套千兆管理域网、一套高速千兆系统域网、一套视频切换系统、一套外置控制台、一套监控系统。从上图可以看出，19个联想万全R510双路四核计算结点采用了Infiniband网络互联为系统域网，而管理网络则是千兆以太网。

　　深腾1800跨入到45纳米四核时代
　　2006年11月份，英特尔推出了代号Clovertown的四核Xeon 5300系列处理器，联想万全R510 G6、R520 G6旋即采用了该系列处理器，更重要的是联想深腾1800服务器也马上将其部署在用户的应用中。比如2007年温州大学物理与电子信息学院科学计算平台项目就采用了联想深腾1800服务器系统，该系统的17个计算结点是配置了双路Xeon E5320处理器的R510机架式服务器，管理结点/存储结点则是R520，这套深腾1800服务器的双精度浮点峰值性能达到了1011.8Gflops。

联想万全R510 G6服务器

　　2007年以后部署的联想深腾1800服务器大多采用了万全R510 G6或者更新型号的服务器，比如上海交通大学生命科学技术学院、西北大学物理系、哈尔滨工业大学、中国海洋大学的深腾1800服务器都采用了万全R510 G6服务器。

　　万全R510 G6服务器基于Intel 5000V芯片组设计，可以支持双路Xeon 5300系列和前端总线为1066/1333的Xeon 5400系列处理器，根据配置处理器不同二级缓存数量在4-12MB不等；服务器最大可配置双通道FBD DDR2-533/667内存，最大容量可达8GB；利用芯片组整合SATA控制器或者SAS控制器可支持RAID 0/1/10磁盘阵列模式，值得肯定的是该系统虽然是1U机架式服务器，却可以安装4个3.5英寸硬盘，这意味着配合适当的独立RAID卡甚至可以支持RAID5/6磁盘阵列模式；万全R510 G6服务器集成了Intel双千兆自适应网卡，支持网卡冗余、负载均衡等功能。

联想万全R515服务器已经大量的应用于深腾1800服务器

　　2007年年底，英特尔发布了基于45纳米制程技术的Xeon 5400系列处理器，代号Harpertown。联想同期发布了万全R515系列服务器，该服务器外型同万全R510 G6非常的相似，芯片组采用了功能更强的Intel 5000P芯片组，同样支持双路Xeon 5300系列和前端总线为1066/1333的Xeon 5400系列处理器；相对于Intel 5000V芯片组，其内存子系统得以加强，可支持4通道FBD DDR2-533/667内存，通过提升内存带宽从而获得更加平衡的系统；此外这款服务器还设计有12个DIMM插槽，理论上最大可配置48GB内存，从而满足对于系统内存容量有较高需要的应用；万全R515 G6部分型号配置了256MB 8口SAS RAID控制器，可支持6个2.5英寸SAS硬盘或者3个3.5英寸SAS/SATA硬盘，支持包括RAID 5/6在内的多种高级磁盘阵列应用模式。

　　2008年3月份之后，联想部署在各地的深腾1800服务器大都采用了万全R515服务器，比如部署于东方地球物理公司的联想深腾1800高性能机群，由248个计算结点和8个IO结点共256台联想服务器构成，本地内存容量和硬盘容量分别高达2048G和74.7TB。每个计算节点服务器均支持全新45纳米高-k的四核英特尔至强处理器5400系列，理论“峰值”为每秒40万亿次的计算能力，是迄今为止联想交付给客户的最高运算级别的高性能产品。

　　在IT168记者就联想深腾1800服务器专题采访联想的过程中，发现联想的实验室、工厂中准备出货的深腾1800服务器均已经采用了基于45纳米制程技术的R515服务器。深腾1800服务器已经全面进入了45nm四核时代！