HPC高性能计算和3D桌面云解决方案-20130612(3)

x440刀片计算节点：

选用IBM Flex System x440服务器作为高性能计算系统的大内存计算节点。每个计算节点配置4颗Intel Xeon E5-4650处理器2.7GHz，每节点32个CPU内核，256GB内存。

IBM Flex System x440 计算节点在性能方面进行了调整，支持超大容量内存配置，支持32个物理CPU内核，可以运行对CPU和内存有更高要求的多线程并行程序。

dx360 M4 可视化显示和GPU计算节点：

配置2台 dx360 M4服务器，每台配置两路Intel Xeon E5-2680（8C/2.7GHz）处理器，128GB DDR3 RDIMM内存（8GB/内核），2块300GB 15krpmSAS硬盘，双千兆以太网接口，FDR Infiniband扩展卡。

每台dx360 M4服务器配置2块Nvidia VGX K2 GPU显示模块。

登录、存储和管理节点：

选择配置IBM x3550M4服务器作为系统登录节点，以及集群系统的管理节点。2台x3650M4用来为集群系统提供GPFS并行文件存储服务，可以充分保证系统的IO吞吐能力，且GPFS存储节点的任意1个故障都不会导致整个系统不能运行数值预报作业，或不能访问数据文件。

全线速的高速计算网络：

每台计算节点、存储节点、登录节点之间采用最新的56Gb FDR Infiniband连接，保证系统的通信性能和节点的计算性能相匹配。

采用2台刀片机箱内置FDR IB交换机，1台用户原有机架式IB交换机交叉互相连接，全线速连接所有的计算节点和存储节点，保证应用程序和I/O的高带宽低延迟要求。

管理网络：

为所有节点之间的管理和访问信息，提供千兆以太网链路，承载运行集群的

HPC高性能计算与3D工作站统一平台方案

管理、调度的网络通讯信号。

并行存储系统：

在本系统中，我们配置了IBM System Storage DCS3700，共配置60块6Gb 2TB近线SAS硬盘。System Storage DCS3700 专为空间、性能和容量为关键驱动因素的环境而设计，非常适合有着苛刻带宽要求的高性能应用。计算节点、GPFS存储节点、登录节点之间采用Infiniband连接，系统磁盘IO数据通过高速的InfiniBand链路传输。GPFS服务节点和光纤磁盘存储系统之间采用双路8Gbps光纤通道连接。这样可以同时保证性能并提供无单点故障的高可用性。

系统支撑软件:

1) 操作系统 ：

服务器节点推荐部署CentOS 64位LINUX企业级操作系统。平台支持扩展为Windows和Linux混合部署的操作系统平台，同时满足用户对Windows和Linux两种主流操作系统的需求。

2) 作业调度系统Platform LSF

方案推荐配置IBM Platform LSF高性能计算集群调度软件，能够提供丰富的任务调度策略，满足不同用户习惯的使用，和现有集群环境实现良好的集成。

针对高性能计算领域推出的集群管理系统，支持异构的、分布式Uinx/Linux，Windows计算环境，提供可靠的集群管理、负载共享、复杂的作业管理及调度功能和大规模并行计算的能力，可以有效提高大型计算任务的资源利用率，从而提高许可证本身的有效利用率。

3) 编译器和并行环境

在并行计算环境方面，提供了支持 Infiniband 高速网络的MPI并行环境，包括Open MPI和MVAPICH。

在编译器方面，Linux发布版本中包含的GCC编译器是许多用户选择使用的编译器。为了在Intel平台上获得更为优化的性能，提供来自英特尔的C++和Fortran 编译器。

4) GPFS并行文件系统

GPFS (General Parallel File System) 是 IBM 公司的一个共享文件系统，起源

HPC高性能计算与3D工作站统一平台方案

于 IBM SP 系统上使用的虚拟共享磁盘技术 ( VSD )。作为这项技术的核心， GPFS 是一个并行的磁盘文件系统，可以将文件存储在多个节点和磁盘上，提高访问效率，你可以将其视为一个巨大

的 “虚拟磁盘"。GPFS保证在资源组

内的所有节点可以并行访问整个文件

系统。而且针对此文件系统的服务操

作，可以同时安全地在使用此文件系

统的多个节点上实现。

GPFS 允许客户共享文件，而这些

文件可能分布在不同节点的不同硬盘

上。它提供了许多标准的 UNIX 文件

系统接口，允许应用不需修改或者重新编辑就可以在其上运行。 GPFS 提供的文件系统操作服务可以支持并行应用和串行应用，它允许任何节点（这些节点属于同一个节点组）上的并行应用同时访问同一个文件或者不同的文件。

GPFS并行文件系统区别于其他的集群文件系统的特点是，在多个AIX、Linux节点中，为应用提供并发的、高速的文件访问，提供突出的性能，尤其是大数据量的顺序操作，典型的GPFS应用适用于多个节点，但对单个节点也能提供有益的性能。

3.2 基础架构层方案特点

高可靠性与稳定性是关键业务用户最关心的指标之一，也决定了系统在生命周期内能真正提供多少服务能力。

本方案中的节点选用专门用于大规模高性能计算集群的IBM PureFlex System，其平均无故障时间高于通常的服务器，故可保证整个系统的平均无故障时间在合理的水平之上。

所有CPU计算节点采用全刀片系统，稳定且易于管理。PureFlex x440本来就是定位于大规模集群中所使用的节点，因此都具有高可靠性和完善的高可用性特征。因此在节点内发生的大多数故障都对用户和应用是透明的。

HPC高性能计算与3D工作站统一平台方案

计算节点、管理节点、I/O节点等均为双路电源供电，任意一条交流电源电路出现故障均不会影响整个系统运行。

本系统集群采用xCAT、CMM、IBM Platform进行部署、监控、管理、资源调度。整套系统易于管理维护，操作简便、可靠和稳定。

统一、弹性、可靠、高速的并行存储平台。方案配置了1套IBM System Storage DCS3700，2台GPFS存储节点和光纤磁盘存储系统之间采用双路8Gbps光纤通道连接，这样可以同时保证并行IO性能，并提供无单点故障的高可用性。

System Storage DCS3700 专为空间、性能和容量为关键驱动因素的环境而设计，非常适合有着苛刻带宽要求的高性能应用。计算节点、GPFS存储节点、登录节点之间采用Infiniband连接，系统磁盘IO数据通过高速的InfiniBand链路传输。

c

统一存储平台的方案特点：

(1)弹性的存储平台，可用容量、IO性能可以“按需扩展”，在不停止服务的情况下，文件系统可支持存储系统在线扩充和缩小容量，支持动态加入和移除磁盘，支持在线升级；

(2)高可靠性和高可用性，存储平台设计无单点故障，具备良好的容错和恢复功能，支持元数据和数据的复制，提供方便的用户管理和数据备份支持；

(3)支持来自FC-SAN、TCP/IP和Infiniband等多种网络的、统一的数据存取访问功能，支持多种网络同时数据存取访问功能；

(4)可以支持Windows Server与Linux、Unix混合数据存取；Linux、Unix和Windows操作系统均支持并行文件系统的Native客户端方式访问；

(5) 提供多集群模式支持，支持本地和远程的并发数据访问；

(6)支持数据分层存储和信息生命周期管理；可以根据用户设定的策略，自动、透明的在不同转速的磁盘池之间动态迁移数据，优化数据存储效率。

IBM高性能计算方案整体特点，综述如下：

HPC高性能计算与3D工作站统一平台方案

3.3 基础架构层配置概览清单和功耗估算

硬件部分：

HPC高性能计算与3D工作站统一平台方案

软件及服务：