大型计算平台

    开展以震源环境、地震过程和震源破裂机理等地震科学基础研究为理论依据的动力地震预测模型研究工作，是提高地震预测水平的重要技术途径。由于地壳内部结构非常复杂，开展动力预测模型的各种研究都将面临复杂的计算和庞大的运算量，高性能计算系统是开展此类研究必不可少的技术支撑平台。为此，地震预测研究所集多个修购项目及实验室改造项目的经费，共同构建一个高性能集群计算系统。

    2008年11月，项目以国管局公开招标方式确定由北京网信未来信息技术有限公司承担供货及系统集成。2009年6月中旬完成全部软硬件的安装与集成，并投入试运行；8月27日完成计算机房装修工程验收；10月22日我所组织的专家组完成了计算机房技术系统的验收，该系统正式投入运行。

    地震预测研究所高性能集群计算系统硬件主要由192个计算节点、4个I/O节点、1个登录节点、1个管理节点、1个Windows集群服务节点、1组盘阵、1组计算与I/O网络、1组管理网络组成。

    计算节点采用DELL M1000e刀片服务器组成，共12个刀片服务器机箱，每个机箱内插16个DELL M600刀片服务器，每个刀片服务器配置2颗Intel E5440 2.83G CPU、16G内存、2个146GB热插拔SAS硬盘。I/O节点采用DELL PE2950机架式服务器，每个服务器配置2颗E5440 2.83G CPU、16G内存、2个146GB热插拔SAS硬盘。登录节点、管理节点均采用DELL PE2950机架式服务器，每个服务器配置2颗E5430 2.66G CPU、16G内存、5个450GB热插拔SAS硬盘。盘阵采用DELL/EMC CX4-120，配置20T的光纤盘、40T的SATA盘。计算与I/O网络的主交换机采用Infiniband交换机Qlogic 9120，配置108个端口，每个端口带宽为20GB；每个刀片服务器机箱内置1个24口的Infiniband交换模块，其中16口用于内联刀片服务器，8口用于上联主交换机，这样实际单个计算节点的网络交换平均带宽为10GB；4个I/O节点则采用直联方式连接主交换机，单个节点的网络交换带宽为20GB。管理网络采用13个具有2个万兆上联端口、24千兆下联端口的DELL PC6220交换机串联构成，其中12个用于连接刀片服务器的交换机内置在刀片机箱内，大大减少了外联网线；另外1个交换机用于外联其他设备和网络。

    高性能集群计算系统采用Linux集群和Windows集群并存的双系统方式集成。一般情况下，系统启动同时提供128个计算节点的Linux集群服务和64个计算节点的Windows集群服务；但遇到需要超过128个计算节点的特殊任务时，可以将系统启动为全部192个计算节点的Linux集群服务。Linux机群采用的管理系统是CHESS (ClusterTech HPC Environment Software Stack)，它科学地集成了资源管理、作业调度、用户环境、网络/并行文件系统、消息传递库、GCC (C/C++, Fortran 77/90)编译器、数学函数库、并行调试、性能分析等软件模块，为高性能集群计算提供了最佳无缝整合的、高度结构化的软件平台；Windows集群管理系统采用wccs 2008。

    地震科学计算中往往会涉及地震波形数据这种大数据量的存取访问和处理，如果在系统构建中不采取有效的技术途径就可能造成整个系统大的瓶颈，为此，本集群系统在均衡考虑资源条件、存储可靠、应用效率以及构建成本等因素的基础上，采用多种模式并存的方式来构建实际的存储系统。首先，采用双路20Gb Infiniband 网卡实现4个I/O节点和盘阵之间的物理连接，最大限度获取物理带宽。其次，将20T的光纤盘和40T的SATA盘阵分成4堆后分别独立的连接到4个I/O节点上，这部分空间的可靠性是最高的，用来分配给用户来保存长久使用的程序代码、数据（地震波形数据、遥感图像、电子地图等大型数据）等。最后，由128个独立Linux集群中刀片服务器的内置硬盘采用PVFSⅡ构建一个128并行通道的并行文件系统， PVFSⅡ是一个被普遍使用的并行文件软件，主要用来作为访问处理最频繁的临时存储空间。

    为了充分发挥系统资源的应用效率，该集群系统配置了Intel C++，Fortran 77/90编译器以提高用户编译后的程序执行速度；同时，还配置了Topview调试器用来帮助用户更方便地调试自己的程序。

    我所高性能集群计算系统的理论最高运算能力达到17.38T，反映系统整体性能的HPL (High Performance Linpack)的实测指标最高达到81.09%，相当于实际的最大运算能力达到14.1T。