百科问答小站 logo
百科问答小站 font logo



配置管理Linux高性能计算集群需要从何开始? 第1页

  

user avatar   RO0t 网友的相关建议: 
      

直接做简单cluster其实不是太麻烦的。举个例子,总共5台服务器A,B,C,D,E,

1. 5个机器都安装好熟悉的linux发新版,安装、配置好inter编译器(用来编译mpich之类的,性能比gcc好很多)、mpich2之类的。

2.打通ssh信任登陆,选一个同时做控制节点和存储节点(自己玩玩,结算过程中IO量不大的话简单的NFS就行了),其他几个机器都挂上NFS,主要的工作目录都是在共享目录上。配置好mpich2以及openpbs或者lsf之类的调度软件。

3.把mpich2里面自带的算Pi之类的c程序用mpicc编译一下,fortran的用mpif90?好多年不玩这些有点忘记了。

4.使用任务调度系统提交任务。。

PS:一般HPC cluster的结构大同小异,比如超算中心会用专门的存储服务器并且用lustre这样的分布式文件系统(自己玩就太复杂了),节点与节点直接的连接方式除了以太网外会使用infiniband(延迟是us级别,而且infiniband交换机背板带宽也很大)。编译节点也会单独分开,还会放几个debug用的节点给大家调试,但是一般这样的节点上的进程运行时间、内存会限制一下。

HPC cluster不是什么高科技,现在新玩法也就是计算节点插点显卡,做异构的架构,大部分行业内的计算软件还是用不了GPU的。我也转行几年了。有不对的地方大家指正。

一般专门讲这个的书不多,复旦车静光老师以前自己组建过一个cluetr写成了书。

FUCON96主页

内容虽然有点老,不过大概思路都是这样的。做大规模的集群本来就是发现哪里成为了瓶颈就进行改机。也可以参考一下国内 曙光和联想深腾系里的结构图。




  

相关话题

  Windows NT 内核与 Linux 内核相比哪个更安全? 
  配置管理Linux高性能计算集群需要从何开始? 
  作为一个 Emacs、终端、浏览器的重度用户,在考虑价格因素的情况下,你是否认为 Mac OS 比 Linux 发行版更值得使用? 
  Windows系统也是使用X Window协议的吗?后续的Linux为什么没有将图形实现集成在内核? 
  为什么Linux下要把创建进程分为fork()和exec()(一系列函数)两个函数来处理? 
  Linus Torvalds 开过哪些著名的嘴炮? 
  为什么 Windows 的 Linux 子系统的文件同步和 Windows 不是实时的? 
  为什么有人旁敲侧击阴阳怪气的觉得中国空间站不该用中文? 
  想买个域名然后搭建一个网站,需要哪些东西?,特别是主机服务器问题,请有经验的帮指点下,谢谢了 
  Linux 是否比 Windows 省电? 

前一个讨论
有没有什么技术能把一些闲置低性能的电脑连起来叠加它们的性能?
下一个讨论
为什么简书热门里有那么多没有深度的文章?





© 2025-06-30 - tinynew.org. All Rights Reserved.
© 2025-06-30 - tinynew.org. 保留所有权利