HPC上运行OF

leilei

@cccrrryyy
非常感谢老的师耐指点
FYI:

学校的hpc
现能 load 和用OF了。。。但还有2点不清楚.。。

其中2/2要请教老师：

1/2 很多基于OF开发的库，如是PC上的linux，在OF目录下编译安装就行。。。但不知 hpc 上，load OF 是否也把 OF的环境自动加上了？如行，就不用再装OF，直接编译库就行了。。。。当然这我能自己试
2/2 hpc上不能 sudo，如自己装OF，只能 load 把 “System Requirements” (e.g. gcc ) 一个个加上。。。想请教老： hpc上如何 load scotch? 我 hpc 上，能编译 OF，没成功。。。。这问题 PC 上也遇到过，后来把 scotch 装上，OF就编译成了。。。。但 hpc 上，我找不到 scotch 的 module，同时又不能 sudo 安装

谢谢老师的多次回复

cccrrryyy

@leilei 为什么要纠结OF的环境变量有没有加上呢，你可以任意输一些命令确认这个事情。所谓的load OF只是一条命令，它的背后一定是类似于source的命令，如果想确认你输入了load OF之后到底有没有用，可以直接查看它对应的命令，这样就很明确了。

scotch是一个库，如果没办法load，不一定非要su权限才可以安装的吧？hpc下每个用户的账号都相当于一个独立的环境，不可能不让装的。

leilei

@cccrrryyy
谢谢老师的回复
那我就应该不用再安装OF了。。。

hpc上scotch 肯定装了，只是我不知道名字，没法load .... 以前 PC 上能用 sudo 直接在线装。。。现hpc上搜不出它的名字。。。但问题应该不大

再次感谢老师多次耐心的指点

leilei

还要请教各位老师一下：
基于一个计算任务，如何分配 node 和 core 及内存的资源？

刚开始用，一点经验都没有。。。

谢谢

gemini

@leilei 在 HPC上运行OF 中说：

还要请教各位老师一下：
基于一个计算任务，如何分配 node 和 core 及内存的资源？

刚开始用，一点经验都没有。。。

谢谢

这个问题，超算管理员是咋说的？

leilei

@gemini :
谢谢回复
他们主要提供“平台”和处理故障

gemini

@leilei 那就跟你怎么并行跑OpenFOAM有关了，我以前用的mpirun命令，但没有自己指定过节点，刚看了一下文档（bash下输man mpirun），似乎可以通过-hostfile或者其它选项做资源管理。

（你问的不属于OpenFOAM的范畴，纯粹是平台/操作系统的问题，Debian系的Linux系统一般可以用taskset将进程绑定到特定CPU。）

leilei

@gemini
谢谢回复
对，哈哈，“航母群”里问“飞机”问题。。。但如是F18，可能“航母群”更有针对性。。。麻烦问下，你看的是什么手册？谢谢

这OF群人才众多，哪位高人能指点下，我刚接触，经验是0

谢谢大家

李东岳

@leilei openfoam这个并行效率跟调试的关系非常大。openfoam这个效率跟商软不太一样。还取决于你的网格大小。

基于一个计算任务，如何分配 node 和 core 及内存的资源？

针对你这个问题，如果小网格的话，跑一个node就行了。只有上大网格，几千万以上的时候，可以跑多节点。

内存资源这个不是你控制的。如果交换机不是瓶颈。可以跑多个节点，每个节点跑一半的核心。

总体来说，还是最好自己测试一下。openfoam跟商软不太一样。需要实测一下最优的性能。

leilei

@李东岳 :
太谢谢李老师了
再追两问：

这方面有专门的书或资料可借鉴吗？我 google 了 hpc node core allocation 但没找到有用的
看有的 sbatch 文件，与 node, core 有关的都在文件开头，但都被 # 给 comment 掉了。。。
1/2 为什么？
2/2 # 后，还会执行吗？

如李老师有时间，你帮看看，问题很困惑我。。。。。再次感谢

gemini

@leilei 在 HPC上运行OF 中说：

麻烦问下，你看的是什么手册？

没有什么手册，我都是baidu + 自带文档

李东岳

没有书，我这也都是自己测试总结的。我总结的是我自己发现的规律。我觉得具有一定普适性。#SBATCH是一起的。所以这个不是注释掉了。

If you are writing a jobscript for a SLURM batch system, the magic cookie is "#SBATCH". To use it, start a new line in your script with "#SBATCH". Following that, you can put one of the parameters shown below, where the word written in <...> should be replaced with a value.

https://hpc-wiki.info/hpc/SLURM

leilei

@李东岳 @gemini
非常感谢回复
真好像：
乡下穷小子进城遇好心人帮助，其中还有大城市美女

谢谢大家

leilei

各位老师：
网上有的说： HPC上指定了compute资源后，并行要用 srun 。。。
具体到OF，还需要要 decomposePar 和 mpirun 吗？

这问题，本人无经验，很做出难判断，只能请有经验的老师帮澄清下

谢谢老师

李东岳

srun是集群管理软件的使用
decomposePar是openfoam的使用

两个是两个东西。openfoam使用，是肯定要decomposePar的，不管你是提交作业还是直接mpirun

leilei

@李东岳 :
太感谢李老师了，明白了，谢谢。也谢谢曾帮过我的朋友。
一个玩笑：
把CFD大佬比为大城市美女，那咱乡下穷傻小子的心情就如那句歌词：
。。。would it be a sin, when i cannot help falling in love with u ........（有可能记忆有出入）

谢谢李老师

CFD中文网

HPC上运行OF