使用A100和V100GPU运行RapidCFD

gtian

最近尝试使用GPU来跑OpenFOAM，我本人也不是擅长代码，选了simflow的RapidCFD 来跑，从结果(LES)来看，
100万网格点以内，因为大部分单个节点的CPU线程数量已经足够应付，GPU的优势不够明显。
100万网格点-1000万网格点，我的结果是A100 > V100 ~ 1.5张 Xeon Gold 6148 (20核，40进程) .
大于1000万网格点，单核V100（16G）已经出现内存不足了，单核A100（80G）可以。
我现在的想法是并行跑GPU，但问题是，在编译openmpi 的时候总是报错，总在调用一个不存在的openmpi版本。

UOPwrite.C:29:17: fatal error: mpi.h: No such file or directory
 #include "mpi.h"
                 ^
compilation terminated.
make: *** [Make/linux64NvccDPOptOPENMPI/UOPwrite.o] Error 1

大家有遇到类似的情况的吗？

李东岳

大佬你这个太高端了，A100都有。

不过从你的描述来看，找不到mpi.h文件，这个是经常发生的错误，感觉就是动态链接库的路径没设置对

gtian

@李东岳

李老师，这个动态链接库是怎么设置的啊？还有一个小问题就是当我source etc/bashrc之后，这个$MPI_ARCH_PATH总是指向一个固定的openmpi的位置，比如：

/RapidCFD/ThirdParty-dev/platforms/linux64Nvcc/openmpi-4.0.2: No such file or directory

但是，实际上我想用的是openmpi-2.1.1, 这个$MPI_ARCH_PATH 应该怎么弄可以调整一下路径呢？

李东岳

@gtian 你看一下OpenFOAM-8/etc/config.sh/mpi里面，这里面有路径的设置。每个mpi都可以设置

gtian

@gtian 李老师，如果是比较老的版本呢？ openfoam 2.3.0,
这个文件在什么位置啊？

李东岳

etc/config/settings.sh 2.3应该在这个里面

gtian

@李东岳
谢谢李老师，问题已经解决了，就是这个问题。
在/etc/config/settings.sh中这个位置是可以修改一下的.

export FOAM_MPI=openmpi-2.1.1
    # optional configuration tweaks:

之后，可以还会出现bug：

opal_shmem_base_select failed
--> Returned value -1 instead of OPAL_SUCCESS

按照链接文本
修改既可.

现在可以同时并行2块A100了，我在测试一下8块V100的效果.
分享一下目前的测试结果，都是LES的结果，都是不可压缩的绕流和壁湍流问题。6000w网格的时候，一块A100都可以顶的上320个cpu进程了.

gtian

@gtian

有时候，我脑子一热，重启了电脑，就会出现找不到显卡的情况: nvidia-smi报错：command not found.

gpu重启以后，是默认关闭的，解决方法，在root下执行：
nvidia-smi -pm 1.

李东岳

6000w网格的时候，一块A100都可以顶的上320个cpu进程了.

很不可以思议

大佬这个是不是普适性的？你那面a100怎么搞到的

gtian

@李东岳

李老师，
测试结果，只能作为一个简单的参考用，而且都是针对不可压绕流的问题。

加速的问题，之前论坛上就有过讨论，关于GAMG和PCG在多进程下的速度问题。我的个人观察是GAMG在OpenFoam框架下更加适合且稳定。RenumberMesh其实我了解的不多，但是个人观察发现加速程度不明显。
关于求解Ax=b的问题，那一定是有最优方法的，并且是在不断更新进步的，比如PBiCGStab 就非常快。
我个人不是做算法的，所以，只能是做一下应用。A100是组里买来给深度学习用的，我就是借着人工智能的光，测试一下。还有一个发现就是并行GPU A100 2块运算目前并没有给我带来想要的加速效果（1400W case）。短期来看，基于CPU 的集群上跑CFD 可能还是主流。但是，价格决定市场，如果GPU价格能够降到可以接受的程度，就不一定了。
以上都是自己跑着试试看的，仅供参考.

heike256

@gtian 太感谢了，这是我期待已久的benchmark

李东岳

才看到这个回复。现在A100/V100太贵了，之前我问忘了是A100还是V100来着，要10万一个。好像国内有个A800稍微便宜一些。GPU计算这个如果硬件能够解决的话。目前来看GPU都是第三方写的外挂。还需要各大vendor做适配。也需要一段功夫。

不过你这整的挺厉害，都跑起来了，我对第三方写的包总是不敢尝试，经常出错。目前上亿网格我偏向petsc

李东岳

@gtian 是否可以测试下200万网格的效果？https://www.cfd-china.com/topic/3988/200万网格并行算力测试-openfoam版本

CFD中文网

使用A100和V100GPU运行RapidCFD