使用A100和V100GPU运行RapidCFD

[gtian]

@李东岳

李老师，这个动态链接库是怎么设置的啊？还有一个小问题就是当我source etc/bashrc之后，这个$MPI_ARCH_PATH总是指向一个固定的openmpi的位置，比如：

/RapidCFD/ThirdParty-dev/platforms/linux64Nvcc/openmpi-4.0.2: No such file or directory

但是，实际上我想用的是openmpi-2.1.1, 这个$MPI_ARCH_PATH 应该怎么弄可以调整一下路径呢？

[李东岳]

@gtian 你看一下OpenFOAM-8/etc/config.sh/mpi里面，这里面有路径的设置。每个mpi都可以设置

[gtian]

@gtian 李老师，如果是比较老的版本呢？ openfoam 2.3.0,
这个文件在什么位置啊？

[李东岳]

etc/config/settings.sh 2.3应该在这个里面

[gtian]

@李东岳
谢谢李老师，问题已经解决了，就是这个问题。
在/etc/config/settings.sh中这个位置是可以修改一下的.

export FOAM_MPI=openmpi-2.1.1
    # optional configuration tweaks:

之后，可以还会出现bug：

opal_shmem_base_select failed
--> Returned value -1 instead of OPAL_SUCCESS

按照 链接文本
修改既可.

现在可以同时并行2块A100了，我在测试一下8块V100的效果.
分享一下目前的测试结果，都是LES的结果， 都是不可压缩的绕流和壁湍流问题。6000w网格的时候，一块A100都可以顶的上320个cpu进程了.

[gtian]

@gtian

有时候，我脑子一热，重启了电脑，就会出现找不到显卡的情况: nvidia-smi报错：command not found.

gpu重启以后，是默认关闭的，解决方法，在root下执行：
nvidia-smi -pm 1.

[李东岳]

6000w网格的时候，一块A100都可以顶的上320个cpu进程了.

很不可以思议

大佬这个是不是普适性的？你那面a100怎么搞到的

[gtian]

@李东岳

李老师，
测试结果，只能作为一个简单的参考用，而且都是针对不可压绕流的问题。

加速的问题，之前论坛上就有过讨论，关于GAMG和PCG在多进程下的速度问题。我的个人观察是GAMG在OpenFoam框架下更加适合且稳定。RenumberMesh其实我了解的不多，但是个人观察发现加速程度不明显。
关于求解Ax=b的问题，那一定是有最优方法的，并且是在不断更新进步的，比如PBiCGStab 就非常快。
我个人不是做算法的，所以，只能是做一下应用。A100是组里买来给深度学习用的，我就是借着人工智能的光，测试一下。还有一个发现就是并行GPU A100 2块运算目前并没有给我带来想要的加速效果（1400W case）。短期来看，基于CPU 的集群上跑CFD 可能还是主流。但是，价格决定市场，如果GPU价格能够降到可以接受的程度，就不一定了。
以上都是自己跑着试试看的，仅供参考.

[heike256]

@gtian 太感谢了，这是我期待已久的benchmark

[李东岳]

才看到这个回复。现在A100/V100太贵了，之前我问忘了是A100还是V100来着，要10万一个。好像国内有个A800稍微便宜一些。GPU计算这个如果硬件能够解决的话。目前来看GPU都是第三方写的外挂。还需要各大vendor做适配。也需要一段功夫。

不过你这整的挺厉害，都跑起来了，我对第三方写的包总是不敢尝试，经常出错。目前上亿网格我偏向petsc

[李东岳]

@gtian 是否可以测试下200万网格的效果？https://www.cfd-china.com/topic/3988/200万网格并行算力测试-openfoam版本