OpenFOAM并行测试

tidedrinker

楼上的说法我可以提供一点佐证。处理器是至强E5-2679v4，40核心80线程，32G内存。网格数记不清了，大概160到180万多面体-六面体混合网格。VOF，k-omega SST, Sliding Mesh。纵轴是时间，单位是秒，横轴是线程数，图是随手画的，领会精神就好：
0_1540565217472_4fb1f746-9056-41a4-9a02-6793697a188e-image.png

李东岳

楼上说的很对，验证了。CFD这面并行数量不能超过物理核心数。否则速度大大降低。

同时，经过测试，超线程关闭与否对计算结果基本没影响。我这几个测试开启超线程与否计算时间区别在20s之内

战气凌霄

并行数量不能超过物理核心数，是不是要预留一定的核心给系统进程？

李东岳

@战气凌霄这方面还没测试，寒假有空试试，不过个人感觉相差基本不大。如果有类似的经验感谢分享

hurricane007

@东岳学校的cluster，志强 6142。用的slurm，但是我不会直接提交Allrun，所以就只测试了6核（在本地运行太多怕被网管揍）
snappyHexMesh, 67.79s
simpleFoam， 149s
不过说明上说这个机器不适合MPI运行，最开始的时候出了个warning


[[51384,1],0]: A high-performance Open MPI point-to-point messaging module
was unable to find any relevant network interfaces:

Module: OpenFabrics (openib)
  Host: dragon2-ctrl0

Another transport will be used instead, although this may result in
lower performance.

NOTE: You can disable this warning by setting the MCA parameter
btl_base_warn_component_unused to 0.

李东岳

@hurricane007 你的openfoam什么版本？6？

hurricane007

@东岳 1812

hurricane007

@东岳另外一个cluster上更搞笑，处理器是志强 5118@2.3G, OF4.1，也是本地运行，均为6核，不过太慢估计是有别的原因
snappyHexMesh 96.72s
simpleFoam ExecutionTime 250.07s， ClcokTime 661s。感觉前者比较可信，因为这是个登录和编译用的节点，估计用的人比较多，后台线程比较多了。
也是有个warning

--------------------------------------------------------------------------
WARNING: No preset parameters were found for the device that Open MPI
detected:

  Local host:            lm3-m001
  Device name:           i40iw1
  Device vendor ID:      0x8086
  Device vendor part ID: 14290

Default device parameters will be used, which may result in lower
performance.  You can edit any of the files specified by the
btl_openib_device_param_files MCA parameter to set values for your
device.

NOTE: You can turn off this warning by setting the MCA parameter
      btl_openib_warn_no_device_params_found to 0.

红豆沙

表格里面是不是打错了，是213s，，2分多

李东岳

@红豆沙在 OpenFOAM并行测试中说：

里面是不是打错了，是213s，，2分多

可以测试下6核么？方便横向对比，其他几个CPU没有12核

CFD计算用的是核数就行

红豆沙

@东岳 6核下，snappyhexmesh时间：59.8s，simplefoam时间164s，，12核simplefoam时间是153s，，上面那个说错了

李东岳

@红豆沙很有意思，画网格有优势，算simplefoam没优势，AMD那个撕裂者也是，

李东岳

@hurricane007 在 OpenFOAM并行测试中说：

外一个cluster上更搞笑，处理器是志强

志强6142可以补充几个数据么？目前只有6核的simpleFoam，149秒

红豆沙

@东岳所以是不是 AMD架构采用了 ZEN2后，多核通信效率提高了，且浮点啊，整数啊运算能力提高了，，但是至强系列你耐不住INTEL爸爸的指令集，尤其对于至强系列的，更牛批啊，，对于运算更加得心应手咯

李东岳

@红豆沙不确定。我需要更多的数据然后在CFD界推一下让大家关注下。很久很久之前我以为是版本的问题，竟然不是

红豆沙

@东岳哦哦，，是不是好像那个 Intel有MKL数学运算库，，对于方程求解啥的很有用，，，这个影响在openfoam里会不会也是个原因

hurricane007

@东岳我找个时间研究下怎么提交Allrun的script。。。

hurricane007

今天终于想起把鸽了这么久的事情干了一下了，今天测试的是5118 2.3G. OpenFOAM 4.1
因为是服务器，所以先运行了surfaceFeatureExtract，blockMesh, decomposePar 以后，再用slurm 分别提交snappyHexMesh 和simpleFoam，运行完snappyHexMesh 以后把Allrun里面的这两行也运行一下再提交patchSummary, potentialFoam 和simpleFoam。不过是log文件里面是分别计时的，所以应该没影响。

ls -d processor* | xargs -I {} rm -rf ./{}/0
ls -d processor* | xargs -I {} cp -r 0.orig ./{}/0

snappyHexMesh
6C: 99.52 s
12C: 71.93 s
24C: 59.36s
simpleFoam
6C: 237 s
12C: 158 s
24C simpleFoam 时间是86s, 基本符合预期

hurricane007

再做了一个笔记本的测试，CPU i7-9750H + 16G，性能模式， win10 下 WSL Ubuntu 18.04，OpenFOAM 7，6核，
第一遍 snappyHexMesh 74.98s， simpleFoam 251s
第二遍 snappyHexMesh 69.01s， simpleFoam 256s

李东岳

@hurricane007 志强金牌5118六核计算237s？

CFD中文网

OpenFOAM并行测试