200万网格并行算力测试（OpenFOAM版本）

[rrmmkk]

@rrmmkk 在 200万网格并行算力测试（OpenFOAM版本） 中说：

CPU型号：Apple M4 Max 16cores (12P+4E)(摸摸Mac Studio)
内存：128G
OpenFOAM版本：OpenFOAM-v2406 (MacOS 15.3, UTM虚拟机运行 Ubuntu 22.04)

#cores---Wall time (s):
16 --- 149.62
14 --- 99.44
12 --- 66.51
10 --- 109.13
8 --- 89.67
6 --- 129.44
4 --- 170.37
2 --- 265.86
1 --- 503.73

[李东岳]

@rrmmkk 虚拟机跑这么快，真快啊！

[rrmmkk]

@李东岳 感觉ARM架构的虚拟机效率都很高啊

[李东岳]

@rrmmkk 没玩过arm的... 评价不了了

[lxz ii]

cpu型号：单路9654，主板超微
内存：16g*12 ddr5
系统：Ubuntu20.04
OpenFOAM版本：wsl-openfoam-9

#cores Wall time (s):
32 165.68
16 194.41
8 191.77
4 289.18

[lxz ii]

我这个9654怎么这么拉跨啊，哪里出了问题呢？功耗才跑到200W

[lxz ii]

@heike256 大佬，抄这个配置，请问一下这个指的是哪一个配置呢？能否指点一下苦逼的我呢？我也是使用9654,用的是wsl,结果和您的差距太大了。整的头发都掉光了。。。

[heike256]

@lxz-ii 这段时间没上cfd中文网，才看到消息，感谢你的支持和信任。wsl请问是1.0还是2.0，2.0底层用hyper-v实现的，速度应该和我这个差不多，另外host系统要用windows server，windows10/11似乎对这类高性能CPU支持不好。另外具体的调优，可以看下我发在cfdem.cn的文章，https://www.cfdem.cn/amd9654es-benchmark/
还有一个小区别，我这块9684es比9654正式版的L3Cache大一倍，但主频稍低。你有测试结果也可以分享下。

[heike256]

@lxz-ii 我仔细看了下，你这个是单路吧？我可是用了两块9654es哦，也就是有24个ddr5内存通道，这是取得突破的主要原因，当时英特尔没有24通道ddr5的机型，冠军必然是epyc 9004系列。现在，冠军应该是9684X了，看纸面参数的话。

[heike256]

@lxz-ii 单路也显得太太太慢了，单路只用32核的话，按纸面参数推算也应该在60s左右

[2019201300]

@2019201300 又测试了个9950X，双通道6000
系统：Win虚拟机
OpenFOAM版本：OpenFOAM-v2212
16 226.64
12 171.33
8 181.91
4 224.62
2 286.78
1 490.17

[Joseph]

看起来这个算例不需要128线程，64线程已经接近最优了
系统：Ubuntu24（物理机）
CPU：9554双路（不开SMT，共128个物理线程）
OpenFOAM版本：v13
编译器：Clang 18.1.3

cores	Wall time (s):
128	155.71
126	46.3761
64	24.8692
32	40.1975
8	94.1739

为了能在v13运行，稍微改了controlDict、fvSolution和fvOptions

[lxz ii]

放弃使用虚拟机了，直接整的物理机，这是计算的结果
CPU：EPYC 9654 96核心
主板：超微
linux系统：ubuntu 22.04LTS
OpenFOAM版本：OpenFOAM-9

[Joseph]

@Joseph 补充一个AOCC 5.0.0编译的测试结果：

cores	Wall time (s):
128	51.8597
126	27.8171
64	27.1637
32	36.4677
8	102.379

这个算例最佳的并行度基本在128~64之间，Clang在并行度太高时（128、126）有很明显的性能下降。AOCC的性能与clang差不多，但是并行度过高时（126）仍然没有性能下降，哪怕拉到128线程，也明显优于Clang。

[Joseph]

补充一些测试结果的汇总：

core	CE(Clang)	CE(AOCC)	org-13(Clang)
128	47.6798	51.8597	50.0183
126	29.8865	27.8171	26.5493
64	23.0015	27.1637	25.642
32	36.471	36.4677	39.819
8	95.4218	102.379	91.7573

这里CE指的是我自己魔改的OpenFOAMCE（基于v13），org-13是基金会版本的v13。8月18日的测试结果与这个结果缺乏可比性，因为期间有过一次硬件更改和很多次系统升级。

[heike256]

@Joseph 这记录终于被打破了，是不是玩儿CFD的人都比较穷，用新硬件的太少了。如果 map-by-L3Cache，最优的核心数应该是96。

[heike256]

@Joseph AMD EPYC™ 9684X这种官方钦定的CFD圣体，我一次都没见到过。你这个双路的平台是机架式还是塔式，花了多少钱？

[Joseph]

@heike256 是塔式的，具体金额并不清除，但是4代霄龙成交价一般在2w左右，考虑主板和内存价格应该总共6~8w。如果是9684X会更贵，它好像3w一颗。
我觉得自己这个记录多少有点作弊，因为最佳记录出现在自己魔改的版本。我确实爆改了imcompressibleFluid，我没有改算法，但是我删掉了所有冗余的引用。

[Joseph]

@heike256 在 200万网格并行算力测试（OpenFOAM版本） 中说：

@Joseph AMD EPYC™ 9684X这种官方钦定的CFD圣体，我一次都没见到过。你这个双路的平台是机架式还是塔式，花了多少钱？

我也很渴望一个9684X，1GB的L3缓存实在太棒了。可惜太贵了，希望五年十年之后能有大船靠岸，让我买到二手的玩一玩。

[heike256]

@Joseph 便宜很多了，我之前买的9654es差不多也这个价格，es主频太低，当时还没出9004x系列，但也足够刷新记录了，居然保持了一年多。