200万网格并行算力测试（OpenFOAM版本）

[2019201300]

@heike256 了解了，等有时间搞一搞这些东西，学习学习。谢谢。

[78star]

CPU型号： AMD EPYC 7532 双路
系统：ubuntu 18.04
版本：openfoam-2212
内存：256G 16G 3200MHz*16
64 100.64
32 60.53
16 102.98
8 142.93
4 272.35
2 494.72
1 1125.69

[mithraLa]

从上面的结果来看 双通道超过8个核心就有可能是负收益。内存带宽的影响有点大啊

[heike256]

@mithraLa 对啊，哪怕是14代i9，也只有8个大核，再多真没用了。7302这种神U，是8通道3200ddr4，16核，每通道2核；考虑到内存频率，6400的ddr5，每通道4核刚刚好。也就是说12通道4800的9004，每通道3核，也就是36核刚刚好。
问题是这年头，通道比核贵啊，多买几个核，效率是低了，但峰值性能还是能提高。

[guanguan0922]

CPU型号： Intel(R) Xeon(R) Platinum 8475B
系统：ubuntu 22.04
版本：openfoam10
内存：128G 16G 3200MHz*8
48 51
32 60
16 91
8 117
4 226
2 410
1 848

[秋山结月]

不知道还有人做这个测试吗，我目前拿新配的工作站32核都需要算487秒，感觉结果跟上面的各位完全不是一个画风的

[xyc53]

@李东岳 在 200万网格并行算力测试（OpenFOAM版本） 中说：

CPU型号：AMD 霄龙 7532 双路
系统：WSL1
OpenFOAM版本：OpenFOAM-v2012
64 82.27
32 87.31
16 122.87
8 150.54
4 267.48
2 503.72
1 1366.3

[秋山结月]

CPU型号： AMD Epyc 7542 32-core
系统：ubuntu 20.04
版本：openfoam9
内存：128G 32G 3200MHz*4 DDR4

32 487
16 504
8 411
4 553
2 687
1 1137

看到上面的双路能比我快接近5 6倍，有人知道到底为什么吗

[tidedrinker]

@秋山结月 内存条插满试试？之前用至强2679v4，插满比插一半快接近一半

[秋山结月]

@tidedrinker 我之前也觉得可能是因为这个，但是事实上多插了两根内存条并没有改善现状。插满内存条的经费我现在也没有，只有先等等看以后能不能重新测个数据了。

[heike256]

@秋山结月 在 200万网格并行算力测试（OpenFOAM版本） 中说：

@tidedrinker 我之前也觉得可能是因为这个，但是事实上多插了两根内存条并没有改善现状。插满内存条的经费我现在也没有，只有先等等看以后能不能重新测个数据了。

4根内存条也不至于这么慢，插4根应该是每个三缓1根，我记得这个型号一共有4块三缓，8个核心共用一块。插4根内存，8核也应该在135s左右。没改善估计是位置插错了，内存通道插满，32核成绩应该在70s左右。

[78star]

@秋山结月 哥们你跑你自己实际算例怎么样呢？这个测试的网格量感觉不多，你要自己实际跑算例可以的话也不影响吧，和平常用的超算对比对比1节点的速度差距？

[tidedrinker]

CPU型号：AMD EPYC 7R13 * 2
系统：linux系统(Linux Mint 21.2)
OpenFOAM版本：OpenFOAM-6
内存：32G*16 DDR4 3200MHz
96 46.07
64 40.19
48 42.57
32 46.25
16 97.51
8 112.41
4 207.68
2 422.19

[tidedrinker]

不同的OpenFOAM版本之间也有差别，虽然不大，而且看不出明显趋势。不过32核那个可能有问题，两次测试变化太大了。

CPU型号：AMD EPYC 7R13 * 2
系统：linux系统(Linux Mint 21.2)
内存：32G*16 DDR4 3200MHz

OpenFOAM版本：OpenFOAM-4.1
96 44.38
64 39.1
48 41.29
32 58.09
16 94.49
8 107.47
4 199.38

OpenFOAM版本：OpenFOAM-6（第二次测试）
96 45.39
64 40.25
48 42.29
32 60.87
16 100.31
8 112.86
4 207.55

OpenFOAM版本：OpenFOAM-8
96 42.68
64 43.3
48 42.14
32 57.55
16 92.04
8 111.63
4 209.84

OpenFOAM版本：OpenFOAM-10
96 42.5716
64 43.5094
48 42.5608
32 59.3897
16 91.1536
8 112.216
4 211.765

OpenFOAM版本：OpenFOAM-v2112
96 42.6
64 42.96
48 41.78
32 70.65
16 91.49
8 111.51
4 207.41

[heike256]

@tidedrinker 老兄设备多啊，不上7773X吗？更大的三缓也很关键

[AntiEntropieR]

CPU型号：AMD Ryzen9 7900X3D
内存：16G*2 DDR5 6000MHz
OpenFOAM版本：OpenFOAM-11 WSL2

---

12 153.389
8 172.963
6 206.694
4 224.681
2 321.825
1 565.547

[AntiEntropieR]

@AntiEntropieR 在 200万网格并行算力测试（OpenFOAM版本） 中说：

CPU型号：AMD Ryzen9 7900X3D
内存：16G*2 DDR5 6000MHz
OpenFOAM版本：OpenFOAM-11 WSL2

---

12 153.389
8 172.963
6 206.694
4 224.681
2 321.825
1 565.547

又测了一次，快了一些

---

12 144.987
8 158.906
6 192.931
4 213.781
2 306.722
1 529.964

[tidedrinker]

CPU型号：AMD EPYC 7C13 * 2
系统：linux系统(Linux Mint 20.3)
OpenFOAM版本：OpenFOAM-6
内存：16G*16 DDR4 3200MHz

128 49.08
96 46.07
80 43.48
64 39.54   62/2
48 44.98   63/2
32 54.83   107/4  78/3
16 99.59  

/2的就是两个算例一起跑的平均时间，/4就是四个一起跑的平均，看上去32×4的跑法更经济一点。但是具体的和网格量、计算设置有关，我用大概250w网格带VOF和动网格的测试，就是64×2更经济。

另外就是，好像AMD推荐的调优用处不大，包括SMT关不关区别很小。影响比较大的是NPS，我测试的结果是，NPS =4的话，128核最快比其他128核都快；NPS = 2的话，64核比其他64核都快。而且NPS2的64核比NPS4的128核快，比NPS4的64核快很多；但是NPS4的128核只比NPS2的128核快一点，一两秒的样子。

@heike256 大部分设备都不是我的，借来测一下；我倒是想搞7773X，甚至想搞9654，毕竟内存带宽大一倍，但是没钱，没钱是一切妥协和将就的根源。

[Be1tazzz]

李老师，这个测试的链接好像没有了

[heike256]

@tidedrinker 39s相当炸裂了。NPS我倒是没改过，我有机会试试。