200万网格并行算力测试（OpenFOAM版本）

[李东岳]

我还不知道VMware vSphere 我这面服务器跑的都是普通的vmware 我让学生研究下

[heike256]

@李东岳 调度规则限制。魔方3分了两个队列score和snode，score适用于并行数不超过单个节点核数（32核）的小规模并行和串行任务，并行数超过单节点则需提交到snode队列，且必须调用整个节点。这个算例规模太小，就没测跨节点并行的效率。

[Timetheonce]

CPU型号：1135G7
系统：Ubuntu 22.04.2 LTS
OpenFOAM版本：OpenFOAM-10
4 766.951
2 687.98
1 897.375

[shawJ]

CPU型号：AMD EPYC 7302 （2）
系统：Ubuntu 20.04 LTS
OpenFOAM版本: OpenFOAM-v1906
32 77.91
16 104.34
8 142.72
4 273.18
2 528.45
1 1128.94

[heike256]

@shawJ 7302真是最适合openfoam的CPU了

[shawJ]

@heike256 是的，而且价格优美，7302*2+H11dsi板U套也是3K多，性价比之王

[文昌鱼]

龙芯平台的测试数据，以供参考。

CPU型号：Loongson-3A5000LL
系统：Loongnix GNU/Linux 20 (DaoXiangHu)
内核：Linux 4.19.0-19-loongson-3 (loongarch64)
OpenFOAM版本：OpenFOAM-v2206
4 902.14
2 1172.93
1 1993.66

linux内核 6.0版本之后会有原生的loongarch架构支持，等搞定系统以后再测一版。

[文昌鱼]

@文昌鱼 内核升级到6.3，编译器更新到gcc-13之后基本没有提升，硬件极限到此为止了，软件优化几乎没有效果。

[李东岳]

@文昌鱼 多谢反馈！你们这一套能换U不，如果能换U，我可以给你们找一套更屌的U，费用我来出，然后你们测试测试？

[hurricane007]

@文昌鱼 这个好！！！

[CFDngu]

CPU型号：AMD EPYC 7763 64-Core （双路）
系统：ubuntu18.04
内存：256G ddr4
OpenFOAM版本：OpenFOAM v2006
128 125.5
64 105.71
32 109.28
16 124.35
8 171.75
4 276.83
2 517.43
1 887.79

超线程已关，结果不怎么样，难不成我这个是假7763？请问如何优化？（刚组的机器，没多长时间）

[李东岳]

@CFDngu 不管是7763还是7742, 128核都不是最优的，我这面测试80核左右会有最优性能，你试试

[heike256]

@CFDngu 买的是二手吗？9004系列24通道DDR5内存，差不多能用到128核

[heike256]

@李东岳 李老师啥时候推DDR5的加特林？

[CFDngu]

@heike256 不是二手，发现原因了，内存槽没插满。。

[CFDngu]

@李东岳 之前慢的原因是没有插满内存，插满后试了一下，确实是80核左右最快。

结果如下：
128 42.75
80 37.13
64 43.1
32 71.04
16 93.86
8 118.65
4 222.97
2 385.11
1 799.57

[李东岳]

@heike256 目前还没法测试。加速比要调试。目前还没有单。没单的时候自己测试加速比，这10台机器直接压手里了。

[heike256]

@CFDngu 新的花了多少钱？

[hurricane007]

@CFDngu 我在想是不是这个多少核的加速比最大和网格数量也有关。感觉是这个网格数量下，80核恰好能用满内存带宽。之前东岳兄提到过单路32核最快，会不会也是测试的网格数量某种程度恰好吃满内存带宽了，所以单个刀片加核数就卡在通讯那儿了……

[CFDngu]

@heike256 5万