200万网格并行算力测试（OpenFOAM版本）

田畔的风

@星星星星晴大佬你好，请问这个Apple M1是Macbook Air 13上的么？最近看到有人已经成功在M1上编译了OpenFOAM，想买个M2的macbook air跑跑小算例顺便远程工作站使用。

星星星星晴

@田畔的风不是我是M1 Mac Mini + Parallels Desktop虚拟机跑的，不是编译的好像OpenFOAM 2206可以在mac上编译了
我用的OpenFOAM 8 好像还不支持编译，只支持docker

星星星星晴

@田畔的风另外我不建议你买air，没散热啊，最好还是Pro

田畔的风

@星星星星晴非常感谢！主要是考虑到便携和静音，拿来开会或者以后授课似乎不错，现在手头的普通笔记本略吵...不过新Air拉满配置和旧Pro14丐版差不多了，目前还在纠结哈哈

星星星星晴

@田畔的风豪啊，我个人觉得如果不涉及到模拟什么的M1 丐版就够了，平时没啥跑大程序的需求的话。。

星星星星晴

CPU 型号： Intel(R) Xeon(R) CPU E5-2690 v4 @ 2.60GHzx2
系统：Ubuntu 18 真系统 
内存：756GDDR4 ECC
OpenFOAM： OpenFOAM-8

28 177.68
16 205.01
8 213.6
4 341.58
2 666.25

星星星星晴

CPU：E5 2680v4 双路
内存: 8*16g DDR4 2133RECC
系统：Ubuntu 20.04
OpenFOAM 版本：OpenFOAM-8

28 138.93
16 156.39
8 185.12
4 328.68
2 661.2
1 1240.7

真的是有意思 2690 没干过2680.。还差不少

田畔的风

入手了一台MacBook，在macOS上原生编译的OpenFOAM-v2206居然和Ubuntu ARM虚拟机上的OpenFOAM-10半斤八两。

CPU型号：Apple M1 Max 8P+2E (MacBook Pro 16 2021)
系统：macOS Monterey 12.3 真系统
内存：64GB LPDDR5 6400MHz
OpenFOAM版本：OpenFOAM-v2206

8 166.85
4 277.05
2 467.17
1 798.8

CPU型号：Apple M1 Max 8P+2E (MacBook Pro 16 2021)
系统：Ubuntu ARM 20.04 虚拟机
内存：32GB LPDDR5 6400MHz
OpenFOAM版本：OpenFOAM-10

8 154
4 289.836
2 453.656
1 803.381

李东岳

@田畔的风我去，那面都DDR5内存啦？

田畔的风

@李东岳是的，现在消费级平台已经开始普及DDR5内存了。苹果这个芯片里的CPU和GPU是共享内存的，所以理论内存带宽很大，但是似乎8个CPU核心无法饱和那么大的带宽。

星星星星晴

@田畔的风兄弟，给个原生编译的教程呗？我这边只是M1的air 和mini 还是跑的虚拟机

田畔的风

@星星星星晴我基本参照的是这个教程https://github.com/BrushXue/OpenFOAM-AppleM1

CarmeloSun

CPU: Intel(R) Xeon(R) CPU E5-2683 v4 @ 2.10GHz

系统：ubuntu 20.04
版本：openfoam-8

cores Wall time (s):

32 163.49
16 182.26

不知道同一个CPU比如16核32线程的被识别成32核32线程会不会影响速度
看这个测试32核并行速度比16核快但是已经超过了物理核数16核了

heike256

AMD Ryzen 5600G CPU，2x16GB 3200MHz内存
Windows 11 WSL2 with Ubuntu 20.04
OpenFOAM2112

# cores   Wall time (s):
4 416.83
2 488.85
1 1017.22

heike256

上海超算魔方III集群score队列，该队列仅允许提交小于32核的作业，所以只测试到了16核。单节点配置如下：
CPU：Intel,Gold 6142 2.6GHz
单节点内存：192.0GB DDR4
网络：Omni-Path,100Gbps
存储：ParaStor,300 5800TB
操作系统：Linux
作业管理系统：LSF 10.1

测试结果如下：

# cores   Wall time (s):
------------------------
16 138.15
8 203.86
4 333.54
2 651.75
1 1300.79

lgw

M1 MacBook Air 丐版
系统：macOS 13.0.1 真系统
OpenFoam版本：OpenFoam v2206
截屏2022-11-12 10.28.17.png
我是从链接：https://github.com/gerlero/openfoam-app/tree/v1.8.4
直接下载app使用的，运行的时候有警告，只有1个核的数据。

cyberk

CPU型号：AMD 霄龙 7763双路
系统：真系统 Ubuntu18.04
OpenFOAM版本：OpenFOAM-7
128 36.17
64 42.78
32 73.29
16 99.53
8 129.85
4 240.07
2 414.92
1 861.36

cyberk

CPU型号：AMD 霄龙 7763双路
系统：虚拟机 Ubuntu18.04
OpenFOAM版本：OpenFOAM-7
128 44.44
64 47.05
32 63.96
16 140.24
8 159.79
4 253.19
2 414.95
1 891.46

cyberk

CPU型号：Intel(R)  i7 12700
系统：真系统 Ubuntu18.04
OpenFOAM版本：OpenFOAM-7
20 284.15
16 286.09
8 211.63
4 267.82
2 361.69
1 618.32

李东岳

@heike256 为什么只能提交小于32核的作业呢？

李东岳

@cyberk 谢谢 7763好像两次数据不一样 12700表现平平

cyberk

@李东岳李老师好，第一个7763是真系统跑的，第二个7763是虚拟机跑的。

李东岳

@cyberk 什么虚拟机可以跑128核啊？vmware这面不是限制最多16核？

cyberk

@李东岳 VMware vSphere，在服务器上使用的虚拟机

李东岳

我还不知道VMware vSphere 我这面服务器跑的都是普通的vmware 我让学生研究下

heike256

@李东岳调度规则限制。魔方3分了两个队列score和snode，score适用于并行数不超过单个节点核数（32核）的小规模并行和串行任务，并行数超过单节点则需提交到snode队列，且必须调用整个节点。这个算例规模太小，就没测跨节点并行的效率。

200万网格并行算力测试（OpenFOAM版本）

cores Wall time (s):

32 163.49 16 182.26

32 163.49
16 182.26