同一节点上并行多个求解器似乎会拖慢速度

[cccrrryyy]

偶然发现的一个问题，集群的一个节点同时跑了好几套求解器（simpleFoam），都是并行的，结果计算速度慢了将近3倍。想问下有没有人碰到过同样的问题？

我猜跟mpi有关，一个节点同时需要跟好几个其他节点去交互信息，而且同一个节点上跑好几个mpi的时候，节点内部的信息交互会不会本来就特别混乱？

我们目前是大批量发作业，按照一定规则生成hostlist来指定节点间如何分配。暂时只能通过对规则做一定的限制来保证同一时段同一个节点上只有一套mpi在跑。

[李东岳]

集群的一个节点同时跑了好几套求解器（simpleFoam），都是并行的，结果计算速度慢了将近3倍。想问下有没有人碰到过同样的问题？

举例。原先30核的机器。跑30核一个算例。跑100秒。
你们开3个算例，每个10核，是这样么

[cccrrryyy]

@李东岳 大概是这个意思。比如3个30核的机器，跑3个30核并行的案例。一种是，每个案例跑一个机器上；另一种是，每个案例分10个核到3个不同的机器上。

后面那种好像速度非常慢。但是我感觉好像是，只要这一个节点上有超过一个openfoam作业的时候，就会很慢，甚至导致节点上其他作业（指其他应用，比如ansys啥的）也变慢。

[李东岳]

@cccrrryyy

一种是，每个案例跑一个机器上；

这种我们经常这么跑

另一种是，每个案例分10个核到3个不同的机器上。

这种我们还没测试过。我可以拿我的集群试一下。不过现在关机了。每次开机贼费劲...哎

[cccrrryyy]

@李东岳 辛苦李老师了，方便的话可以试试看。后面那种场景，主要是公司内集群是所有专业混用，很容易出现这种情况。甚至单单只针对OpenFOAM来说，暂时没限制节点的使用，所以会导致一个节点上能同时跑好几个计算或者计算的一部分，分别是隶属于不同作业的。