超算平台上多版本编译OF，串行无误并行出错？

[wwzhao]

出错信息比较明显了：
attempt to run parallel on 1 processor

你的pbs作业提交脚本有问题。

[sibo]

如果你decompose了，并且脚本中的任务信息描述正确，可以试一下把running command改成：mpirun.openmpi -np 512 solver_name -parallel；
在提交到超算前，可以先在自己电脑上并行跑一下看有没有错误。

[aiweimo]

多谢诸位，麻烦大家了。

1. @wwzhao PBS脚本在单版本OF的超算账户下运行正常，这套脚本用了3年，以前一直是单版本OF，最近在超算新开了一个账户，打算在超算alias安装多版本OF后就出错了，难道多版本OF的作业脚本不一样？PBS脚本附后。
2. @sibo 我进行decompose了，采用scotch和simple都试过。单节点28核运行时，processor0~27，在我看来是正常的。另外，mpirun.openmpi提示命令没有找到？为什么会有"dot openmpi"？我用的是OpenMPI-1.5.3。
3. 我后来去掉了$HOME/.bashrc里的alias相关语句，换成单版本的OF20x环境并更新，提交原来任务，就可以计算了。不过还是提示Warning，就是第一张图那个说“无预设参数采用默认参数”的Warning。单版本OF账户是没有的，但因为现在可以正常计算下去，所以就没有处理——现在这样子切换OF版本麻烦了些，得手动改.bashrc文件，没有alias方便，但计算过程正常。

[aiweimo]

@aiweimo

[浪迹天大]

@aiweimo
系统环境变量都用 alias 表示，然后在 PBS 脚本里边 source 你所用版本的 OF 和 MPI 环境。这样试试看呢。

[wwzhao]

@aiweimo 这个warning可能和openmpi中的openib驱动有关，你尝试着输入 ompi_info | grep openib 看看有没有相关的MCA btl

[sibo]

@aiweimo It should be fine using multiple versions of OF. I have OF2.1, 4 and 5.x in my account. However, don't use alias to source your OF in alias. Use

echo "Source OpenFOAM"
source $HOME/OpenFOAM/OpenFOAM-5.x/etc/bashrc WM_LABEL_SIZE=64 WM_COMPILER_TYPE=ThirdParty WM_COMPILER=Gcc48 WM_MPLIB=OPENMPI FOAMY_HEX_MESH=yes

Sorry I lost my Chinese input somehow.

[buaa_hgj]

@aiweimo 您好，请问怎么在red hat系统的超算平台上编译foam-extend-4.0,是否方便分享一些参考资料或者经验？

[aiweimo]

@buaa_hgj 我就是参考官方教程和wiki上的安装教程进行编译的，另外有些用于后处理的如ParaView, Qt, qmake我直接跳过了，因为我们不在超算上做后处理。整个安装过程没什么特殊的设置，就是注意跳过与后处理相关的包就可以了（当然编译后处理包也可以）。建议查看wiki和官方安装教程，另外下面是我的一个个人安装记录，可供参考：

[buaa_hgj]

@aiweimo 非常感谢。