超算平台上多版本编译OF，串行无误并行出错？

[aiweimo]

超算平台背景：
超算使用PBS任务提交系统。日常通过putty登录到超算的“登录节点”，后“ssh nodeXXX”连接到超算的“计算节点”。我在ssh后的节点上然后通过alias方式编译了OpenFOAM的20x、240和foam-extend4.0，编译时用的编译器是系统自带编译器，mpi则是对应ThirdParty中的openmpi。编译过程无错误。
问题：
ssh到计算节点，of20x调整到OpenFOAM环境，使用“qsub -V name.pbs”提交任务时报错如下，完整版报错文件见附件[0_1529318399026_log1.ABLSolver](正在上传 100%) ：

感觉OpenFOAM编译应该没问题：1.单核运行没错误；2.在另一个超算账户试过单版本OpenFOAM的编译，正确计算无错。所以，怀疑是我多版本编译有问题，请问大神有遇到过么？

[aiweimo]

0_1529318637752_log1.pdf

[wwzhao]

出错信息比较明显了：
attempt to run parallel on 1 processor

你的pbs作业提交脚本有问题。

[sibo]

如果你decompose了，并且脚本中的任务信息描述正确，可以试一下把running command改成：mpirun.openmpi -np 512 solver_name -parallel；
在提交到超算前，可以先在自己电脑上并行跑一下看有没有错误。

[aiweimo]

多谢诸位，麻烦大家了。

1. @wwzhao PBS脚本在单版本OF的超算账户下运行正常，这套脚本用了3年，以前一直是单版本OF，最近在超算新开了一个账户，打算在超算alias安装多版本OF后就出错了，难道多版本OF的作业脚本不一样？PBS脚本附后。
2. @sibo 我进行decompose了，采用scotch和simple都试过。单节点28核运行时，processor0~27，在我看来是正常的。另外，mpirun.openmpi提示命令没有找到？为什么会有"dot openmpi"？我用的是OpenMPI-1.5.3。
3. 我后来去掉了$HOME/.bashrc里的alias相关语句，换成单版本的OF20x环境并更新，提交原来任务，就可以计算了。不过还是提示Warning，就是第一张图那个说“无预设参数采用默认参数”的Warning。单版本OF账户是没有的，但因为现在可以正常计算下去，所以就没有处理——现在这样子切换OF版本麻烦了些，得手动改.bashrc文件，没有alias方便，但计算过程正常。

[aiweimo]

@aiweimo

[浪迹天大]

@aiweimo
系统环境变量都用 alias 表示，然后在 PBS 脚本里边 source 你所用版本的 OF 和 MPI 环境。这样试试看呢。

[wwzhao]

@aiweimo 这个warning可能和openmpi中的openib驱动有关，你尝试着输入 ompi_info | grep openib 看看有没有相关的MCA btl

[sibo]

@aiweimo It should be fine using multiple versions of OF. I have OF2.1, 4 and 5.x in my account. However, don't use alias to source your OF in alias. Use

echo "Source OpenFOAM"
source $HOME/OpenFOAM/OpenFOAM-5.x/etc/bashrc WM_LABEL_SIZE=64 WM_COMPILER_TYPE=ThirdParty WM_COMPILER=Gcc48 WM_MPLIB=OPENMPI FOAMY_HEX_MESH=yes

Sorry I lost my Chinese input somehow.

[buaa_hgj]

@aiweimo 您好，请问怎么在red hat系统的超算平台上编译foam-extend-4.0,是否方便分享一些参考资料或者经验？

[aiweimo]

@buaa_hgj 我就是参考官方教程和wiki上的安装教程进行编译的，另外有些用于后处理的如ParaView, Qt, qmake我直接跳过了，因为我们不在超算上做后处理。整个安装过程没什么特殊的设置，就是注意跳过与后处理相关的包就可以了（当然编译后处理包也可以）。建议查看wiki和官方安装教程，另外下面是我的一个个人安装记录，可供参考：

[buaa_hgj]

@aiweimo 非常感谢。