Linux指定队列运行NetCDF提取脚本遇空输出问题求助

• 本地直接运行extract_global.sh可正常工作：按20个网格点为一组批量提取，wait命令能等待当前组完成后再继续，生成的.txt文件数据正确。
• 将任务提交到ib.q@node02队列（该节点有20个CPU）后出现异常：
  1. extract_global.sh中的wait命令被忽略，快速生成所有.txt文件但内容为空；
  2. 生成大量约4MB的cores.*核心转储文件；
  3. log.txt无错误信息，但输出文件无有效数据。
• 提交方式：通过自定义的go.bat（作业提交脚本）和run.sh（提交等待脚本），执行nohup ./run.sh >& log.txt &提交任务。
• 处理数据：85.1MB的经年平均NetCDF文件（原始为日数据），脚本已通过shellcheck.net检测无语法错误。

问题根源排查 #

1. 集群环境不一致：本地环境已配置好NetCDF相关工具（如ncdump、cdo等）的路径和依赖，但集群作业队列的默认环境可能未加载这些依赖，导致批量启动的提取进程直接崩溃，产生核心转储文件；子进程快速退出使得wait命令看似被忽略，空文件是因为进程未正常执行就终止。
2. 资源分配不规范：直接用nohup提交任务未向集群调度器申请20核资源，可能导致进程因资源竞争或限制崩溃。

具体解决步骤 #

1. 统一作业环境依赖 #

在run.sh或extract_global.sh的开头添加环境加载命令，确保集群环境能找到NetCDF工具：

# 示例：加载NetCDF相关模块（根据集群实际配置调整）
module load netcdf
module load cdo
# 或者直接指定工具绝对路径，比如：
# export PATH=/usr/local/netcdf/bin:$PATH

2. 规范集群作业提交方式 #

放弃nohup+自定义脚本的提交方式，直接用集群调度器（SGE）的qsub命令提交任务，并明确申请资源：

qsub -q ib.q@node02 -pe smp 20 -V extract_global.sh

参数说明：

• -q ib.q@node02：指定目标队列和节点
• -pe smp 20：申请20核的共享内存并行环境，确保进程能充分利用节点CPU
• -V：将本地环境变量传递到作业执行环境，避免依赖缺失

3. 定位核心转储原因 #

用gdb分析核心转储文件，明确进程崩溃的具体原因：

# 假设崩溃的是ncdump工具，cores.xxxx为具体的核心转储文件名
gdb ncdump cores.xxxx
# 执行bt命令查看调用栈，定位崩溃点
bt

通过调用栈可以判断是工具版本不兼容、参数错误还是依赖缺失。

4. 关于MPI的必要性 #

如果你的网格点提取任务是完全独立的，当前的“20个进程一组+wait”的批量并行模式已经可以充分利用20核CPU，不需要MPI。MPI仅适用于跨节点的分布式并行场景，当前问题的核心是集群环境适配与资源申请，而非并行模型选择。

内容的提问来源于stack exchange，提问作者Kazuma