多会话并行运行shell脚本时变量错乱、文件不匹配如何解决

导致出现跨目录文件错乱的核心原因如下：

• 变量语法错误：dir = $1 中间带空格属于无效赋值，会导致后续mkdir、mv操作的路径参数异常，不同进程可能误操作同一路径
• 路径变量未加双引号：如果传入的路径包含空格，会被shell解析为多个参数，导致操作路径偏移
• 固定输出zip文件名：所有进程默认都写入zipfilename.zip，并行写入时会相互覆盖、内容混杂
• 未做路径唯一性校验：如果不同作业的临时文件路径、目标目录存在重名可能，并行执行时会出现文件被其他进程移动、修改的问题

从根源避免资源竞争，不需要加锁，完全不影响并行效率：
给每个进程的操作路径加唯一标识，用当前shell进程的PID（$$，全局唯一）或者mktemp生成唯一临时路径，确保不同进程不会操作同一个文件/目录；所有操作在唯一路径下完成后，再通过同文件系统下的原子mv操作输出最终文件，不会出现中间状态的错乱。

修改后的脚本示例：

#!/bin/bash
dir=$1
filepath=$2
# 生成当前进程唯一的工作目录，避免和其他进程冲突
work_dir="${dir}_$$"
# 清理可能存在的残留目录，确保创建成功
rm -rf "$work_dir"
mkdir -p "$work_dir" || exit 1
# 移动文件到唯一工作目录
mv "$filepath" "$work_dir/" || exit 1
# 生成临时zip名，操作完成后再重命名为最终名
temp_zip="zipfilename_$$.zip"
# 建议按目录区分最终zip名，避免多个进程输出同个zip冲突
final_zip="zipfilename_${dir}.zip"
zip -r "$temp_zip" "$work_dir" || exit 1
# 同文件系统下mv是原子操作，直接替换最终文件
mv "$temp_zip" "$final_zip"
# 清理临时工作目录
rm -rf "$work_dir"

如果业务要求必须对同个目录/文件的mv、zip操作串行，可以用POSIX标准下原子的mkdir实现轻量级锁，不需要依赖flock，性能损耗极低，不会明显影响并行效率：

#!/bin/bash
dir=$1
filepath=$2
mkdir -p "$dir"

# 定义锁目录，同类型操作共用同一个锁路径
lock_dir="./tmp_zip_mv_lock"
# 尝试获取锁，mkdir是原子操作，创建成功代表拿到锁
while ! mkdir "$lock_dir" >/dev/null 2>&1; do
    # 等待10ms再重试，可根据业务调整等待时间
    sleep 0.01
done

# 拿到锁后执行需要串行的操作
mv "$filepath" "$dir"
zip -r "zipfilename_${dir}.zip" "$dir"

# 操作完成释放锁
rm -rf "$lock_dir"

内容的提问来源于stack exchange，提问作者banarasi