Linux下Bash脚本处理文件前的完整性校验与管控方法咨询

我来帮你解决这两个自动化脚本里的常见问题：

1. 确保文件完全写入后再处理 #

最可靠的方法是利用Linux文件系统的原子重命名特性，这也是业界处理这类问题的标准做法：

方法一：临时文件重命名（推荐） #

让生成文件的进程先写入一个临时文件（比如带.tmp后缀），当文件完全写入后，再将临时文件重命名为最终的.txt文件。因为Linux下的mv操作在同一文件系统内是原子性的，不会出现文件处于“半写入”的状态。

你的脚本只需要处理不带.tmp后缀的文件即可：

cd /export/incoming/task
for file in abc_YYYYMMDD*.txt; do
    # 跳过空匹配（如果没有符合的文件）
    [ -e "$file" ] || continue
    
    cat "$file" | scripttoprocess -args
    if [ $? -eq 0 ]; then
        mv "$file" /export/incoming/HIST/
    fi
done

如果无法修改生成文件的进程，也可以用检查文件修改时间的方式来判断：

cd /export/incoming/task
for file in abc_YYYYMMDD*.txt; do
    [ -e "$file" ] || continue
    
    # 等待文件5秒内没有被修改，确认写入完成
    while true; do
        mtime1=$(stat -c %Y "$file")
        sleep 5
        mtime2=$(stat -c %Y "$file")
        if [ "$mtime1" -eq "$mtime2" ]; then
            break
        fi
    done
    
    cat "$file" | scripttoprocess -args
    if [ $? -eq 0 ]; then
        mv "$file" /export/incoming/HIST/
    fi
done

⚠️ 注意：修改时间法存在小概率误判（比如写入进程暂停几秒后继续写入），如果能修改写入端，优先用临时文件重命名。

2. 通过控制文件处理待处理文件 #

当然可以，这种方式能更精准地控制待处理列表，还能避免脚本重复扫描目录的开销，具体实现步骤如下：

步骤1：生成控制文件 #

让生成文件的进程在文件完全写入后（比如完成临时文件重命名后），将文件名追加到控制文件中：

# 示例：写入完成后追加文件名到控制文件
echo "abc_YYYYMMDD_1.txt" >> /task/control_task.txt

Linux下的>>追加操作是原子性的，不用担心内容错乱。

步骤2：读取控制文件处理 #

你的脚本可以读取控制文件中的每一行文件名，逐个处理，处理时注意避免重复操作：

CONTROL_FILE="/task/control_task.txt"
TMP_CONTROL="$CONTROL_FILE.tmp"

# 原子性移动控制文件到临时文件，避免处理过程中新增内容干扰
mv "$CONTROL_FILE" "$TMP_CONTROL" || exit 1

cd /export/incoming/task
while read -r filename; do
    # 先检查文件是否存在，防止已被处理或删除
    if [ -f "$filename" ]; then
        cat "$filename" | scripttoprocess -args
        if [ $? -eq 0 ]; then
            mv "$filename" /export/incoming/HIST/
        fi
    fi
done < "$TMP_CONTROL"

# 清理临时控制文件
rm "$TMP_CONTROL"

你可以把这段逻辑放到循环里，定时检查控制文件是否存在，或者用inotifywait监听控制文件的变化来触发处理。

额外小提示 #

• 避免用ls命令遍历文件：原来的for i in ls abc_YYYYMMDD*.txt``写法存在安全隐患（文件名含空格/特殊字符会出错），直接用for file in abc_YYYYMMDD*.txt更可靠。
• 修复语法错误：原来脚本里的[ $? -eq 0];少了空格，正确写法是[ $? -eq 0 ]。

内容的提问来源于stack exchange，提问作者Subodh