如何让管道中使用的grep -f自动重新读取频繁变更的模式文件？

你的核心问题是grep启动时会一次性读取-f指定的模式文件，之后不会自动检测文件变化，所以修改file-with-patterns后规则不生效。下面提供几种无需手动重启脚本的解决方案：

方法1：使用entr工具（最简洁） #

entr是一个专门监控文件变化并执行命令的工具，多数Linux发行版可通过包管理器安装（比如Debian/Ubuntu用apt install entr）。它会在模式文件修改时自动重启grep进程，让grep重新读取规则：

# 替换为你的实际文件路径
PATTERN_FILE="/path/to/file-with-patterns"
LOG_FILE="/path/to/logfile"

echo "$PATTERN_FILE" | entr -r sh -c 'logread -f | grep -v -f "$0" >> "$1"' "$PATTERN_FILE" "$LOG_FILE"

• 优点：命令简洁，自动处理文件变化，无需额外写复杂脚本
• 缺点：需要安装第三方工具

方法2：Shell脚本监控文件变化并重启grep #

如果不想安装额外工具，可以写一个简单的shell脚本，定期检查模式文件的修改时间，变化时重启grep：

#!/bin/bash
PATTERN_FILE="/path/to/file-with-patterns"
LOG_FILE="/path/to/logfile"

# 启动初始grep进程
logread -f | grep -v -f "$PATTERN_FILE" >> "$LOG_FILE" &
GREP_PID=$!

# 循环监控文件修改
while true; do
    # 获取当前文件修改时间戳
    CURRENT_MTIME=$(stat -c %Y "$PATTERN_FILE")
    # 每5秒检查一次（可调整间隔）
    sleep 5
    NEW_MTIME=$(stat -c %Y "$PATTERN_FILE")
    
    # 如果时间戳变化，重启grep
    if [ "$NEW_MTIME" != "$CURRENT_MTIME" ]; then
        kill "$GREP_PID"
        logread -f | grep -v -f "$PATTERN_FILE" >> "$LOG_FILE" &
        GREP_PID=$!
    fi
done

• 优点：无需额外依赖，用原生shell命令实现
• 缺点：重启grep的瞬间可能丢失少量日志（日志量不大时可忽略）

方法3：用awk替代grep，实现动态重读规则 #

awk可以在运行过程中定期检查模式文件的变化，实时更新过滤规则，避免日志丢失：

#!/bin/bash
PATTERN_FILE="/path/to/file-with-patterns"
LOG_FILE="/path/to/logfile"

logread -f | awk -v pattern_file="$PATTERN_FILE" -v log_file="$LOG_FILE" '
# 初始化变量
BEGIN {
    # 获取初始文件修改时间
    ("stat -c %Y " pattern_file) | getline mtime
    close("stat -c %Y " pattern_file)
    # 加载初始规则
    reload_patterns()
}

# 每处理10行日志检查一次文件变化（可调整频率）
NR % 10 == 0 {
    ("stat -c %Y " pattern_file) | getline new_mtime
    close("stat -c %Y " pattern_file)
    if (new_mtime != mtime) {
        mtime = new_mtime
        reload_patterns()
    }
}

# 过滤日志：不匹配任何规则的才写入文件
{
    skip = 0
    for (p in patterns) {
        if ($0 ~ p) {
            skip = 1
            break
        }
    }
    if (!skip) {
        print >> log_file
        # 定期刷新缓冲区，避免日志堆积
        if (NR % 100 == 0) flush(log_file)
    }
}

# 重载规则的函数
function reload_patterns() {
    delete patterns
    while ((getline line < pattern_file) > 0) {
        patterns[line] = 1
    }
    close(pattern_file)
}
'

• 优点：全程无进程重启，不会丢失日志，规则更新实时生效
• 缺点：脚本相对复杂，需要理解awk的基本逻辑

内容的提问来源于stack exchange，提问作者Ernst