Lua使用io.popen结合tail读取日志时出现冻结问题求助

问题场景 #

通过Lua的io.popen结合Ubuntu的tail命令持续读取解析Minecraft日志，实现特定事件触发消息推送。多数情况下功能正常，但运行一段时间后程序会完全冻结，卡在pop:read("*l")调用处——仅打印"READ LINE"，却始终无法输出"Line: <内容>"。已尝试更换Luvit、LuaJIT、标准Lua等环境，问题依旧。

相关代码 #

-- Open the tail command, return a file handle for it.
local pop = io.popen(config.listen_command)

-- Simply read a single line, I've pulled this into its own
-- function so that if this ever needs changing I can do so
-- easily.
local function get_line()
  logger:log(4, "READ LINE")
  return pop:read("*l")
end

-- For each line in the log file, check if it matches any
-- of a list of patterns, return the matches and the
-- pattern information if so.
local function match_line()
  local line = get_line()
  logger:log(4, "Line: %s", line)

  -- This all works, and I've tested that it's not freezing
  -- here. I've just included it for completion of the call
  -- -stack.
  for event_type, data in pairs(config.message_patterns) do
    for event_name, pattern in pairs(data) do
      local matches = {line:match(pattern)}
      if matches[1] then
        return event_type, event_name, matches
      end
    end
  end
end

-- The main loop, simply read a line and send a message
-- if there was a match.
logger:log(4, "Main loop begin.")
while true do
  local event_type, event_name, matches = match_line()
  -- ...
  -- The rest of the code here is not relevant.
end

配置的监听命令：

config.listen_command = "tail -F --lines=1 latest.log"

冻结原因分析 #

1. 阻塞式读取的局限性：Lua的io.read("*l")是阻塞调用，必须等到管道中有完整的一行（带换行符）或子进程退出才会返回。如果tail进程因日志轮转（Minecraft会定期重命名日志文件并生成新的latest.log）、系统IO阻塞、资源不足等原因暂停输出，read会无限等待。
2. tail进程的潜在异常：尽管tail -F会跟踪文件inode变化，但在文件切换的瞬间可能出现短暂的输出中断；若tail意外退出（如被系统回收资源），管道缓冲区的残留数据可能导致read进入异常阻塞状态。
3. 无超时机制：现有代码没有设置读取超时，一旦出现上述情况，程序会永久卡在read调用上。

解决方法 #

1. 给读取操作添加超时机制 #

借助LuaSocket的select函数实现超时检测，避免无限阻塞：

local socket = require("socket")
local pop = io.popen(config.listen_command)
local fd = pop:fileno()

local function get_line_with_timeout(timeout)
  logger:log(4, "READ LINE")
  -- 等待fd可读，超时时间timeout秒
  local readable, _, err = socket.select({fd}, {}, timeout)
  if err or #readable == 0 then
    -- 超时或出错，重启tail进程
    pop:close()
    pop = io.popen(config.listen_command)
    fd = pop:fileno()
    return nil
  end
  return pop:read("*l")
end

在主循环中调用这个带超时的函数（比如设置5秒超时），超时则自动重启tail进程。

2. 自行实现日志跟踪，替代tail命令 #

不依赖tail进程，直接打开日志文件并跟踪文件变化，同时处理日志轮转的情况（需依赖LuaFileSystem库获取文件inode）：

local lfs = require("lfs")
local log_path = "latest.log"
local log_file, last_inode, last_size

local function init_log()
  log_file = io.open(log_path, "r")
  if not log_file then return end
  last_inode = lfs.attributes(log_path, "ino")
  last_size = log_file:seek("end")
end

init_log()

while true do
  if not log_file then
    init_log()
    os.execute("sleep 1")
    goto continue
  end

  -- 检查文件是否被轮转（inode变化）
  local current_inode = lfs.attributes(log_path, "ino")
  if current_inode ~= last_inode then
    log_file:close()
    init_log()
    goto continue
  end

  -- 读取新增内容
  local current_size = log_file:seek("end")
  if current_size > last_size then
    log_file:seek("set", last_size)
    local line = log_file:read("*l")
    if line then
      logger:log(4, "Line: %s", line)
      -- 处理匹配逻辑
      last_size = log_file:seek("end")
    end
  end

  ::continue::
  os.execute("sleep 0.1") -- 降低CPU占用
end

3. 使用异步IO框架（如Luvit） #

如果使用Luvit，直接用libuv的异步进程API替代io.popen，从根源避免阻塞：

local uv = require("uv")

local function start_tail()
  local handle, pid = uv.spawn("tail", {
    args = {"-F", "--lines=1", "latest.log"}
  }, function(code, signal)
    -- tail进程退出时自动重启
    start_tail()
  end)

  -- 监听stdout输出
  local stdout = uv.new_pipe(false)
  uv.pipe_open(stdout, handle.stdout)
  uv.read_start(stdout, function(err, data)
    if err then
      uv.close(stdout)
      return
    end
    if data then
      -- 分割数据为行（处理可能的不完整行）
      local lines = data:split("\n")
      for _, line in ipairs(lines) do
        if line ~= "" then
          logger:log(4, "Line: %s", line)
          -- 处理匹配逻辑
        end
      end
    end
  end)
end

start_tail()
uv.run()

内容的提问来源于stack exchange，提问作者Fatboychummy