Python持续读取systemd-journal时停止获取新条目问题求助

问题原因 #

systemd-journal 的 Reader 实例在日志文件轮转（比如 journald 自动归档旧日志）或日志被清理后，无法自动感知新的日志文件，导致迭代器耗尽后无法获取后续新生成的日志条目。此外原代码仅在启动时定位到当前时间点，未处理日志文件变更的逻辑。

解决方案 #

提供两种适配场景的解决方式：

方案1：适配定时调用的重置逻辑

每次调用 get_metrics 时，检查是否能获取新日志，若无法获取则重新初始化 Reader，并基于上次处理的最后时间点定位，避免重复读取旧日志。

修改后的代码示例：

from systemd import journal
from datetime import datetime

# 记录上次处理的最新日志时间，用于重置Reader时定位
last_processed_time = datetime.now()
journal_reader = None

def init_journal():
    global journal_reader, last_processed_time
    journal_reader = journal.Reader()
    # 定位到上次处理的时间点，只读取之后的日志
    journal_reader.seek_realtime(last_processed_time)
    journal_reader.add_match("_SYSTEMD_UNIT=postfix.service")
    journal_reader.add_match("_SYSTEMD_UNIT=postfix@-.service")
    # 跳转到最新日志位置，避免读取启动前的积压日志
    journal_reader.seek_tail()
    journal_reader.get_previous()

# 初始化Reader
init_journal()

def get_metrics():
    global last_processed_time
    has_new_entries = False
    for entry in journal_reader:
        has_new_entries = True
        print(entry)
        # 更新最后处理时间为当前日志的实时时间
        entry_realtime = datetime.fromtimestamp(entry['__REALTIME_TIMESTAMP'] / 1000000)
        if entry_realtime > last_processed_time:
            last_processed_time = entry_realtime
        # 这里添加日志条目处理逻辑
        # ...
    
    # 未获取到新条目时，尝试重置Reader（应对日志轮转/清理）
    if not has_new_entries:
        try:
            # 测试Reader是否还能获取日志
            test_entry = next(journal_reader, None)
            if test_entry is None:
                init_journal()
        except Exception:
            init_journal()

方案2：持续监听模式（更高效）

如果插件允许改为持续运行而非定时调用，使用 Reader.wait() 阻塞等待新日志，该方法能自动处理日志轮转：

from systemd import journal
from datetime import datetime

def monitor_journal():
    j = journal.Reader()
    j.seek_realtime(datetime.now())
    j.add_match("_SYSTEMD_UNIT=postfix.service")
    j.add_match("_SYSTEMD_UNIT=postfix@-.service")
    
    # 跳转到最新日志位置，启动后只接收新日志
    j.seek_tail()
    j.get_previous()
    
    while True:
        # 等待新日志，超时时间可自定义（示例为10秒）
        if j.wait(timeout=10) == journal.APPEND:
            for entry in j:
                print(entry)
                # 这里添加日志条目处理逻辑
                # ...

# 启动监听
monitor_journal()

关键说明 #

• __REALTIME_TIMESTAMP 是日志条目的微秒级时间戳，用来记录上次处理的位置，避免重置 Reader 后重复读取旧日志。
• 重置 Reader 时必须重新添加匹配规则并定位到正确时间点，否则会读取所有历史日志。
• 持续监听模式的 wait() 方法能及时捕获日志轮转后的新条目，相比定时调用更高效。

内容的提问来源于stack exchange，提问作者Nudin