AWS Glue Python日志写入CloudWatch时损坏的问题求助

这是AWS Glue 4.0 Python环境中，日志收集代理（Glue内部转发到CloudWatch的进程）的缓冲策略导致的：

• 短时间高频率输出日志时，代理会按默认1024字节缓冲区大小拆分日志条目
• 日志输出间隔过短会触发代理的合并逻辑，将多条日志合并为单一条目
• 两种情况都会破坏EMF结构化JSON的完整性，导致日志查询异常

1. 调整Glue任务的Spark配置参数 #

在Glue任务的任务参数中添加以下配置，修改日志收集进程的缓冲规则：

• --conf spark.glue.log.collector.buffer.size=65536：将缓冲区大小设置为64KB，覆盖默认的1024字节，足以容纳大多数EMF JSON日志
• --conf spark.glue.log.collector.flush.interval=10：设置每10ms强制刷新缓冲区，减少短时间内日志被合并的概率

2. 全局配置Python logging为行缓冲 #

在脚本开头添加一段代码，强制所有Python logger使用行缓冲输出，无需修改原有logger调用：

import logging
import sys

# 遍历所有logger handler，设置行缓冲
for handler in logging.getLogger().handlers:
    if isinstance(handler, logging.StreamHandler):
        # 重新打开stdout为行缓冲模式
        handler.stream = open(sys.stdout.fileno(), 'w', buffering=1)

这段代码会让每一行日志输出后立即刷新，避免代理批量读取时的拆分/合并。

3. 设置Glue环境变量 #

在Glue任务的环境变量中添加以下两个变量，强制无缓冲输出：

• PYTHONUNBUFFERED=1：让Python的stdout/stderr不使用缓冲区，每一行输出立即写入
• AWS_GLUE_LOG_COLLECTOR_FLUSH_ON_NEWLINE=true：告诉Glue日志收集进程，遇到换行符就立即刷新缓冲区，不再等待缓冲区满

用你之前的测试脚本，添加上述任意一种配置后，快速输出大量日志，检查CloudWatch日志流：

• 单条JSON日志不会被拆分
• 多条日志不会被合并为单一条目
• EMF JSON结构保持完整，可正常查询分析

内容的提问来源于stack exchange，提问作者mhvelplund