如何将Streamsets作业全级别日志存储至S3存储桶？

StreamSets默认通过Log4j管理日志，要将全级别日志（Info、Debug等）同步到S3，可通过以下两种常用方案实现：

方案一：直接用Log4j的AWS S3 Appender #

1. 准备依赖包 #

将AWS Log4j Appender及相关SDK包放入StreamSets的lib目录（路径通常为$SDC_LIB）：

• aws-log4j-appender.jar
• aws-java-sdk-s3.jar
• aws-java-sdk-core.jar

2. 修改Log4j配置文件 #

编辑$SDC_CONF/log4j.properties，添加S3 Appender配置：

# 定义S3日志输出器
log4j.appender.S3=com.amazonaws.services.log4j.AWSAppender
log4j.appender.S3.layout=org.apache.log4j.PatternLayout
log4j.appender.S3.layout.ConversionPattern=%d{ISO8601} [%t] %-5p %c %x - %m%n
log4j.appender.S3.bucketName=你的S3桶名称
log4j.appender.S3.filePath=streamsets/pipeline-logs/%d{yyyy-MM-dd}/sdc-log-%d{HH-mm-ss}.log
log4j.appender.S3.maxBatchSize=100
log4j.appender.S3.batchDelay=1000

# 配置日志级别，将StreamSets相关日志全级别输出到S3和控制台
log4j.logger.com.streamsets=DEBUG, S3, console
log4j.rootLogger=INFO, S3, console

如果StreamSets部署在AWS IAM角色授权的资源（如EC2、EKS）上，无需配置accessKey/secretKey；否则需在配置中添加log4j.appender.S3.accessKey和log4j.appender.S3.secretKey。

3. 重启StreamSets服务 #

systemctl restart sdc

方案二：本地滚动日志+定时同步到S3 #

如果不想修改Log4j的复杂配置，可先将日志输出到本地滚动文件，再定时同步到S3：

1. 修改Log4j配置输出到本地文件 #

编辑$SDC_CONF/log4j.properties，添加本地滚动日志配置：

log4j.appender.RollingFile=org.apache.log4j.rolling.RollingFileAppender
log4j.appender.RollingFile.RollingPolicy=org.apache.log4j.rolling.TimeBasedRollingPolicy
log4j.appender.RollingFile.RollingPolicy.FileNamePattern=${SDC_LOG}/sdc-all-%d{yyyy-MM-dd}.log.gz
log4j.appender.RollingFile.layout=org.apache.log4j.PatternLayout
log4j.appender.RollingFile.layout.ConversionPattern=%d{ISO8601} [%t] %-5p %c %x - %m%n

# 让StreamSets全级别日志输出到滚动文件和控制台
log4j.logger.com.streamsets=DEBUG, RollingFile, console

2. 配置定时同步任务 #

使用aws s3 sync命令创建cron定时任务，每天凌晨同步前一天的压缩日志到S3：

# 编辑crontab
crontab -e
# 添加以下内容，替换成你的S3桶路径和日志目录
0 0 * * * aws s3 sync /var/log/sdc/ s3://你的S3桶名称/streamsets/logs/ --exclude "*" --include "sdc-all-$(date -d 'yesterday' +%Y-%m-%d)*.log.gz"

验证方法 #

1. 启动一个包含Debug级别的StreamSets管道
2. 查看S3桶对应路径下是否生成日志文件
3. 打开日志文件，确认包含Debug、Info等全级别日志内容

内容的提问来源于stack exchange，提问作者Yogesh