如何增强AWS Kinesis与MSK集群连接器的日志输出？

一、调整Kinesis连接器日志级别 #

要获取更详细的处理日志（包括记录数统计），需将Confluent Kinesis Source Connector的日志级别调整为DEBUG或INFO（DEBUG输出单条记录处理细节，INFO侧重统计信息）：

• 针对AWS MSK Connect托管环境，在Worker配置的自定义属性中添加以下配置：

log4j.logger.io.confluent.connect.kinesis=DEBUG

该配置会让连接器所属的io.confluent.connect.kinesis包输出更详细的日志，覆盖每条Kinesis记录的读取、转换和写入MSK的全流程。

二、启用连接器统计日志 #

若需直接在日志中查看每分钟处理的记录数，添加以下Worker配置属性，让连接器定期输出统计数据：

connect.log.include.connector.stats=true

配置生效后，CloudWatch日志中会定期出现类似如下的统计条目：

[Worker-xxxx] [yyyy-mm-dd hh:mm:ss,xxx] INFO [msk-connector-kinesis|task-0|stats] WorkerSourceTask{id=msk-connector-kinesis-0} processed 150 records in the last 60 seconds

三、调整CloudWatch日志采集策略 #

确保MSK Connect的stdout/stderr日志采集规则包含你设置的日志级别（如DEBUG），避免CloudWatch过滤掉新增的详细日志内容。

四、注意事项 #

• DEBUG级别会大幅增加日志量，建议先测试确认日志内容符合需求，再调整CloudWatch日志保留策略，控制存储成本。
• 若仅需统计信息而非单条记录细节，可将日志级别设为INFO并启用统计配置，平衡日志信息量和存储开销。

内容的提问来源于stack exchange，提问作者Homer