Lenses S3 Source Connector在AWS MSK中运行异常的问题求助

问题1：指定分区路径失效，其他分区数据被导入 #

你的KCQL配置写法有误，直接在路径中写year=2022/month=11/无法让连接器正确识别分区过滤规则。正确的做法是通过PARTITIONED BY声明分区键，再用WHERE子句过滤目标分区：

insert into my_topic select * from my_bucket:dev/domain_name/ PARTITIONED BY (year, month) WHERE year=2022 AND month=11 STOREAS 'JSON'

原理：Lenses S3 Source Connector对Hive风格的分区路径（key=value格式），需要显式声明分区键才能解析并应用过滤条件，仅在路径中拼接键值对会被当作普通前缀，无法限制分区范围。

问题2：指定路径仍有文件但不导入，日志显示“flushing 0 outstanding messages for offset commit” #

常见原因及解决方法：

• 偏移量已标记文件为已处理：连接器会将已处理的S3文件路径记录到Kafka的offset存储中，即使文件未被实际处理，也会被跳过。解决方式：删除现有连接器，重新创建时添加配置connect.s3.source.initial.offset=earliest（强制从头扫描所有文件）；或者手动清理连接器对应的offset主题（需谨慎操作）。
• 文件未被扫描到：检查文件命名是否符合连接器默认的扫描规则，若文件名不是标准分段格式，需添加配置connect.s3.file.name.pattern=.*\.json来匹配JSON文件；同时确认任务分配是否覆盖所有子路径（tasks.max=2需确保路径分片合理）。
• 权限或文件属性问题：验证MSK连接器的IAM角色是否有新文件的读取权限；检查文件的最后修改时间，部分版本的连接器仅扫描启动时间之后新增的文件，若文件是提前上传的，需重新触发扫描（可通过修改连接器配置触发重启）。

内容的提问来源于stack exchange，提问作者jojo