KCL未对DynamoDB检查点表与锁表执行PUT/GET操作的原因排查

• 消费者未实际处理分片数据：KCL仅在消费者开始处理分片记录后才会写入检查点。即便组表已有分片分配记录，若消费者未真正读取、处理分片内的数据，检查点表不会生成条目。锁表条目一般在消费者实例获取分片所有权时创建，若实例仅完成分片分配流程但未启动处理，锁表也会无数据。

• 检查点配置错误：

  • 核对KCL配置中检查点表的名称是否正确，可能存在拼写错误或环境变量配置不一致的情况。
  • 确认是否禁用了自动检查点功能，若采用手动管理检查点但未调用checkpoint()方法，检查点表不会有数据写入。

• IAM权限不足：

  • 运行KCL的IAM角色需具备检查点表和锁表的PutItem、GetItem等核心权限。若权限缺失，KCL无法写入数据，通常会在日志中抛出权限相关异常。需注意：组表有数据仅说明该表权限正常，不代表检查点和锁表权限配置无误。

• 分片分配未完成或消费者实例异常退出：

  • 若消费者实例在获取分片所有权后，未完成初始化就异常退出，锁表中的临时条目可能被KCL自动清理（KCL会定期移除失效锁），导致锁表无数据。
  • 分片分配后，若实例未进入数据处理阶段就停止，检查点也不会被写入。

• KCL版本或配置兼容性问题：

  • 不同版本的KCL在DynamoDB表的使用逻辑上存在差异，比如旧版本对锁表的处理方式可能不同，需确认使用的KCL版本与官方文档匹配。
  • 检查是否在自定义配置中错误禁用了锁表功能，部分特殊配置可能会跳过锁表的使用流程。

内容的提问来源于stack exchange，提问作者mibrahim.iti