Databricks结构化流作业Kinesis GetRecords迭代器年龄突增问题

以下是几种可能导致该现象的核心原因：

• Kinesis分片重分配触发迭代器位置重置
  当Kinesis流发生分片分裂、合并，或者作业的消费者组出现重新平衡时，新生成的分片迭代器可能被定位到分片的最早未消费数据位置。如果该位置恰好距离当前时间为1天，就会直接让GetRecords iterator age - maximum跳至86400000毫秒，而非逐步累积延迟。

• 连接器内部迭代器重置逻辑触发回退
  Databricks的Kinesis连接器在遭遇短暂读取失败、心跳超时但未触发作业重启的场景下，可能会触发迭代器重置。如果重置过程中未加载最新的检查点位置，而是回退到了更早的位置（比如1天前的历史检查点或分片起始位置），就会直接出现延迟突增。

• Kinesis数据保留期边界的旧数据被激活消费
  若你的Kinesis流数据保留期设置为1天，当流中存在刚好达到保留期临界值的旧数据时，作业在某些场景下（如短暂停顿后恢复、Kinesis内部清理机制触发旧数据可见性变化）可能突然开始消费这些旧数据，导致迭代器年龄直接跳到1天。

• 检查点异常导致消费位置回滚
  如果作业的检查点存储（如DBFS）出现短暂读写异常，作业在恢复时可能无法读取最新的检查点，进而回退到历史检查点位置。若该历史检查点恰好是1天前的记录，就会出现延迟突增，而作业本身并未发生重启。

内容的提问来源于stack exchange，提问作者DumbCoder