Cadence Activity配置重试后仍不重试问题咨询（v0.19.2）

问题背景 #

使用Cadence Server 0.19.2版本，存在一个Job父工作流，会触发编码子工作流，该子工作流包含处理编码状态的Activity。已为子工作流和Activity配置重试及心跳配置，但100个任务中有20个的Activity首次尝试（attempt 0）因心跳超时失败，且未执行重试。

可能原因与排查步骤 #

1. 检查Activity重试配置的错误过滤规则 #

Cadence默认会对心跳超时错误触发重试，但如果在Activity的重试配置中，将HeartbeatTimeoutError（或对应业务定义的心跳超时错误类型）加入了NonRetryableErrorTypes列表，会导致该错误不触发重试。

• 核实Activity重试配置，确认未将心跳超时类错误标记为不可重试。

2. 验证Initial Attempt Timeout与Heartbeat Timeout的关系 #

Cadence中，InitialAttemptTimeout是Activity单次尝试的最大执行时长：

• 若HeartbeatTimeout >= InitialAttemptTimeout，心跳超时会直接触发整个Activity的超时，而非单次尝试失败，这种场景下不会触发重试。
• 确保HeartbeatTimeout的数值小于InitialAttemptTimeout，让心跳超时仅终止当前尝试，进而触发重试逻辑。

3. 排查子工作流的超时与重试配置 #

• 子工作流的ExecutionTimeout或RunTimeout如果设置过短，可能导致Activity还未完成重试流程，就被子工作流终止。
• 确认子工作流的重试策略不会覆盖或中断Activity自身的重试逻辑，比如子工作流重试是否会重新创建Activity实例，而非延续原Activity的重试序列。

4. 分析Cadence Server日志 #

针对那20个失败任务，查看Cadence Server的运行日志：

• 确认心跳超时发生后，服务器是否触发了重试调度，是否存在任务队列阻塞、Worker进程异常等情况导致重试未执行。

5. 版本兼容性问题 #

Cadence 0.19.2属于较旧版本，存在部分重试逻辑的已知bug，可能导致心跳超时场景下不触发重试。建议升级至v0.20+的稳定版本，验证问题是否解决。

临时解决方案 #

• 调整Activity的InitialAttemptTimeout，确保其值大于HeartbeatTimeout（例如心跳超时设为30秒，Initial Attempt Timeout设为5分钟）。
• 检查并移除重试配置中对心跳超时错误的非重试标记。
• 适当提高Worker的心跳发送频率，降低心跳超时的触发概率。

内容的提问来源于stack exchange，提问作者Tarun Singhal