为什么count()方法无法获取正确的数据集行数？添加persist()后结果才正常？

1. count()的默认行为 #

count()是Spark的行动算子，本身不自带任何cache、persist逻辑，每次调用都会触发对应DataSet完整依赖链的重新计算，不会自动留存之前的计算结果。

2. 行数异常的核心原因 #

出现不加persist()计数不准、加了之后结果正常的情况，本质是你的DataSet依赖链在多次计算时输出结果不一致，常见场景包括以下几种：

• 数据源存在动态变化：你读取的数据源是正在被写入的临时目录、仅支持单次消费的消息队列、或者其他会动态变更的存储介质，直接调用count()重走读取逻辑时，拿到的数据源内容和预期不一致，而persist()会将第一次计算完成的DataSet结果缓存到内存/磁盘中，后续count()直接读取缓存的固定结果，不会重新访问数据源，计数就会恢复正常。
• 转换逻辑存在非确定性操作：如果你的DataSet在转换过程中使用了随机函数过滤、依赖当前系统时间判断、调用了外部非幂等接口这类非确定逻辑，每次重算依赖链时生成的DataSet内容都会发生变化，自然会出现计数波动。persist()固化了第一次转换的结果，就不会再出现这个问题。
• 作业重试导致的数据丢失：未做持久化时如果出现executor宕机、任务执行失败的情况，Spark会自动重算对应分区数据。如果你的数据源或者转换逻辑不支持重复计算，比如消费类数据源重算时对应数据已经被清理，就会出现分区数据遗漏，导致计数偏少。persist()之后分区数据直接留存到缓存中，只要缓存未失效就不需要重算，避免了数据丢失。

内容的提问来源于stack exchange，提问作者nick