Databricks不同集群执行同代码行数计数不一致的原因及排查问询

• 数据源配置/指向差异：集群Y连接的数据源（如Hive表、对象存储路径）可能与X/第三集群不一致，比如指向了旧版本数据集、存在未同步的分区，或是因权限限制无法读取部分数据。
• 集群级Spark配置差异：Y集群可能启用了spark.sql.files.ignoreCorruptFiles、spark.sql.files.ignoreMissingFiles这类忽略损坏/缺失文件的参数，而X集群未开启；或是分区裁剪（partition pruning）、列式存储解析的默认配置不同，导致部分数据未被统计。
• 数据解析兼容性问题：若数据源为Parquet/ORC等列式存储，Y集群的Spark版本、Parquet/ORC解析库版本与X存在差异，可能导致部分行在解析时丢失。
• 元数据不一致：Y集群连接的元数据服务（如Hive Metastore）与X不是同一实例，表的分区信息、存储路径等元数据存在差异，导致读取的数据范围不同。
• 任务容错逻辑差异：Y集群资源不足或任务重试配置特殊，部分count任务的executor失败后未正常重试，或重试时跳过了部分数据。

• 对比数据源与执行计划：
  • 在两个集群上执行df.explain(mode="extended")，查看物理执行计划，对比读取的数据源路径、分区过滤条件是否完全一致。
  • 若为Hive表，执行DESCRIBE EXTENDED <表名>，对比存储位置、分区列表；若为文件系统数据源，执行集群对应文件系统的统计命令（如HDFS的hdfs dfs -count <路径>），对比文件总数与总大小。
• 排查Spark配置差异：
  • 在两个集群上执行spark.conf.getAll()导出全量配置，重点对比以下类别的参数：
    • 数据容错类：spark.sql.files.ignoreCorruptFiles、spark.sql.files.ignoreMissingFiles
    • 元数据类：spark.sql.hive.metastore.uris
    • 列式存储解析类：spark.sql.parquet.*、spark.sql.orc.*
• 逐段定位数据差异：
  • 查看分区级行数：df.groupBy(<分区列>).count().orderBy("count").show()，对比两个集群各分区的行数，定位差异分区。
  • 抽样对比数据内容：执行df.sample(0.0001).collect()，对比两个集群的样本数据是否存在缺失或内容差异；或取前N行对比：df.limit(50).collect()。
• 单个文件验证：
  • 针对差异分区，在两个集群上单独读取其中的单个文件：spark.read.format("<格式>").load("<单个文件路径>").count()，验证是文件本身缺失/损坏，还是集群解析逻辑问题。
• 检查任务日志：
  • 访问Y集群的Spark UI，查看count任务的Executor日志，排查是否存在文件读取失败、跳过损坏文件的警告；检查任务失败记录，确认是否有异常导致数据未被统计。
• 同步元数据并重新统计：
  • 若为Hive表，在Y集群执行SHOW PARTITIONS <表名>确认分区与X一致，再执行ANALYZE TABLE <表名> COMPUTE STATISTICS后重新执行count，查看结果是否变化。

内容的提问来源于stack exchange，提问作者QbS