PySpark collect()在PyCharm与控制台执行pytest时返回顺序不一致

这个问题和PyCharm、pytest的调用方式没有直接关系，核心原因是PySpark DataFrame 本身不承诺未显式排序时的行返回顺序，collect() 拉取到本地的行顺序是执行时非确定的：

• PyCharm 中运行时顺序稳定只是巧合：哪怕使用同一个虚拟环境，PyCharm的运行配置可能默认设置了Spark相关参数（比如单分区执行），小数据量下刚好行顺序和写入顺序一致，才会让人误以为顺序是固定的。
• 控制台执行时触发了不同的执行计划：控制台环境会继承当前系统的CPU核心数、全局环境变量配置，默认并行度、shuffle分区读取顺序和PyCharm环境存在细微差异，就会导致collect返回的行顺序打乱。
• 原有断言逻辑本身存在缺陷：Python列表是顺序敏感结构，哪怕两个列表包含完全相同的元素，只要顺序不一致，== 判断就会返回False。你做的两组下标对比测试刚好验证了这点：两个DataFrame的行内容完全一致，只是返回顺序偏移了一位，才会出现按下标取固定行对比时，两个环境的结果完全相反的情况。

不要依赖collect()的默认返回顺序做断言，根据测试场景选下面任意一种标准写法即可：

• 方案1：显式全局排序后对比
  适合需要严格校验行顺序的场景。选择表中的唯一主键（没有主键就选所有字段）作为排序键，对两个DataFrame做统一排序后再拉取对比，从根源上消除顺序不确定性：

  # 替换为你的表字段，多字段排序就传多个列名，比如orderBy("col1", "col2")
  sdf1 = df1.orderBy("unique_id")
  sdf2 = df2.orderBy("unique_id")
  assert sdf1.collect() == sdf2.collect()
  

• 方案2：转换为无序结构对比
  适合只校验数据内容、不要求行顺序的场景。
  如果表中没有重复行，可以直接转set对比，set天然不关心元素顺序：

  row_set1 = set(tuple(row) for row in df1.collect())
  row_set2 = set(tuple(row) for row in df2.collect())
  assert row_set1 == row_set2
  

  如果表中存在重复行，用Counter统计每个行的出现次数再对比，避免set去重导致漏测重复数据问题：

  from collections import Counter
  row_cnt1 = Counter(tuple(row) for row in df1.collect())
  row_cnt2 = Counter(tuple(row) for row in df2.collect())
  assert row_cnt1 == row_cnt2
  

• 方案3：用PySpark原生API做差集校验
  适合数据量较大的测试场景，不需要把全量数据拉到Driver端，性能更好，也天然不受行顺序影响：

  # exceptAll会保留重复行，统计两个方向的差集行数
  diff_in_df1 = df1.exceptAll(df2).count()
  diff_in_df2 = df2.exceptAll(df1).count()
  assert diff_in_df1 == 0 and diff_in_df2 == 0, f"DataFrame不一致，df1独有{diff_in_df1}行，df2独有{diff_in_df2}行"
  

内容的提问来源于stack exchange，提问作者Fran Arenas