PySpark DataFrame自交集行数少于原数据集问题咨询

核心原因：字符串哈希/比较逻辑的隐性差异 #

PySpark的distinct()和intersect()底层依赖哈希计算与字符串比较规则，出现自交集行数更少的情况，大概率是以下两种隐性问题导致：

• 哈希值计算的不一致：
  distinct()通过哈希值判断重复，而intersect()匹配时同样依赖哈希分区。如果某些字符串因编码转换（比如隐式的UTF-8与其他编码兼容处理）、内部存储格式差异，导致两次计算的哈希值不同，就会被排除在交集外。这种情况常见于包含特殊字符、不可见字符的字符串。
• 字符串比较规则的细微差别：
  看似相同的字符串可能存在视觉不可见的差异：比如首尾的空格/换行符、零宽字符，或者Unicode规范化不同（如"café"和"cafe\u0301"，前者是单个字符，后者是普通字符加组合重音）。distinct()可能因规则保留了这些差异项，但intersect()的比较逻辑在分区处理时漏匹配了部分项；或者反过来，distinct()误判为重复，intersect()又识别出差异。

计数准确性判断 #

计数结果是准确的。PySpark的count()基于RDD分区的统计聚合，只要没有任务失败或数据丢失，统计结果就是可靠的。差异本身是数据或底层逻辑导致的真实结果，而非计数操作的错误。

无需查看数据的验证方向 #

• 替换为intersectAll()执行：intersect()会自动去重，而intersectAll()保留重复项（因原DataFrame已去重，两者结果应一致），若仍有差异则可确认是哈希/比较逻辑问题。
• 对字符串列做强制标准化：用trim()去除首尾空白、regexp_replace()过滤不可见字符、normalize()统一Unicode格式后，重新执行distinct()和intersect()，若差异消失则验证了是字符隐性差异导致的问题。

内容的提问来源于stack exchange，提问作者chittychitty