PySpark 2.4.8与3.3.2中select行为差异及技术问询

对应的Spark PR #

该行为变更源自 SPARK-31404，对应的代码合并PR为#28177，在Spark 3.0.0版本正式引入，后续3.x系列版本（包括3.3.2）均沿用此逻辑。

变更原因 #

Spark 2.4.8中自动移除join后同名列的行为属于非标准的“便利化处理”，但存在严重的语义歧义与数据丢失风险：

• 对于全外连接场景，左右表的同名列可能分别存储不同的非空值（比如左表某行colA有值但右表对应行colA为空，反之亦然），自动合并会直接丢弃其中一侧的数据，不符合全外连接“保留所有匹配/不匹配行”的核心语义。
• 这种自动去重逻辑会让用户忽略列的来源，当后续业务逻辑依赖列的原始来源时，会引发难以排查的错误。
  为了对齐ANSI SQL规范，消除语义模糊，Spark官方决定在3.x版本中修改此行为，不再自动合并join后的同名列，而是保留所有来自左右表的列实例。

版本行为的规范符合性 #

Spark 3.3.2的行为符合ANSI SQL规范：
根据ANSI SQL标准，当两张表进行全外连接且存在未指定别名的同名列时，结果集将保留来自左表和右表的两个同名列（可通过表别名区分，如left.colA、right.colA），不会自动去重。
Spark 2.4.8的自动去重是为简化用户操作设计的非标准扩展，虽然使用起来更“省心”，但违背了SQL的严格语义，可能导致数据丢失或逻辑错误。

问题解决示例 #

针对你遇到的任务失败场景，可通过两种方式修正：

// 方式1：明确指定列的来源
joinedDF.select(left("colA"), left("colB"), "2023-10-10", "2022-09-09")

// 方式2：合并同名列（根据业务逻辑选择合并规则）
joinedDF.select(
  coalesce(left("colA"), right("colA")).alias("colA"),
  coalesce(left("colB"), right("colB")).alias("colB"),
  "2023-10-10",
  "2022-09-09"
)

内容的提问来源于stack exchange，提问作者Behroz Sikander