Databricks与官方PySpark中dropDuplicates方法签名差异问询

Databricks在PySpark基础上做了向后兼容的API扩展，这是导致签名差异的核心原因：

• 官方PySpark的dropDuplicates要求subset参数必须是单个字符串或字符串列表，调用时只能传入一个参数（比如df.dropDuplicates(["col1", "col2"])）。
• Databricks为了兼容早期版本中允许直接传入多个列名参数的写法（比如df.dropDuplicates("col1", "col2")），对方法签名做了修改，用*subset接收可变数量的参数——底层会自动把多个字符串参数打包成列表，同时也支持直接传入列表的官方写法，实现两种调用方式都生效。

关于文档和实际签名不一致的问题：
Databricks官方文档优先对齐官方PySpark的标准API描述，避免给用户造成认知混乱，但实际代码保留了扩展的签名，目的是不破坏大量用户已有的旧代码。

你可以在15.4 LTS集群中验证两种写法都能正常运行：

# 官方标准写法
df.dropDuplicates(["col1", "col2"])
# Databricks扩展写法
df.dropDuplicates("col1", "col2")

而在官方PySpark环境中，第二种写法会因参数不匹配报错。

内容的提问来源于stack exchange，提问作者kch