PySpark中drop_duplicates()是否合法？关于该去重函数的技术疑问

• drop_duplicates()是PySpark官方支持的合法函数，它就是dropDuplicates()的别名，两者底层实现完全一致，没有任何功能或性能差异。
• PySpark提供这个下划线版本的别名，主要是为了兼容熟悉Pandas等工具的用户习惯（这类工具常用下划线命名的函数）。
• 针对你的场景，不管用df.drop_duplicates()还是df.dropDuplicates(["CUSTOMER_ID"])，都能实现CUSTOMER_ID列的去重，处理大规模数据集的效率也完全相同。
• 只要代码运行正常、达到了去重目的，就不用纠结函数名的写法，两种写法都是官方认可的正确用法。

内容的提问来源于stack exchange，提问作者Himanshu Choubey