Spark Dataset在Python中是否可用？官方文档表述存在矛盾

你提到的两份文档看似矛盾，其实是术语表述和概念定义的差异导致的，具体解释如下：

• Databricks文档中所说的“在Python中创建Datasets”，是将DataFrame和Dataset做了简化统称。在Python的Spark生态里，我们日常使用的pyspark.sql.DataFrame，本质上和Scala中弱类型的Dataset[Row]是等价的，底层都依赖Spark SQL的优化执行引擎，功能和特性高度重合，所以部分文档会用“Dataset”来泛指这类分布式数据集合。

• Spark官方文档明确的“Python不支持Dataset API”，特指强类型Dataset API——这是Scala和Java特有的特性，依赖静态类型检查实现编译期错误验证，而Python作为动态语言，无法实现这种强类型机制，因此没有提供对应的API。

结论 #

如果是指带类型安全的强类型Dataset API，Python确实不支持；如果是指类似Scala中弱类型的分布式数据集合（也就是Python里的DataFrame），那完全可以正常使用，这也是Databricks文档想要表达的意思。

内容的提问来源于stack exchange，提问作者user3579222